CN111095242A - 向量计算单元 - Google Patents

向量计算单元 Download PDF

Info

Publication number
CN111095242A
CN111095242A CN201880059404.4A CN201880059404A CN111095242A CN 111095242 A CN111095242 A CN 111095242A CN 201880059404 A CN201880059404 A CN 201880059404A CN 111095242 A CN111095242 A CN 111095242A
Authority
CN
China
Prior art keywords
vector
compute
unit
instruction
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880059404.4A
Other languages
English (en)
Other versions
CN111095242B (zh
Inventor
D·达斯·萨玛
E·塔尔佩斯
P·J·班农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tesla Inc
Original Assignee
Tesla Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/710,433 external-priority patent/US10671349B2/en
Application filed by Tesla Inc filed Critical Tesla Inc
Priority to CN202410258938.7A priority Critical patent/CN118035625A/zh
Publication of CN111095242A publication Critical patent/CN111095242A/zh
Application granted granted Critical
Publication of CN111095242B publication Critical patent/CN111095242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G06F15/8092—Array of vector units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3853—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution of compound instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3889—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
    • G06F15/8023—Two dimensional arrays, e.g. mesh, torus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G06F7/575—Basic arithmetic logic units, i.e. devices selectable to perform either addition, subtraction or one of several logical operations, using, at least partially, the same circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)
  • Advance Control (AREA)
  • Multi Processors (AREA)
  • Image Processing (AREA)

Abstract

一种微处理器***包括计算阵列和向量计算单元。该计算阵列包括多个计算单元。该向量计算单元与计算阵列通信并且包括多个处理元件。处理元件被配置为从计算阵列接收输出数据元素，并且并行处理所接收的输出数据元素。

Description

向量计算单元
相关申请的交叉引用
本申请要求于2018年2月1日提交的题为“VECTOR COMPUTATIONAL UNIT”的第62/625,251号美国临时专利申请的优先权，并且要求于2017年7月24日提交的题为“ACCELERATED MATHEMATICAL ENGINE”的第62/536,399号美国临时专利申请的优先权，并且是于2017年9月20日提交的题为“ACCELERATED MATHEMATICAL ENGINE”的共同未决的第15/710,433号美国专利申请的部分继续申请，该申请要求于2017年7月24日提交的题为“ACCELERATED MATHEMATICAL ENGINE”的第62/536,399号美国临时专利申请的优先权，其全部通过引用并入本文以用于所有目的。
背景技术
用于机器学习和人工智能的处理通常需要对大型数据的集合执行数学操作，并且通常包括求解多重卷积层和池化层。机器学习和人工智能技术通常利用矩阵操作和非线性函数(诸如激活函数)。机器学习的应用包括自动驾驶汽车和驾驶员辅助汽车。在一些场景中，计算机处理器用于执行机器学习训练和推理。传统计算机处理器能够非常快速地执行单个数学操作，但是通常只能同时地对有限数量的数据进行操作。作为备选方案，可以利用图形处理单元(GPU)，并且该GPU能够执行相同数学操作，但是可以对更大数据的集合执行并行数学操作。通过利用多个处理器核，GPU可以并行执行多个任务，并且通常能够完成比传统计算机处理器更快利用并行性的大型图形处理任务。然而，GPU和传统计算机处理器均非最初为机器学习或人工智能操作而设计。机器学习和人工智能操作通常依赖于对非常大的数据集重复应用特定机器学习处理器操作的集合。因此，需要一种微处理器***，其支持对大型数据集并行执行机器学习和人工智能特定处理操作，而无需对于每个并行操作的多个处理核心的开销。
附图说明
在以下具体实施方式和附图中公开了本发明的各种实施例。
图1是图示了用于执行机器学习处理的微处理器***的实施例的框图。
图2是图示了用于执行机器学习处理的微处理器***的实施例的框图。
图3是图示了用于执行机器学习处理的微处理器***的实施例的框图。
图4A是图示了用于执行机器学习处理的向量计算单元的实施例的框图。
图4B是图示了示例性的向量寄存器的混叠的表。
图5是图示了对于确定微处理器***的处理器指令的过程的实施例的流程图。
图6A是图示了对于向量计算单元的运行执行的过程的实施例的流程图。
图6B是图示了对于由向量计算单元处理向量数据的过程的实施例的流程图。
图7是图示了用于向量计算单元指令的编码格式的实施例的框图。
图8是图示了对于由向量计算单元执行单个向量计算单元指令的过程的实施例的流程图。
图9是图示了向量计算单元的示例性指令周期的图。
图10是图示了计算阵列的计算单元的实施例的框图。
具体实施方式
本发明可以以多种方式实现，其包括被实现为过程；装置；***；物质的组合；体现在计算机可读存储介质上的计算机程序产品；和/或处理器，诸如被配置为执行存储在耦合到该处理器的存储器上和/或由耦合到该处理器的存储器提供的指令的处理器。在本说明书中，这些实现方式或本发明可以采用的任何其他形式可以被称为技术。一般而言，在本发明的范围内，可以更改所公开的过程的步骤的次序。除非另有说明，否则被描述为被配置为执行任务的诸如处理器或存储器的组件可以被实现为通用组件或特定组件，该通用组件被临时配置为在给定时间执行任务，该特定组件被制造为执行任务。如本文中所使用的，术语“处理器”是指被配置为处理诸如计算机程序指令的数据的一个或多个设备、电路和/或处理核心。
下文提供了对本发明的一个或多个实施例的详细描述以及说明本发明原理的附图。结合这样的实施例对本发明进行了描述，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限制，并且本发明涵盖许多备选方案、修改和等同物。在以下描述中阐述了许多具体细节，以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且可以根据权利要求来实践本发明，而无需这些具体细节中的一些或所有具体细节。为了清楚起见，尚未对与本发明有关的技术领域中所已知的技术材料进行详细描述，从而不会不必要地使本发明晦涩难懂。
公开了一种利用向量计算单元和向量计算单元指令集合架构的微处理器***。例如，微处理器***包括与向量计算单元通信的计算阵列。在各种实施例中，计算阵列是能够对两个输入向量执行算术操作的矩阵处理器，并且包括接收来自输入向量的M个操作数和N个操作数的多个计算单元。在一些实施例中，计算单元是包括算术逻辑单元、累加器和影子寄存器的子电路，其用于执行诸如生成点积和执行用于卷积的各种处理的操作。与传统图形处理单元(GPU)或中央处理单元(CPU)处理核心不同，其中每个核心被配置为接收其自己的唯一处理指令，计算阵列的计算单元各自响应于由计算阵列所接收的单个指令而并行执行相同计算。在各种实施例中，向量计算单元包括多个处理元件，其用于对输入数据的向量并行执行加载操作、算术操作和存储操作。向量计算单元的处理元件被配置为接收来自计算阵列的输出。在各种实施例中，计算阵列的输出和到向量计算单元的输入是数据的阵列。所接收到的向量计算单元的输入是响应于单个处理器指令而被并行处理的。与计算阵列类似，向量计算单元的处理元件各自响应于由向量计算单元所接收的各个指令而并行执行相同的计算。在一些实施例中，微处理器***还包括控制单元，其被配置为向向量计算单元提供指令。每个单个处理器指令可以指定要由向量计算单元执行的多个组件指令。响应于单个指令，向量计算单元的多个处理元件中的每个处理元件与其他处理元件并行处理向量输入的不同数据元素。在一些实施例中，向量计算单元的输出被馈送到后处理单元以用于执行诸如池化操作的后处理。
在一些实施例中，微处理器***至少包括计算阵列和向量计算单元。例如，计算阵列可通信地连接到向量计算单元，使得计算阵列的输出作为输入被馈送到向量计算单元。在各种实施例中，计算阵列包括多个计算单元。例如，计算单元可以是矩阵处理器的子电路，其包括用于执行一个或多个乘法操作、加法操作和移位操作的功能。作为另一示例，计算单元可以是包括用于执行点积操作的功能的子电路。在各种实施例中，计算阵列包括足够数目的计算单元，用于对数据输入并行执行多个操作。例如，被配置为接收M个操作数和N个操作数的计算阵列可以包括至少M×N个计算单元。在各种实施例中，微处理器***还包括控制单元，该控制单元用于在计算阵列与向量计算单元之间的协调处理。例如，控制单元可以协调来自存储器的要被馈送到计算阵列中的数据、来自计算阵列的要被馈送到向量计算单元中的数据和/或来自向量计算单元的要被存储在存储器中或馈送到后处理单元中的数据。在一些实施例中，控制单元被配置为向计算阵列提供计算阵列指令，向向量计算单元提供向量计算单元指令，和/或向后处理单元提供后处理指令。
在一些实施例中，与计算阵列通信的向量计算单元包括多个处理元件，该多个处理元件被配置为接收来自计算阵列的输出数据元素作为输入。例如，向量计算单元(诸如向量引擎)接收用于处理的向量作为输入。向量计算单元可以包括用于输入向量的每个元素的处理元件。被配置为接收N个元素(或操作数)的向量的示例向量计算单元可以包括用于并行处理N个元素的N个处理元件。在各种实施例中，处理元件被配置为接收来自计算阵列的输出数据元素。例如，来自计算阵列的输出可以是被馈送以由向量计算单元的处理元件接收的数据元素的向量。在各种实施例中，每个向量计算单元响应于单个处理器指令而并行处理所接收的来自计算阵列的输出数据元素。例如，单个处理器指令适用于要在对应数据元素上执行的向量计算单元的处理元件中的每个处理元件。
在一些实施例中，控制单元被配置为向向量计算单元提供至少单个处理器指令。单个处理器指令指定要由向量计算单元(例如，响应于单个处理器指令)执行的多个组件指令。例如，控制单元向向量计算单元提供单个向量指令，诸如指令三元组，其包括多个组件指令。在一些实施例中，指令三元组是简单的处理器指令，其包括多达三个组件指令，诸如单独的加载指令、算术逻辑单元(ALU)指令、以及存储指令。由向量计算单元接收并且(例如，响应于指令三元组)执行这三个组件指令。例如，接收捆绑了加载指令、ALU指令和存储指令的指令三元组的向量计算单元执行加载指令、算术指令和存储指令。在各种实施例中，响应于单个处理器指令，向量计算单元的多个处理元件被配置为与其他处理元件并行处理不同的数据元素。例如，每个处理元件能够并行处理与向量计算单元的输入向量不同的数据元素。作为另一示例，单个向量处理器指令三元组的组件指令中的每个组件指令可以被应用于向量输入的元素中的每个元素，以使用向量计算单元完成N个元素的整个输入向量的并行处理。
图1是图示了用于执行机器学习处理的微处理器***的实施例的框图。在所示的示例中，微处理器***100包括控制单元101、数据输入103、权重输入105、矩阵处理器107、向量引擎111和后处理单元115。数据输入103和权重输入105是用于准备用于矩阵处理器107的数据的输入模块。在一些实施例中，数据输入103和权重输入105各自都包括输入数据格式化器、高速缓存或缓冲器、和/或用于准备用于矩阵处理器107的数据的逻辑电路。例如，数据输入103可以准备与图像数据相对应的来自二维阵列的N个操作数，以及权重输入105可以准备与要由矩阵处理器107处理的权重值的向量相对应的M个操作数。在一些实施例中，执行图5的过程以准备用于在微处理器***100上操作的指令，这些指令包括用于矩阵处理器107的矩阵处理器指令和用于向量引擎111的向量引擎指令。在一些实施例中，包括向量引擎111的微处理器***100执行下文关于图6A，图6B和图8所描述的过程。
在一些实施例中，矩阵处理器107是包括多个计算单元的计算阵列。例如，分别从权重输入105和数据输入103接收M个操作数和N个操作数的矩阵处理器包括M×N个计算单元。在所示的图中，矩阵处理器107内部的小方块描绘了矩阵处理器107包括计算单元的逻辑二维阵列。计算单元109是矩阵处理器107的多个计算单元中的一个计算单元。在一些实施例中，每个计算单元被配置为从数据输入103接收一个操作数，并且从权重输入105接收一个操作数。在一些实施例中，根据逻辑二维阵列配置计算单元，但是矩阵处理器不一定使用布局为物理二维阵列的计算单元制作。例如，数据输入103的第i个操作数和权重输入105的第j个操作数被配置为由矩阵处理器107的第i×j个计算单元进行处理。
在各种实施例中，组件数据输入103、权重输入105、矩阵处理器107、向量引擎111和后处理单元115的数据宽度是宽数据宽度，并且包括并行传送多于一个操作数的能力。在一些实施例中，数据输入103和权重输入105的宽度各自为96个字节。在一些实施例中，数据输入103的宽度为192个字节，而权重输入105的宽度为96个字节。在各种实施例中，数据输入103和权重输入105的宽度是动态地可配置的。例如，数据输入103可以被动态地配置为96或192个字节，而权重输入105可以被动态地配置为96或48个字节。在一些实施例中，动态配置由控制单元101控制。在各种实施例中，96个字节的数据宽度允许对96个操作数进行并行处理。例如，在数据输入103的宽度被配置为96个字节的实施例中，数据输入103可以将96个操作数并行传送到矩阵处理器107。
在各种实施例中，矩阵处理器107被配置为从数据输入103接收N个字节并且从权重输入105接收M个字节，并且包括至少M×N个计算单元。例如，矩阵处理器107可以被配置为从数据输入103接收96个字节并且从权重输入105接收96个字节，并且包括至少96×96个计算单元。作为另一示例，矩阵处理器107可以被配置为从数据输入103接收192个字节并且从权重输入105接收48个字节，并且包括至少192×48个计算单元。在各种实施例中，可以对矩阵处理器107的尺寸进行动态地配置。例如，矩阵处理器107的默认尺寸可以被配置为从数据输入103接收96个字节并且从权重输入105接收96个字节，但是输入尺寸可以分别被动态地配置为192个字节和48个字节。在各种实施例中，每个计算单元的输出大小等于或大于输入大小。例如，在一些实施例中，每个计算单元的输入是两个1字节操作数，一个与来自数据输入103的操作数相对应，而另一个与来自权重输入105的操作数相对应，处理这两个操作数的输出是4字节结果。作为另一示例，矩阵处理器107可以被配置为从数据输入103接收96个字节并且从权重输入105接收96个字节，并且输出96个4字节结果。在一些实施例中，矩阵处理器107的输出是向量。例如，被配置为接收宽度为96个字节的两个输入向量(其中输入向量的每个元素(或操作数)的大小为一个字节)的矩阵处理器可以输出宽度为96个字节的向量结果(其中向量结果的每个元素的大小为4个字节)。
在各种实施例中，矩阵处理器107的每个计算单元是包括算术逻辑单元、累加器和影子寄存器的子电路。在所示的示例中，矩阵处理器107的计算单元可以分别对来自权重输入105和数据输入103的M个操作数和N个操作数执行算术操作。在各种实施例中，每个计算单元被配置为执行一个或多个乘法操作、加法操作、累加操作和/或移位操作。在一些实施例中，每个计算单元被配置为执行点积操作。例如，在一些实施例中，计算单元可以执行多个点积分量操作以计算点积结果。例如，矩阵处理器107的计算单元的阵列可以用于执行使用机器学习模型执行推理所需的卷积步骤。可以格式化二维数据集合(诸如图像)，并且使用数据输入103将其馈送到矩阵处理器107中，一次一个向量。并行地，权重向量可以使用权重输入105通过对权重进行格式化并且将其作为向量馈送到矩阵处理器107中来应用于二维数据集合。矩阵处理器107的对应计算单元对权重输入和数据输入的对应操作数并行执行矩阵处理器指令。
在一些实施例中，向量引擎111是通信耦合到矩阵处理器107的向量计算单元。向量引擎111包括多个处理元件，其包括处理元件113。在所示的图中，向量引擎111内的小方块描绘了向量引擎111包括被布置为向量的多个处理元件。在一些实施例中，处理元件以与数据输入103相同的方向被布置在向量中。在一些实施例中，处理元件以与权重输入105相同的方向被布置在向量中。向量引擎111的处理元件的大小等于或大于矩阵处理器107的计算单元的数据大小。例如，在某些实施例中，计算单元109接收两个操作数，每个操作数的大小为1字节，并且输出大小为4个字节的结果。处理元件113从计算单元109接收4字节结果作为大小为4个字节的输入。在各种实施例中，向量引擎111的输出与向量引擎111的输入大小相同。在一些实施例中，向量引擎111的输出与向量引擎111的输入大小相比较小。例如，向量引擎111最多可以接收96个元素，每个大小为4个字节，并且输出96个元素，每个大小为1个字节。在各种实施例中，向量引擎111对输出结果执行量化，从而导致向量引擎111的输出的大小相比于向量引擎111的输入而变小。在各种实施例中，量化作为单个指令的部分来执行。例如，量化函数和非线性函数被作为单个处理器指令来执行。如上所述，在一些实施例中，从数据输入103和权重输入105到矩阵处理器107的通信信道的宽度为96个元素，其中每个元素的大小为1个字节，并且与向量引擎111的输出大小(宽度为96个元素，其中每个元素的大小为1个字节)相匹配。
在一些实施例中，包括处理元件113在内的向量引擎111的处理元件各自都包括算术逻辑单元(ALU)(未示出)。例如，在一些实施例中，每个处理元件的ALU能够执行算术操作。在一些实施例中，处理元件的每个ALU能够并行执行修正线性单元(ReLU)函数和/或缩放函数。在一些实施例中，每个ALU能够执行包括非线性激活函数的非线性函数。在各种实施例中，向量引擎111的每个处理元件包括用于接收输入操作数的一个或多个触发器。在一些实施例中，每个处理元件可以访问向量引擎累加器的切片和/或向量引擎111的向量寄存器。例如，能够接收96个元素的向量引擎包括宽度为96个元素的累加器和一个或多个96个元素的向量寄存器。每个处理元件都可以访问累加器寄存器和/或向量寄存器的一元素切片。在一些实施例中，每个元素的大小为4个字节。在各种实施例中，累加器寄存器和/或向量寄存器的大小被确定为至少适合输入数据向量的大小。在一些实施例中，向量引擎111包括大小被设计为适合于向量引擎111的输出的附加向量寄存器。
在一些实施例中，向量引擎111的处理元件被配置为从矩阵处理器107接收数据，并且处理元件中的每个处理元件可以并行处理所接收到的数据的部分。作为处理元件的一个示例，向量引擎111的处理元件113从矩阵处理器107的计算单元109接收数据。在各种实施例中，向量引擎111接收单个向量处理器指令，并且进而处理元件中的每个处理元件与其他处理元件并行执行处理器指令。在一些实施例中，处理器指令包括一个或多个组件指令，诸如加载操作、存储操作和/或算术逻辑单元操作。在各种实施例中，可以使用无操作操作来代替组件指令。
在所示示例中，数据输入103与矩阵处理器107、权重输入105与矩阵处理器107、矩阵处理器107与向量引擎111、以及向量引擎111与后处理单元115之间的虚线箭头描绘了能够发送多个数据元素(诸如数据元素的向量)的相应组件的对之间的耦合。作为示例，矩阵处理器107和向量引擎111之间的通信信道可以为96×32个字节宽，并且支持并行传送96个元素，其中每个元素的大小为32个字节。作为另一示例，向量引擎111与后处理单元115之间的通信信道的宽度可以为96×1字节宽并且支持并行传送96个元素，其中每个元素的大小为1个字节。在各种实施例中，数据输入103和权重输入105耦合到存储器模块(图1中未示出)，并且每个都可以从存储器模块接收输入数据。在一些实施例中，向量引擎111附加地耦合到存储器模块(图1中未示出)，并且可以接收来自存储器模块的输入数据，附加地或备选的来自矩阵处理器107的输入。在各种实施例中，存储器模块通常是静态随机存取存储器(SRAM)。
在一些实施例中，矩阵处理器107的一个或多个计算单元可以一起被分组到通道中，使得矩阵处理器107具有多个通道。在各种实施例中，矩阵处理器107的通道可以与数据输入103或权重输入105对准。例如，与权重输入105对准的通道包括一组计算单元，其被配置为接收权重输入105的每个操作数作为输入。同样，与数据输入103对准的通道包括一组计算单元，其被配置为接收数据输入103的每个操作数作为输入。在图1所示的示例中，通道以竖直列沿着权重输入105对准，并且每个通道馈送到向量引擎111的对应通道。在一些实施例中，每个通道是包括乘法功能、加法功能和/或累加功能和移位功能的子电路的竖直列。在一些实施例中，矩阵处理器107包括瓦片矩阵，并且每个瓦片是计算单元的矩阵。例如，96x 96矩阵处理器可以包括6x 6个瓦片的矩阵，其中每个瓦片包括16x 16个计算单元。在一些实施例中，竖直通道是单个瓦片列。在一些实施例中，水平通道是单个瓦片行。在各种实施例中，可以动态配置通道的尺寸，并且可以将其用于对矩阵处理器107、向量引擎111和/或后处理单元115的输入执行对准操作。在一些实施例中，动态配置由控制单元101或使用控制单元101和/或通过使用由控制单元101控制的处理器指令执行。
在一些实施例中，控制单元101同步由矩阵处理器107、向量引擎111和后处理单元115执行的处理。例如，控制单元101可以将处理器特定指令发送到矩阵处理器107、向量引擎111以及后处理单元115中的每个。控制单元101可以将矩阵处理器指令发送到矩阵处理器107。矩阵处理器指令可以是计算阵列指令，其指令计算阵列使用来自数据输入103和/或权重输入105的指定操作数执行算术操作(诸如点积或点积分量)。控制单元101可以将向量处理器指令发送到向量引擎111。例如，向量处理器指令可以包括与要由向量计算单元一起执行的多个组件指令的单个处理器指令。控制单元101可以将后处理指令发送到后处理单元115。在各种实施例中，控制单元101同步从数据输入103和权重输入105馈送到矩阵处理器107的数据、从矩阵处理器107馈送到向量引擎111的数据、以及从向量引擎111馈送到后处理单元115的数据。在一些实施例中，控制单元101通过利用处理器特定存储器、入队和/或出队操作同步包括数据输入103、权重输入105、矩阵处理器107、向量引擎111和/或后处理单元115之间在内的微处理器***100的不同组件之间的数据。在一些实施例中，数据和指令同步由控制单元101执行。在一些实施例中，数据和指令同步由包括一个或多个定序器的控制单元101执行，一个或多个定序器用于同步矩阵处理器107、向量引擎111和/或后处理单元115之间的处理。
在一些实施例中，矩阵处理器107和向量引擎111用于处理卷积层。在一些实施例中，向量引擎111用于对矩阵处理器107的输出执行非线性函数，诸如激活函数。例如，矩阵处理器107可以用于计算点积，并且向量引擎111可以用于执行激活函数，诸如修正线性单元(ReLU)函数或S型函数。在一些实施例中，后处理单元115用于执行池化操作。在一些实施例中，后处理单元115用于将经处理的数据格式化并且将其存储到存储器，并且可以被用于同步存储器写入等待时间。
图2是图示了用于执行机器学习处理的微处理器***的实施例的框图。在所示的示例中，微处理器***200包括控制单元201、向量输入203、向量引擎输入队列207、向量引擎211和后处理单元215。向量引擎输入队列207包括多个计算单元，其包括计算单元209和221-229；并且向量引擎211包括多个处理元件，其包括处理元件213和231。向量输入203是用于将数据馈送到向量引擎输入队列207的输入模块。在一些实施例中，向量输入203包括输入数据格式化器、高速缓存或缓冲器和/或逻辑电路，其用于为向量引擎输入队列207准备数据。例如，向量输入203可以利用向量引擎输入队列207作为先进先出(FIFO)输入队列来从由向量引擎211处理的二维阵列中准备N个操作数。在一些实施例中，向量输入203耦合到存储器(图2中未示出)，诸如用于检索数据的静态随机存取存储器(SRAM)。
在各种实施例中，控制单元201、向量输入203、向量引擎输入队列207、向量引擎211和后处理单元215分别是图1的控制单元101、数据输入103、矩阵处理器107、向量引擎111和后处理单元115。例如，图1的矩阵处理器107可以用于通过从图1的数据输入103接收数据并且向图1的向量引擎111重复移位每个输入向量来实现输入队列，诸如向量引擎输入队列207。
在一些实施例中，向量引擎输入队列207是计算阵列单元，并且包括其列是先进先出(FIFO)队列的计算单元矩阵。在所示的示例中，向量引擎输入队列207是向量输入203的输入队列，并且用作宽的先进先出(FIFO)队列，以将多个数据元素从向量输入203馈送到向量引擎211。例如，计算单元221-229组成作为单个FIFO队列一起工作的计算单元的竖直列。在各种实施例中，向量引擎输入队列207包括由与计算单元221-229类似的计算单元的竖直列组成的多个FIFO队列。例如，在向量引擎输入队列207的宽度为96个计算单元的实施例中，向量引擎输入队列207具有与96个FIFO队列相对应的计算单元的96个竖直列。作为另一示例，在向量引擎输入队列207的长度为96个计算单元的实施例中，向量引擎输入队列207具有长度为96个阶段的FIFO队列。
在各种实施例中，每个先进先出(FIFO)队列并行工作，并且将从向量输入203接收的输入沿着FIFO队列转移到向量引擎211。向量引擎输入队列207(包括计算单元221)的计算单元的第一行连接到向量输入203。计算单元的第一行被配置为从向量输入203并行接收数据的整行。向量引擎输入队列207的计算单元的最后一行连接到向量引擎211的处理元件的行。例如，向量引擎输入队列207的计算单元的最后一行包括计算单元229和209。计算单元209连接到处理元件213，而计算单元229连接到处理元件231。处理元件213和231被配置为分别接收计算单元209和229的数据输出元件。向量引擎211的处理元件从向量引擎输入队列207的计算单元的最后一行并行接收数据的整行。在各种实施例中，当向量引擎输入队列207的计算单元的最后一行具有可用于出队的数据时，向量引擎211接收出队准备好的信号以指示向量引擎输入队列207准备接收队列操作。
在所描述的示例中，来自计算单元的第一行的数据朝着向量引擎211以逻辑方向向下移位到计算单元的下一行。例如，与向量输入203的数据元素相对应的输入在计算单元221处接收作为操作数，并且从计算单元221移位到计算单元222，从计算单元222移位到计算单元223，从计算单元223移位到计算单元224，依此类推，直到在计算单元221处接收的操作数经由中间计算单元222-228从计算单元221递增地移位到计算单元229。在各种实施例中，推入FIFO的数据元素进行的移位与FIFO在计算单元中的深度一样多。例如，长度为96个计算单元和96个阶段的FIFO队列需要96个移位才能使***的元素出队。在各种实施例中，FIFO的每一阶段可以与其他阶段并行移位操作数。例如，当FIFO队列中的每个中间计算单元将其操作数移位到下一计算单元时，第一计算单元可以从向量输入203中检索下一数据元素，而最后一个计算单元可以使它的数据元素出队以由向量引擎211的对应处理元件接收。在所描述的示例中，沿着计算单元的每一行的每个计算单元并行工作，以将最初从向量输入端203接收到的其对应数据元素移位到向量引擎211。
在一些实施例中，向量引擎输入队列207耦合到向量输入203，并且计算单元的矩阵的一个尺寸与向量输入203的尺寸相匹配。例如，在其中向量输入203的宽度为96个字节的实施例中，向量引擎输入队列207具有宽度为至少96个字节的计算单元的矩阵。在一些实施例中，向量输入203的宽度和向量引擎输入队列207的输入的对应宽度是动态地可配置的。例如，向量输入203可以被动态地配置为96个字节或96x 2个字节，向量引擎输入队列207的输入的对应宽度分别可以被配置为96个字节或96x 2个字节。在一些实施例中，使用控制单元201和/或向量引擎输入队列207的处理器指令来执行配置。
在一些实施例中，向量引擎211是通信地耦合到向量引擎输入队列207的向量计算单元。向量引擎211包括多个处理元件，其包括处理元件213和231。在所示的图中，向量引擎211内部的小方块描绘了向量引擎211包括的多个处理元件，该多个处理元件被布置为向量。在一些实施例中，处理元件以与向量输入203相同的方向布置在向量中。在各种实施例中，向量引擎211的处理元件的数据大小与向量引擎输入队列207的计算单元的数据大小相同或比其更大。例如，在一些实施例中，计算单元209接收大小为1个字节的操作数，并且使出队到处理元件213的输出的大小也为1个字节。处理元件213接收从计算单元209的1字节输出作为大小为1字节的输入。在各种实施例中，向量引擎211的输出与向量引擎211的输入的大小相同。在各种实施例中，向量引擎211的输出与到向量引擎211的输入相比尺寸更小。例如，向量引擎211可以接收多达96个元素，每个元素大小为4个字节，并且输出96个元素，每个元素大小为1个字节。在一些实施例中，从向量输入203到向量引擎输入队列207的通信信道的宽度为96个元素，其中每个元素的大小为1个字节，并且与向量引擎211的输出大小(宽度为96个元素，每个元素的大小为1个字节)相匹配。
在一些实施例中，包括处理元件213和231的向量引擎211的处理元件各自都包括算术逻辑单元(未示出)，并且相对于图1的向量引擎111进行更详细的描述。在一些实施例中，向量引擎211的处理元件被配置为从向量引擎输入队列207接收数据，并且处理元件中的每个处理元件可以并行处理所接收的数据的部分。作为处理元件的一个示例，向量引擎211的处理元件213和231分别从向量引擎输入队列207的计算单元209和229接收数据。在各种实施例中，向量引擎211接收单个向量处理器指令，并且处理元件中的每个处理元件进而与其他处理元件并行执行处理器指令。在一些实施例中，处理器指令包括一个或多个组件指令，诸如加载操作、存储操作和/或算术逻辑单元操作。在各种实施例中，可以使用非操作操作(no-op operation)来代替组件指令。
在所示的示例中，向量输入203与向量引擎输入队列207、向量引擎输入队列207与向量引擎211、向量引擎211与后处理单元215之间的虚线箭头描绘了能够发送多个数据元素的相应对的组件之间的耦合。作为示例，向量引擎输入队列207和向量引擎211之间的通信信道的宽度可以为96×32个字节并且支持并行传送96个元素，其中每个元素的大小是32个字节。作为另一示例，向量引擎211与后处理单元215之间的通信信道的宽度可以为96×1个字节并且支持并行传送96个元素，其中每个元素的大小为1字节。在各种实施例中，向量输入203耦合到存储器模块(图2中未示出)，并且可以从存储器模块接收输入数据。在一些实施例中，向量引擎211附加地耦合到存储器模块(图1中未示出)，并且可以附加地或备选地从向量引擎输入队列207接收输入还从存储器模块接收输入数据。在各种实施例中，存储器模块通常是静态随机存取存储器(SRAM)。
在一些实施例中，向量引擎输入队列207的一个或多个计算单元可以一起分组为竖直列，使得向量引擎输入队列207具有多个竖直列通道。在图2所示的示例中，通道沿着与上文所描述的先进先出(FIFO)队列相同的竖直列对准，并且每个通道馈送到向量引擎211的对应通道。在一些实施例中，每个通道是子电路的竖直列，这些子电路包括乘法功能、加法功能和/或累加功能、以及移位功能。在一些实施例中，竖直通道是计算单元的单个列。在一些实施例中，竖直通道是一组相邻计算单元的多个列。在各种实施例中，可以动态配置通道的尺寸，并且可以将其用于对向量引擎输入队列207、向量引擎211和/或后处理单元215的输入执行对准操作。在一些实施例中，动态配置由控制单元201或使用控制单元201和/或通过使用由控制单元201控制的处理器指令执行。
在一些实施例中，控制单元201同步由向量引擎输入队列207、向量引擎211和/或后处理单元215执行的处理。例如，控制单元201可以向向量引擎输入队列207、向量引擎211和后处理单元215中的每个发送处理器特定指令。控制单元201可以向向量引擎输入队列207发送向量引擎输入队列指令。在一些实施例中，向量引擎输入队列指令是矩阵处理器指令的子集，图1的矩阵处理器107能够对向量引擎输入队列指令做出响应并且关于图1对其进行进一步描述。向量引擎输入队列指令可以是指令计算阵列执行加载操作、移位操作或其他操作的计算阵列指令，或与输入队列接口的其他适当指令。控制单元201可以向向量引擎211发送向量处理器指令。例如，向量处理器指令可以包括具有要由向量计算单元一起执行的多个组件指令的单个处理器指令。控制单元201可以向后处理单元215发送后处理指令。在各种实施例中，控制单元201同步从向量输入203馈送到向量引擎输入队列207的数据、从向量引擎输入队列207馈送到向量引擎211的数据、以及从向量引擎211馈送到后处理单元215的数据，在一些实施例中，控制单元201通过利用处理器特定处理器、入队和/或出队操作来同步不同组件(向量输入203、向量引擎输入队列207、向量引擎211和/或后处理单元215)之间的数据。关于图1的控制单元101对控制单元201的功能进行进一步详细描述。
在一些实施例中，控制单元201用于配置要由向量引擎输入队列207、向量引擎211和/或后处理单元215接收的数据元素的大小和数目。例如，在一些实施例中，控制单元201可以用于将向量引擎输入队列207的输入配置为每个大小为1个字节的96个元素或其他适当的变化，诸如每个大小为2个字节的48个元素、每个大小为2个字节的96个元素、每个大小为192个元素等。在一些实施例中，向量引擎输入队列207能够通过执行一系列加载操作和逻辑移位操作来输出其大小大于其可以接收的大小的数据元素。例如，4字节输入数据元素通过读取该4字节输入数据元素的四个顺序1字节部分并且将每个字节逻辑移位到适当字节字段来加载到向量引擎输入队列207中。作为另一示例，在一些实施例中，控制单元201可以用于将到向量引擎211的输入配置为每个大小为4个字节的96个元素，或其他适当变化，诸如每个大小为1个字节的96个元素、每个大小为2个字节的48个元素等。
在各种实施例中，后处理单元215用于对向量引擎211的输出执行后处理。关于图1的后处理单元115而对后处理单元215的后处理功能进行进一步详细的描述。
图3是图示了用于执行机器学习处理的微处理器***的实施例的框图。在所示的示例中，微处理器***300包括控制单元301、存储器307、向量引擎311和后处理单元315。在各种实施例中，存储器307通常是静态随机存取存储器(SRAM)。在各种实施例中，后处理单元315从向量引擎311接收输入数据，并且用于对来自向量引擎311的输出执行后处理。关于图1的后处理单元115而对后处理单元315的后处理功能进行进一步详细描述。
图3的框图描绘了***体系架构实施例，其中向量引擎311耦合到存储器307，并且可以直接从存储器307检索数据。在各种实施例中，存储器307与向量引擎311之间的通信信道的大小可以被配置为将多个数据元素从存储器307并行传送到向量引擎311。例如，在向量引擎311能够并行接收每个大小为32个字节的96个元素的实施例中，存储器307与向量引擎311之间的通信通道的大小被配置为将每个大小为32个字节的96个元素从存储器307并行传送到向量引擎311。在一些实施例中，存储器307包括数据格式化器(未示出)，该数据格式化器可以包括数据高速缓存或缓冲器和/或逻辑电路，其用于在传送到向量引擎311之前格式化来自存储器的数据。例如，大小为1个字节的数据元素可以存储在存储器307中的字边界上，并且数据格式化器用于将数据格式化和/或屏蔽到字节边界。在各种实施例中，控制单元301、向量引擎311和后处理单元315分别是图1的控制单元101、向量引擎111和后处理单元115。在各种实施例中，向量引擎311可以进一步耦合到关于图1的矩阵处理器107所描述的矩阵处理器(未示出)。
在一些实施例中，向量引擎311是通信耦合到存储器307的向量计算单元。向量引擎311包括多个处理元件，其包括处理元件313。在所示的图中，向量引擎311内部的小方块描绘了向量引擎311包括多个处理元件，多个处理元件被布置为向量。在一些实施例中，包括处理元件313在内的向量引擎311的处理元件各自都包括算术逻辑单元(未示出)。向量引擎311的处理元件被配置为从存储器307接收数据，并且处理元件中的每个处理元件可以并行处理接收的数据的部分。在各种实施例中，向量引擎311接收单个向量处理器指令，进而处理元件中的每个处理元件与其他处理元件并行执行处理器指令。在一些实施例中，处理器指令包括一个或多个组件指令，诸如加载操作、存储操作和/或算术逻辑单元操作。分别关于图1和图2的向量引擎111和211而对向量引擎311的功能进行进一步详细描述。
在一些实施例中，控制单元301同步向量引擎311和后处理单元315所执行的处理，并且访问存储器307。例如，控制单元301可以向量引擎311和后处理单元315中的每个发送处理器特定指令。在一些实施例中，控制单元301可以向向量引擎311发送向量处理器指令。例如，向量处理器指令可以包括具有要由向量计算单元一起执行的多个组件指令的单个处理器指令。在一些实施例中，控制单元301可以向后处理单元315发送后处理指令。在各种实施例中，控制单元301同步由向量引擎311从存储器307接收的数据与由后处理单元315从向量引擎311接收的数据。在一些实施例中，控制单元301通过利用向量引擎和/或后处理单元处理器特定操作来同步不同组件(向量引擎311和/或后处理单元315)之间数据。关于图1的控制单元101而对控制单元301的功能进行更详细的描述。
在一些实施例中，控制单元301用于配置要由向量引擎311和/或后处理单元315接收的数据元素的大小和数目。例如，在一些实施例中，控制单元301可以用于将向量引擎311配置为接收每个大小为4个字节的96个数据元素，或其他适当的变化，诸如每个大小为1个字节的96个元素、每个大小为2个字节的48个元素等。如关于图1和图2进一步描述的，向量引擎311与后处理单元315之间的虚线箭头描绘了能够发送多个数据元素的相应的组件的对之间的耦合。作为示例，向量引擎311与后处理单元315之间的通信信道的宽度可以为96×1字节并且支持并行传送96个元素，其中每个元素的大小为1个字节。
图4A是图示了用于执行机器学习处理的向量计算单元的实施例的框图。在所示的示例中，微处理器***400包括向量计算单元401、输入总线411和输出总线431。向量计算单元401的输入从输入总线411到达。向量计算单元401的输出写入到输出总线431。在实施例中，输入总线411和输出总线431是单个总线，其包括输入总线411和输出总线431两者的功能。在各种实施例中，输入总线411和输出总线431是宽数据总线，其允许并行传送多个数据元素。例如，输入总线411的宽度可以为96×32个字节，输出总线431的宽度可以为96个字节，以适应计算单元401的并行处理功能。在一些实施例中，向量计算单元401经由输入总线411接收向量计算单元指令。在一些实施例中，向量计算单元401经由除诸如指令总线(未示出)的输入总线411之外的通信信道接收向量计算单元指令。
在各种实施例中，向量计算单元401分别是图1、图2和图3的向量引擎111，211和/或311。在一些实施例中，输入总线411连接到图1的矩阵处理器107、图2的向量引擎输入队列207、和/或图3的存储器307。在一些实施例中，输出总线431分别连接到图1、图2和图3的后处理单元115，215和/或315。在各种实施例中，向量计算单元401双向耦合到向量计算单元401外部的微处理器***400的控制单元(未示出)，诸如分别双向耦合到图1、图2和图3的控制单元101，201和/或301。在各种实施例中，微处理器***400的控制单元向向量计算单元401发送向量计算单元指令。在一些实施例中，微处理器***400的控制单元包括一个或多个定序器，其用于将指令和数据同步到向量计算单元401。
在所示的示例中，向量计算单元401包括寄存器421、向量引擎控制逻辑423、输入缓冲器425、算术逻辑单元(ALU)427和输出缓冲器429。来自输入总线411的输入数据由输入缓冲器425接收，并且，写入到输出总线431的输出从输出缓冲器429写入。在一些实施例中，输入缓冲器425和输出缓冲器429是数据缓冲器或高速缓存，并且提供存储器同步功能。例如，在一些实施例中，来自输入总线411的输入读取和/或对输出总线431的输出写入具有不可预测的等待时间，其可以通过利用接收输入数据的输入缓冲器425和用于存储计算的结果的输出缓冲器429而被消除。作为另一示例，当来自ALU 427的输出准备写入时，输出总线431可能不可用。在一些实施例中，输出缓冲器429允许ALU 427继续处理挂起数据，直到输出总线431可用于写入存储在输出缓冲器429处的结果为止。在各种实施例中，输入总线411和输出总线431是由微处理器***400的控制单元(未示出)控制的通信信道。
如上所述，在各种实施例中，向量计算单元包括多个处理元件。在一些实施例中，每个处理元件包括用于加载数据、存储数据以及执行算术逻辑单元操作的单独功能。图4A的框图中未对各个处理元件进行描绘。在各种实施例中，算术逻辑单元(ALU)427包括每个处理单元的对应的算术逻辑单元(ALU)。同样，输入缓冲器425和输出缓冲器429包括对应的用于每个处理单元的输入缓冲器和输出缓冲器。在各种实施例中，ALU 427包括ALU逻辑，其用于并行处理到向量计算单元401的输入向量的每个元素。在一些实施例中，ALU 427包括用于量化ALU结果的逻辑。在各种实施例中，可以响应于单个处理器指令来执行ALU逻辑，例如，用于执行非线性函数和量化的逻辑。
在各种实施例中，寄存器421包括用于实现向量计算单元401的功能的寄存器。例如，寄存器421可以用于存储用于执行向量计算单元指令的操作数，实现字节屏蔽以及使用不同的存储器大小的寄存器混叠以及其他适当功能引用向量元素。在一些实施例中，寄存器421包括算术指令向量寄存器；屏蔽寄存器；用于执行算术操作(诸如加法操作、减法和浮点操作)的寄存器；和/或用于混叠向量元素的寄存器。在一些实施例中，用于混叠向量元素的寄存器还用于执行算术操作。
在一些实施例中，寄存器421包括算术指令向量寄存器。例如，寄存器可以作为用于加载操作、存储操作和算术逻辑单元(ALU)操作的操作数。作为另一示例，在一些实施例中，ALU操作可以采用多达四个向量寄存器作为参数，其中三个作为源寄存器，一个作为目的寄存器。在各种实施例中，处理器操作所使用的向量寄存器基于向量元素的大小而被混叠为不同的向量元素。例如，在一些实施例中，一组不同的向量寄存器可用于对8字节值，16字节值，32字节值和/或浮点值进行操作。在一些实施例中，用于32字节值的该组向量寄存器也用于浮点值。在各种实施例中，32字节向量寄存器混叠为16字节向量寄存器和8字节向量寄存器。例如，一个32字节向量寄存器混叠为两个16字节向量寄存器和四个8字节向量寄存器。作为另一示例，具有八个96x 32字节向量寄存器(寄存器RD0–RD7)的向量计算单元401混叠为16个96x 16字节向量寄存器(寄存器RW0–RW15)和32个96x 8字节位向量寄存器(寄存器RB0–RB31)。RD0是96x 32字节向量寄存器，RW0是96x 16字节向量寄存器，RB0是96x8字节向量寄存器。图4B中描绘了向量寄存器混叠的另一示例。
在一些实施例中，寄存器421基于向量计算单元401的处理元件的数目来包括一个或多个字节屏蔽寄存器。例如，具有96个处理元件的向量计算单元可以包括一个或多个96字节屏蔽寄存器。在各种实施例中，可以通过从存储器加载字节屏蔽来设置屏蔽寄存器。屏蔽寄存器可以用于将对输入数据执行的逻辑操作的结果存储到向量计算单元401。
在一些实施例中，寄存器421包括用于执行算术操作(诸如加法操作、减法操作、以及浮点操作)的寄存器。例如，在一些实施例中，向量计算单元401包括寄存器，其用于存储用于向量加法和减法指令的进位字节以及与浮点指令相对应的状态字节。
在一些实施例中，向量计算单元401包括指令缓冲器(未示出)，其用于存储一系列向量计算单元指令。在一些实施例中，指令缓冲器是命令队列。在各种实施例中，指令缓冲器包括一个或多个指针，一个或多个指针引用要执行的当前指令和/或最后一条指令。在各种实施例中，指令缓冲器充当向量计算单元指令的高速缓存。例如，一个或多个向量计算单元指令加载到向量计算单元401的指令缓冲器中并且进行高速缓存，直到指令可以被执行为止。随着指令被执行并且不再被需要，新指令可以加载到指令缓冲器中。在一些实施例中，经由微处理器***400的控制逻辑(未示出)从外部指令命令队列接收向量计算单元指令。
在一些实施例中，向量计算单元401包括向量引擎控制逻辑423。向量引擎控制逻辑423用于实现向量计算单元401的功能，其包括获取向量计算单元指令，解码指令和/或执行指令。在各种实施例中，向量引擎控制逻辑423包括用于经由输入缓冲器425、输出缓冲器429和寄存器421读取、写入、屏蔽和/或混叠数据的逻辑。在一些实施例中，向量计算单元401接收出队准备好的信号，并且使用向量引擎控制逻辑423确定数据能够经由输入总线411获得。例如，向量引擎控制逻辑423可以在接收到出队准备好的信号时使数据从附接到输入总线411的输入先进先出队列(未显示)中出队。
图4B是图示了示例性的向量寄存器的混叠的表。表450图示了向量计算单元实施例的向量寄存器的混叠，其中八个96×32字节向量寄存器(寄存器RD0-RD7)混叠为十六个96×16字节向量寄存器(寄存器RW0-RW15)和32个96x 8字节向量寄存器(寄存器RB0–RB31)。在一些实施例中，表450中的向量寄存器是图4A的向量计算单元401的寄存器421中的向量寄存器。在所示的示例中，行451包括字节0，1，2和3的列，这些列混叠为列于该行451下面的各行中的相应寄存器。行453，463和473与96x 32位向量寄存器RD0，RD1和RD7相对应。行455，465和475与96x 16位向量寄存器RW0-3和RW14-15相对应。行457，467和477与96x8字节向量寄存器RB0-7和RB28-31相对应。在该示例中，字节0–3是向量计算单元(诸如分别图1、图2和图3的向量引擎111，211和/或311)的96个通道中的一个通道。
在所示的示例中，表450图示了向量计算单元实施例的96个通道中的单个通道的向量寄存器混叠。96x 32字节向量寄存器RD0使用从字节0到字节3排序的四个字节。96x16字节向量寄存器RW0和RW1各自混叠为2个字节。向量寄存器RW0混叠为字节0和字节1，而向量寄存器RW1混叠为字节2和字节3。96x 8字节向量寄存器RB0–RB3混叠为1个字节，其各自与字节0-3相对应。同样，96x32字节向量寄存器RD1分别混叠为96x 16字节向量寄存器RW2(字节0和1)和RW3(字节2和3)，而96x 8位字节向量寄存器RB4-RB7分别混叠为字节0-3。作为另一示例，96x 32字节向量寄存器RD7分别混叠为96x 16字节向量寄存器RW14(字节0和1)和RW15(字节2和3)，而96x 8位向量寄存器RB28-RB31分别混叠为字节0-3。
在各种实施例中，向量计算单元指令对向量寄存器的所有96个通道进行并行操作。例如，对于96个通道中的每个通道，向量寄存器RB0对字节0进行操作，向量寄存器RB5对字节1进行操作，向量寄存器RW2对字节0和1进行操作，向量寄存器RW15对字节2和3进行操作，并且向量寄存器RD7对字节0-3进行并行操作。
图5是图示了对于确定微处理器***的处理器指令的过程的实施例的流程图。在一些实施例中，图5的过程将用高级编程语言编写的软件程序转换为用于具有计算阵列和向量计算单元的微处理器***的一系列计算阵列和向量计算单元指令。在各种实施例中，微处理器***是图1的微处理器***100，计算阵列是图1的矩阵处理器107，向量计算单元是图1的向量引擎111。在各种实施例中，图5的过程用于实现依赖于机器学习的应用，这些应用包括使用机器学习模型执行推理的应用，诸如自动驾驶汽车和驾驶员辅助汽车。
在501处，确定要执行的处理以及要被指派到不同的协同处理组件(诸如计算阵列、向量计算单元和/或后处理单元)的处理子集。在各种实施例中，基于不同的协同处理组件的功能和效率来指派处理。例如，某些矩阵相关操作被指派到计算阵列，并且涉及非线性函数(诸如激活函数)的操作可以被指派到向量计算单元。在一些实施例中，池化操作被指派到后处理单元。作为另一示例，在一些实施例中，在501处，确定卷积操作需要点积操作，并且确定点积操作最佳地利用了由计算阵列执行的矩阵处理。在一些实施例中，该确定通过编译机器学习应用来执行，以针对本文中所描述的微处理器***。
在503处，确定与在501处确定和指派的处理相对应的一个或多个矩阵处理器指令。例如，在501处确定的要由矩阵处理器执行的点积操作被转换为一个或多个矩阵处理器指令。在各种实施例中，矩阵处理器指令是计算阵列指令。作为示例，计算阵列指令可以要求从诸如图1的数据输入103的数据输入组件接收一个或多个数据向量，并且从诸如图1的权重输入105的对应权重输入组件接收一个或多个权重向量。附加计算阵列指令可以包括用于处理点积操作的乘法操作、累加操作和移位操作。例如，一个或多个点积分量操作可以用于计算点积结果。在各种实施例中，计算阵列指令被引导到由对应的计算阵列的计算单元对接收到的输入数据执行的处理。在一些实施例中，附加计算阵列指令包括用于准备点积结果以由向量计算单元进行处理的指令。
在505处，做出关于要由向量计算单元执行的向量引擎指令的确定。例如，在501处确定的要由向量引擎执行的与激活函数有关的操作被转换为一个或多个向量引擎指令。在各种实施例中，向量引擎指令是向量计算单元指令。作为示例，向量计算单元指令可以要求从诸如图1的矩阵处理器107的计算阵列接收一个或多个数据向量。附加向量计算单元指令可以包括用于执行诸如修正线性单元(ReLu)函数的非线性激活函数的操作。在各种实施例中，向量计算单元指令被引导到由向量计算单元的对应处理元件对接收的输入数据执行的处理。在一些实施例中，附加的向量计算单元指令包括用于准备处理元件的结果以供后处理单元进行后处理的指令。
在各种实施例中，每个向量计算单元指令是单个处理器指令，其指定要由向量计算单元一起执行的多个组件指令。响应于单个向量计算单元指令，由向量计算单元的处理元件对不同的数据输入元件并行执行多个组件指令的执行。例如，在一些实施例中，单个处理器指令包括三个组件指令：单独加载、算术逻辑单元、以及存储指令。由向量计算单元接收并且执行这三个组件指令。在一些实施例中，在505处执行组件指令到单个处理指令中的绑定。在各种实施例中，用于组件指令到向量计算单元指令中的绑定的排序和选择取决于所确定的数据危害。
在507处，做出关于要由后处理单元执行的后处理指令的确定。例如，与后处理功能有关的操作在501处被确定为要由后处理单元执行，并且被转换为一个或多个后处理指令。作为示例，后处理指令可以要求从诸如图1的向量引擎111的向量计算单元接收一个或多个数据向量。附加的后处理指令可以包括用于执行池化层功能的操作，诸如最大池化。在各种实施例中，后处理指令可以包括用于配置池化功能(诸如内核大小、步幅和/或空间范围等)的指令。在一些实施例中，附加的后处理指令包括用于准备和写出后处理结果的指令。
在509处，调度与在503，505和507确定处的协处理器指令集合的执行相对应的序列。例如，确定用于各种协处理器(例如，计算阵列、向量计算单元和/或后处理单元)的相应处理器指令的相对次序和/或顺序。在一些实施例中，该顺序取决于协处理器之间的相互作用和依赖性。例如，向量计算单元的输入可以取决于来自计算阵列的输出结果的可用性。在各种实施例中，确定并且解决包括数据危害的依赖性。例如，在各种实施例中，向量计算单元指令包括多个组件指令，并且可以被执行使得并行执行多个向量计算单元指令。确定并且解决基于不可用数据资源的数据危害。例如，非操作可以***向量计算单元指令的组件指令中，以允许在执行取决于加载操作完成的算术逻辑单元操作之前完成加载操作。在一些实施例中，在509处确定将组件指令捆绑到单个向量计算单元指令中。在一些实施例中，分别针对矩阵处理器和向量引擎在503和505处执行一些或全部指令调度，诸如协处理器指令的排序。例如，在一些实施例中，在505处确定针对每个单个向量计算单元指令的组件指令的捆绑。
在一些实施例中，微处理器***的控制单元和/或一个或多个定序器用于发起和协调协处理器指令集合的处理。例如，诸如图1的控制单元101的控制单元和/或一个或多个定序器利用在509处确定的指令顺序被，以将对应的协处理器指令发布到诸如矩阵处理器107的计算阵列、诸如图1的向量引擎111的向量计算单元和/或诸如图1的后处理单元113的后处理单元。在一些实施例中，一个或多个定序器的功能由控制单元执行。例如，在一些实施例中，控制单元包括执行定序器、存储器访问定序器、网络定序器和/或向量引擎定序器等。
图6A是图示了对于向量计算单元的运行执行的过程的实施例的流程图。向量计算单元可以执行图6A的过程以并行处理向量的元素。在各种实施例中，向量计算单元分别是图1、图2、图3和图4A的向量引擎111，211，311和/或向量计算单元401。在一些实施例中，诸如图1的控制单元101的控制单元发起图6A的过程。在各种实施例中，由诸如图4A的向量引擎控制逻辑423的向量计算单元的控制逻辑来执行图6A中的过程的步骤之间的过渡。
在601处，检索向量引擎指令。在各种实施例中，向量引擎指令是向量计算单元指令，并且指定多个组件指令。例如，指令三元组是指定多达三个组件指令的单个向量计算单元指令。示例指令三元组包括加载操作、算术逻辑单元操作和存储操作作为单个指令。在601处，一旦检索到指令，则过程继续进行到603和605两者。
在603处，关于附加指令是否挂起进行确定。例如，下一向量引擎指令可以是可用的并且准备检索。作为另一示例，用于缓存挂起指令的指令缓冲器可以为空，并且需要检索和/或等待下一可用指令。在一些实施例中，附加指令的可用性基于检查引用指令缓冲器中的最后一个有效指令的指针。响应于没有可用的附加指令，过程进行到步骤609。响应于一个或多个附加指令的可用性，过程返回到601。
在605处，对在601处检索的向量引擎指令进行解码。在各种实施例中，单个向量引擎指令指定一个或多个组件指令。在各种实施例中，对指令和组件指令进行解码。例如，包含加载指令、算术逻辑单元指令和存储组件指令的指令三元组解码为单独的组件操作。在一些实施例中，解码针对每个组件操作确定操作码和与该操作码相对应的参数。作为一个示例，加载组件指令既包含与字节向量出队操作相对应的操作码，又包含用于存储作为出队结果的字节向量的对应目的地向量寄存器。作为另一示例，加法组件指令既包含与带符号的16字节加法操作相对应的操作码，又包含源参数和目的地参数的对应向量寄存器。
在607处，执行在605处解码的指令。在一些实施例中，向量计算单元的处理元件执行指定多个组件指令的单个向量引擎指令。例如，处理元件的向量执行在605处解码的单个向量引擎指令。在一些实施例中，还通过每个处理元件并行执行单个向量引擎指令的组件指令中的每个组件指令。例如，对于每个处理元件，可以并行执行加载指令和算术逻辑单元指令。在一些实施例中，可以并行执行加载指令、算术逻辑单元指令和存储指令。例如，向量引擎的每个处理单元并行执行以下组件操作：输入数据的向量从输入累加器加载到向量寄存器中，算术逻辑单元(ALU)对两个不同的向量寄存器执行浮点乘法操作，并且及16字节元素的向量从向量寄存器存储到存储器。在各种实施例中，一旦处理元件完成了组件指令的执行，就完成了向量引擎指令的处理。
在609处，向量计算单元等待下一指令。例如，向量计算单元等待直到用于高速缓存挂起指令的指令缓冲器包含要被执行的有效指令为止。作为另一示例，向量计算单元等待直到从存储器接收到下一指令并且将其提供给向量计算单元为止。在一些实施例中，向量计算单元在609处暂停挂起附加指令的可用性。在各种实施例中，向量计算单元可以在等待附加指令的同时在609处对中断做出响应。响应于附加指令的到达，处理继续回到601。
图6B是图示了对于由向量计算单元处理向量数据的过程的实施例的流程图。例如，图6B图示了应用于向量计算单元从诸如计算阵列和/或先进先出(FIFO)队列的输入源所接收的向量数据的过程。在一些实施例中，图6B的过程图示了由向量计算单元执行的用于对向量输入执行向量操作以计算向量结果的步骤。在各种实施例中，图6B的过程利用向量计算单元的多个处理元件来对向量的元素并行执行处理。在各种实施例中，向量计算单元分别是图1、图2、图3和图4A的向量引擎111，211，311和/或向量计算单元401。
在651处，对加载操作进行解码和发布。在一些实施例中，需要加载操作以将数据接收到向量计算单元中。例如，在一些实施例中，出队操作是使数据元素的向量从计算阵列中出队以由向量计算单元的处理元件接收的加载操作。在各种实施例中，加载操作可以是组成单个向量计算单元指令的多个组件指令中的一个组件指令。加载操作的解码确定了加载操作的特定类型和适当操作。例如，存在各种加载操作以将不同大小的向量元素加载到不同的指定向量寄存器中。在651处，对加载操作进行解码和发布以发起输入数据的接收，诸如使数据结果的向量从先进先出(FIFO)队列出队。
在653处，作为在651处发布的加载操作的结果，向量计算单元接收向量形式的输入数据。例如，向量计算单元从诸如图1的矩阵处理器107的计算阵列、诸如图2的向量引擎输入队列207的先进先出(FIFO)队列或其他适当的数据源接收输入数据元素的向量。在一些实施例中，输入数据存储在输入缓冲器中。在一些实施例中，输入缓冲器利用一组触发器和/或一个或多个累加器来存储输入数据。大小为输入向量的输入缓冲器可以用于存储输入数据，使得在步骤655处，该输入数据可以加载到一个或多个向量寄存器中。
在655处，在653处接收的向量数据加载到适当的寄存器中。例如，在653处读取的向量数据加载到由加载指令指定的向量寄存器中。在一些实施例中，寄存器混叠用于确定如何将数据加载到向量寄存器中。例如，数据可以基于所利用的指令和混叠的寄存器来加载到同一寄存器的存储器位置，但与字节、半字或字边界对准。在一些实施例中，将向量数据加载到向量寄存器中利用字节屏蔽(诸如向量字节屏蔽)来确定将向量的哪些字节加载到哪些寄存器存储器位置中。例如，96字节屏蔽可以用于确定向量寄存器的哪些元素应当接收数据。
在657处，做出是否需要附加数据的确定。例如，基于当前向量计算单元指令，在执行算术逻辑单元(ALU)操作之前可能需要其他数据。响应于无需附加数据，处理继续进行到661。作为示例，如果当前向量计算单元指令包括不是非操作操作的ALU组件操作(诸如加法操作)，则处理继续进行到661。响应于需要附加数据，例如，加载操作挂起并且没有ALU操作挂起，处理继续进行到659。在一些实施例中，指令三元组可以使用指示不对当前指令执行ALU操作的非操作替换ALU操作。
在659处，附加数据加载到向量计算单元中以供处理。例如，可以通过读取存储器、接收矩阵处理器的结果、使先进先出(FIFO)队列出队或其他适当的技术来加载附加输入数据，诸如输入权重的向量。在一些实施例中，可以通过读取诸如静态随机存取存储器(SRAM)的存储器来加载附加数据。在各种实施例中，诸如读取缓冲器的附加组件可以用于同步数据的加载和/或考虑读取延迟和等待时间。在各种实施例中，在659处加载的数据可以是输入数据的向量，诸如权重输入的向量。
在661处，执行向量算术逻辑单元(ALU)操作。在各种实施例中，向量ALU操作包括用于加法(带符号的和不带符号的)、减法(带符号的和不带符号的)、乘法、绝对值和逻辑操作符灯的向量操作。可以对不同的操作数大小执行向量ALU操作。示例操作数大小包括8字节值、16字节值、32字节值和浮点值。在一些实施例中，基于寄存器混叠和/或操作的操作码来确定不同的操作数大小。例如，对8字节操作数的向量加法操作利用8字节向量寄存器。如关于图4A和图4B所更详细地解释的，寄存器混叠允许使用不同混叠来引用相同的存储器位置。例如，依据所需结果，32字节存储器块可以引用为单个4字节操作、两个2字节操作数或四个1字节操作数。在各种实施例中，向量计算单元的每个处理元件与其他处理元件并行执行相同的ALU操作(例如，加法、减法、乘法等)。在一些实施例中，输出结果是ALU结果的量化版本。例如，输出结果是量化版本，其与ALU结果相比，需要更少的字节来表示。在一些实施例中，使用比输入操作数少的字节代表的结果来计算ALU结果。例如，输入操作数各自可以是4个字节，输出结果的大小可以是1个字节。
在663处，在661处执行的算术逻辑单元(ALU)操作的向量结果写入向量计算单元之外。在一些实施例中，利用输出缓冲器来写出向量结果，该输出缓冲器在输出总线不可用于接收数据的情况下允许处理以继续进行下一ALU操作。在一些实施例中，向量输出结果传送到后处理单元，诸如分别图1、图2和图3的后处理单元115，215和/或315。例如，执行ALU操作的结果写入到用于执行后处理池化操作的后处理单元。在一些实施例中，输出向量结果写入到诸如静态随机存取存储器(SRAM)的存储器。在各种实施例中，写出输出作为元素的向量，诸如96元素向量，其中每个元素的大小为1个字节。
图7是图示了用于向量计算单元指令的编码格式的实施例的框图。在所示的示例中，向量计算单元指令710描绘了由单个指令指定的多个组件指令的编码。向量计算单元指令740进一步详述了由单个指令指定的多个组件指令中的每个组件指令的格式。向量计算单元指令710是编码的指令三元组，并且包括加载操作711、算术逻辑单元(ALU)操作713和存储操作715。向量计算单元指令740包括字段：操作码741、寄存器743、操作码751、寄存器753、操作码配置字段755、中间字段757、操作码761和寄存器763。向量计算单元指令710所描绘的(与加载操作、ALU操作和存储操作相对应的)组件指令的字段映射到向量计算单元指令740。向量计算单元指令740包括编码的加载操作(操作码741和寄存器743)、算术逻辑单元操作(操作码751、寄存器753、操作码配置字段755和中间字段757)以及存储操作(操作码761和寄存器763)。
在一些实施例中，向量计算单元指令是指定三个组件指令的指令三元组。例如，加载操作、算术逻辑单元(ALU)操作和存储操作可以使用128字节格式捆绑为单个指令。在各种实施例中，视情况而定，更大或更小的字节格式可以用于捆绑三个组件指令。在一些实施例中，加载操作和存储操作被编码为13个字节，而ALU操作被编码为64个字节。在各种实施例中，捆绑的加载操作、存储操作和ALU操作未使用的任何剩余字节是填充字节。在一些实施例中，操作码被编码为8个字节，寄存器被编码为5个字节，并且中间字段被编码为32个字节。在各种实施例中，视情况而定，可以利用不同长度的编码，并且这些不同长度的编码取决于指令大小、所支持的向量操作的数目、寄存器的数目、向量大小和/或其他适当的因素。在一些场景中，当没有利用组件指令中的一个或多个组件指令时，使用非操作操作。
在所示的示例中，向量计算单元指令740的编码的加载操作包括操作码741和寄存器743。操作码741与向量加载操作相对应，而寄存器743是加载操作的对应的目的地向量寄存器。例如，操作码741可以用于存储用于加载数据的出队操作的操作码，并且寄存器743是用于存储加载的数据的目的地寄存器。在各种实施例中，加载操作用于将输入数据的向量加载到向量寄存器中，以由向量计算单元进行处理。在一些实施例中，操作码741是8字节字段，并且寄存器743是5字节字段。
在所示的示例中，向量计算单元指令740的编码的存储操作包括操作码761和寄存器763。操作码761与向量存储操作相对应，寄存器763是对应的源向量寄存器，存储操作应当从该源向量寄存器读取数据向量。例如，操作码761可以用于存储用于存储操作的操作码，该存储操作将数据从寄存器763存储到诸如静态随机存取存储器(SRAM)的外部存储器。在一些实施例中，用于存储的存储器的起始地址由外部定序器或控制单元使用引用存储器位置的写入指针来维护。在一些实施例中，存储操作用于将数据向量写入输出数据总线。在一些实施例中，操作码761是8字节字段，并且寄存器763是5字节字段。
在所示的示例中，编码算术逻辑单元(ALU)操作包括操作码751、寄存器753、操作码配置字段755和中间字段757。操作码751用于对ALU操作码进行编码。例如，ALU操作码可以包括与加法(带符号的和不带符号的)、减法(带符号的和不带符号的)、乘法、绝对值和逻辑操作符等的向量操作相对应的操作码。依据向量ALU操作，该操作可以利用字段：寄存器753、操作码配置字段755和中间字段757。在一些实施例中，寄存器753指定多达四个的向量寄存器，其包括三个源寄存器和一个目的地寄存器。在一些实施例中，寄存器753是20字节字段，并且每个寄存器利用5字节。
在一些实施例中，编码算术逻辑单元(ALU)操作包括由某些ALU操作利用的操作码配置字段755。在一些实施例中，操作码配置字段755是5字节字段，并且包括寄存器大小字段(2个字节)、屏蔽字节(1个字节)和中间有效字节(1个字节)。例如，在一些场景中，存储在寄存器大小字段(2个字节)中的值可以用于指定寄存器的大小(例如，8个字节、16个字节或32个字节)。作为附加示例，屏蔽字节(1个字节)可以用于处理中间字段757作为字节屏蔽，中间有效字节(1个字节)可以用于标识中间字段757的有效性。中间字段757是32字节字段，其用于需要中间字段的ALU操作。例如，向量移动操作可以被配置为将32字节值从中间字段757移动到目的地向量寄存器。
在一些实施例中，向量计算单元支持向量屏蔽移动指令(未示出)以将向量字节屏蔽加载到向量屏蔽寄存器中。在一些实施例中，向量屏蔽移动指令包括对应操作码字段、目的地寄存器字段、以及中间字段。例如，向量屏蔽移动将存储在中间字段中的向量字节屏蔽加载到向量屏蔽寄存器。在一些实施例中，由向量计算单元支持的向量的大小(例如，宽度为96个元素)需要足够大的中间字段(例如，96个字节)来存储字节屏蔽。在一些实施例中，向量屏蔽移动指令不限于向量计算单元指令710和740的编码格式。例如，基于中间字段的大小，向量屏蔽移动不会与其他组件指令捆绑在一起。
在各种实施例中，向量计算单元指令中的组件指令使用图5的过程捆绑在一起。在一些实施例中，诸如图1、图2、图3和图3A的向量引擎111，211，311和/或向量计算单元401的向量计算单元利用图7的编码格式。在一些实施例中，向量计算单元指令通过包含定序器的微处理器***或控制单元的定序器发布到向量计算单元。
图8是图示了对于由向量计算单元执行单个向量计算单元指令的过程的实施例的流程图。可以由向量计算单元利用向量计算单元的处理元件对向量的元素并行执行图8的过程。在一些实施例中，分别通过诸如图1、图2、图3和图4A的向量引擎111，211，311和/或向量计算单元401的向量计算单元执行图8的过程。
在801处，获取向量计算单元指令。在一些实施例中，从指令缓冲器和/或命令队列中获取指令。在各种实施例中，指令缓冲器包括引用要被执行的当前指令的一个或多个指针。在各种实施例中，指令缓冲器充当向量计算单元指令的高速缓存。
在821处，对向量计算单元指令进行解码。例如，作为指令三元组的向量计算单元指令被解码成它的三个组件指令。在各种实施例中，对由每个组件指令所利用的参数和字段进行解码。例如，由寄存器字段指定的向量寄存器(诸如图7的寄存器753)被解码成源寄存器和目的地寄存器。
在831处，发布组件指令。在一些实施例中，组件指令的发布包括确定资源和/或数据危害是否存在。在存在危害的情况下，在一些实施例中，向量计算单元等待危害被解决。例如，在由前一时钟周期中的加载操作引起的资源危害的情况下，向量计算单元为加载完成并且资源可用而等待一个或多个时钟周期。
在一些实施例中，多个组件指令一起发布并且并行执行。例如，指令三元组的加载操作、算术逻辑单元(ALU)操作和存储操作在同一时钟周期期间一起执行。在一起执行组件指令的场景中，在同一时钟周期中发起与执行加载操作(步骤845)、ALU操作(步骤855)和存储操作(步骤865)相对应的步骤以及与非操作备选项(步骤843、854和863)对应的步骤中的每个步骤，并且执行并行进行。
在一些实施例中，不同的组件指令以交错开始的方式执行。例如，在一些实施例中，首先执行加载操作，然后执行算术逻辑单元(ALU)操作，然后执行存储操作。在交错场景中，第一向量计算单元指令的ALU操作可以与下一向量计算单元指令的加载操作并行执行。
在各种实施例中，包括不同的算术逻辑单元(ALU)的操作的不同的操作要花费一个或多个时钟周期来完成，并且不能保证不同的操作能够在同一时钟周期结束时完成。在一些实施例中，可以在同一指令周期期间执行获取步骤(步骤801)、解码步骤(步骤821)和发布步骤(步骤831)步骤中的一个或多个步骤。
在841处，做出向量计算单元指令是否包括加载操作的确定。例如，在一些场景中，可以使用非操作操作替换加载操作以指示不应当执行加载操作。响应于非操作操作，处理继续进行到843。在存在加载操作的情况下，处理继续进行到845。
在843处，对非操作操作进行处理并且不执行加载操作。例如，841处的指令中不存在加载指令，而是使用非操作操作的操作码。
在845处，向量计算单元执行加载操作。例如，执行出队操作以从先进先出队列(诸如向量引擎输入队列207)加载输入向量。
在851处，确定向量计算单元指令是否包括算术逻辑单元(ALU)操作。例如，在一些场景中，可以使用非操作操作替换ALU操作以指示不应执行ALU操作。响应于非操作操作，处理继续进行到853。在存在ALU操作的情况下，处理继续进行到855。
在853处，对非操作操作进行处理并且不执行算术逻辑单元(ALU)操作。例如，851处的指令中不存在ALU指令，而是使用非操作操作的操作码。
在855处，向量计算单元执行算术逻辑单元(ALU)操作。例如，响应于向量加法操作，向量计算单元的算术逻辑单元执行向量加法操作以将两个源向量寄存器的内容相加，并且将结果存储在目的地向量寄存器中。在一些实施例中，向量计算单元的算术逻辑单元是图4A的算术逻辑单元(ALU)427。
在861，做出向量计算单位指令是否包括存储操作的确定。例如，在一些场景中，可以使用非操作操作替换存储操作以指示不应当执行存储操作。响应于非操作操作，处理继续进行到863。在存在存储操作的情况下，处理继续进行到865。
在863处，对非操作操作进行处理并且不执行存储操作。例如，861处的指令中不存在存储指令，而是使用非操作操作的操作码。
在865处，向量计算单元执行存储操作。例如，执行将向量寄存器中的向量数据存储到存储器的存储操作。
图9是图示了向量计算单元的示例性指令周期的图。图9的过程图示了并行执行但呈交错开始的方式的三个向量计算单元指令的示例排序和顺序。在一些实施例中，图1、图2、图3和图4A的向量引擎111，211，311和/或向量计算单元401分别利用图9的示例性指令周期。在图9的示例中，捆绑在一起作为单个指令的组件指令以交错开始的方式被执行，使得首先执行加载操作，然后执行算术逻辑单元(ALU)操作，然后执行存储操作。在一些实施例中，一系列向量计算单元指令呈流水线形式，但是组件指令并行执行，并且不会遵循图9中描绘的交错开始。
在所示的示例中，第一指令周期910包括获取步骤911、解码步骤921、发布步骤931、加载执行步骤941、算术逻辑单元(ALU)执行步骤951、以及与第一向量计算单元指令相对应的存储执行步骤961。第二指令周期920包括获取步骤923、解码步骤933、发布步骤943、加载执行步骤953、算术逻辑单元(ALU)执行步骤963、以及与第二向量计算单元指令相对应的存储执行步骤973。第三指令周期930包括提取步骤935、解码步骤945、发布步骤955、加载执行步骤965、算术逻辑单元(ALU)执行步骤975、以及与第三向量计算单元指令相对应的存储执行步骤985。在一些实施例中，竖直虚线是时钟周期边界。在各种实施例中，在相同时钟周期期间开始相同时钟周期边界内的步骤。
在一些实施例中，指令周期的开始错开一个阶段。例如，与第二指令周期920相比较，第一指令周期910在处理上领先一个阶段，并且比第三指令周期930领先两个阶段。在任何给定的时钟周期期间，不同的向量计算单元指令可以利用与不同阶段相关联的硬件资源：获取、解码、发布、加载执行、算术逻辑单元(ALU)执行、以及存储执行。作为示例，第一、第二和第三指令周期910，920和930的发布阶段931、解码阶段933和获取阶段935分别在同一时钟周期期间执行。作为另一示例，分别在同一时钟周期期间执行第一、第二和第三指令周期910，920和930的存储执行步骤961、算术逻辑单元(ALU)执行步骤963和加载执行步骤965。
在一些实施例中，向量计算单元的指令周期实现了每个时钟周期一个向量计算单元指令的吞吐量。在一些实施例中，获取步骤、解码步骤和/或发布步骤被压缩为单个时钟周期。例如，在一些实施例中，指令缓冲器用于使获取时间最小，并且一起执行获取步骤和解码步骤。在一些实施例中，指令周期的每个阶段可以花费一个或多个时钟周期来完成。在一些实施例中，阶段本身呈流水线形式。例如，在执行步骤花费一个以上的周期来完成的情况下，执行步骤可以呈流水线形式以在多个时钟周期内完成。在一些实施例中，可以以流水线形式并行处理多个执行步骤，并且每个执行步骤可以与不同的向量计算单元指令相对应。在一些实施例中，获取步骤911，923和935与图8的步骤801相对应，解码步骤921，933和945与图8的步骤821相对应，发布步骤931，943和955与图8的步骤831相对应，加载执行步骤941，953和965与图8的步骤845相对应，算术逻辑单元(ALU)执行步骤951，963和975与图8的步骤855相对应，并且存储执行步骤961，973和985与图8的步骤865相对应。
在备选实施例(未示出)中，以与图9相同的次序执行指令周期的获取阶段，解码阶段和发布阶段。与图9的示例性实施例相反，在同一时钟周期期间一起并行执行加载、算术逻辑单元(ALU)和存储执行步骤。例如，一起执行同一向量计算单元指令的加载执行步骤941、ALU执行步骤951和存储执行步骤961。
图10是图示了计算阵列的计算单元的实施例的框图。在所示的示例中，计算单元1000包括输入值，即，权重1002、数据1004和ResultIn 1006；信号，即，ClearAcc信号1008、时钟信号1010、ResultEnable信号1012、ResultCapture信号1014和ShiftEn信号1016；组件，即，累加器1024、多路复用器1026、影子寄存器1028、乘法器1030和加法器1032；逻辑1034，1036和1038；以及输出值，即，ResultOut 1050。在一些实施例中，逻辑1034，1036和1038是AND门。在一些实施例中，视情况而定，附加信号包括在内。在各种实施例中，对于诸如图1的矩阵处理器107的计算阵列的多个计算单元中的每个计算单元(诸如计算单元109)，重复图10的计算单元。计算单元1000可以用于实现并行计算操作。在各种实施例中，计算阵列的每个计算单元与其他计算单元并行执行计算。在各种实施例中，计算单元1000是矩阵处理器的子电路，其包括用于执行一个或多个乘法操作、加法操作、累加操作和/或移位操作的功能。例如，计算单元1000可以是包括用于执行点积操作的功能的子电路。在各种实施例中，计算单元1000是图1的计算单元109和/或图2的计算单元209和/或221-229。
在一些实施例中，时钟信号1010是计算单元1000所接收的时钟信号。在各种实施例中，计算阵列的每个计算单元接收同一时钟信号，并且该时钟信号用于使每个计算单元的处理与其他计算单元的处理同步。
在所示的示例中，乘法器1030接收输入值(数据1004和权重1002)并且对其执行乘法操作。乘法器1030的输出馈送到加法器1032。加法器1032接收乘法器1030的输出和逻辑1034的输出并且对这些输出执行加法。加法器1032的输出馈送到累加器1024。在一些实施例中，输入值(数据1004和权重1002)是与计算单元交叉的线并且将对应的数据和/或权重馈送到相邻的计算单元。例如，在一些实施例中，数据1004馈送到同一列中的所有计算单元，而权重1002馈送到同一行中的所有计算单元。在各种实施例中，数据1004和权重1002分别与从数据输入103和权重输入105馈送到计算单元1000的输入元素相对应。在各种实施例中，数据1004和权重1002分别与从数据硬件数据格式化器和权重硬件数据格式化器馈送到计算单元1000的输入元素相对应。
在一些实施例中，ClearAcc信号1008清零累加器1024的内容。作为示例，累加操作可以通过清零累加器1024来重置，并且用于累加乘法器1030的结果。在一些实施例中，ClearAcc信号1008用于清零用于执行新点积操作的累加器1024。例如，通过乘法器1030执行逐元素乘法，并且使用加法器1032和累加器1024将部分点积结果相加。
在各种实施例中，累加器1024是能够累加加法器1032的结果并且间接地累加乘法器1030的结果的累加器。例如，在一些实施例中，累加器1024被配置为基于ClearAcc信号1008的状态来累加乘法器1030的结果与累加器1024的内容。作为另一示例，基于ClearAcc信号1008的状态，加法器1032可以忽略存储在累加器1024中的当前结果。在所示的示例中，累加器1024是宽度为32个字节的累加器。在各种实施例中，视情况而定，累加器1024的大小可以不同，例如，8个字节、16个字节、64个字节等。在各种实施例中，计算阵列的多个计算单元中的每个累加器的大小相同。在各种实施例中，累加器1024可以累加并且保存数据，累加并且清零数据，或仅清零数据。在一些实施例中，累加器1024可以被实现为累加寄存器。在一些实施例中，累加器1024可以包括一组算术逻辑单元(ALU)，该组算术逻辑单元包括寄存器。
在一些实施例中，响应于确定数据1004有效，激活ResultEnable信号1012。例如，可以启用ResultEnable信号1012以使得能够通过计算单元进行处理，诸如使得能够通过乘法器1030和加法器1032进行处理进入累加器1024。
在一些实施例中，ResultCapture信号1014用于确定多路复用器1026的功能。多路复用器1026接收ResultIn 1006、累加器1024的输出和ResultCapture信号1014作为输入。在各种实施例中，ResultCapture信号1014用于使得ResultIn 1006或累加器1024的输出能够作为多路复用器1026的输出通过。在一些实施例中，多路复用器1026被实现为输出寄存器。在一些实施例中，ResultIn 1006连接到与计算单元1000的相同列中的计算单元。例如，相邻计算单元的输出作为输入值ResultIn 1006馈送到计算单元1000。在一些实施例中，相邻计算单元的输入是计算单元的对应ResultOut值。
在一些实施例中，影子寄存器1028接收多路复用器1026的输出作为输入。在一些实施例中，影子寄存器1028被配置为取决于ResultCapture信号1014的值经由多路复用器1026接收累加器1024的输出。在所示的示例中，影子寄存器1028的输出是输出值ResultOut1050。在各种实施例中，一旦结果***到影子寄存器1028中，累加器1024就可以用于着手新计算。例如，一旦最终点积结果存储在影子寄存器1028中，累加器1024就可以被清零，并且用来累加并且存储部分结果，并且最终累加并且存储对新输入值(权重和数据)进行新点积操作的最终结果。在所示的示例中，影子寄存器1028接收信号ShiftEn信号1016。在各种实施例中，ShiftEn信号1016用于启用或禁用值在影子寄存器1028中的存储。在一些实施例中，ShiftEn信号1016用于将存储在影子寄存器1028中的值移位到输出值ResultOut1050。例如，当启用ShiftEn信号1016时，存储在影子寄存器1028中的值从影子寄存器1028中移出作为输出值ResultOut1050。在一些实施例中，ResultOut 1050连接到相邻计算单元的输入值ResultIn。在一些实施例中，计算单元的列的最后一个单元连接到计算阵列的输出。在各种实施例中，计算阵列的输出馈送到向量引擎，诸如图1的向量引擎111，以进行向量处理。例如，诸如图1的计算单元109的计算单元的输出ResultOut 1050可以馈送到诸如图1的向量引擎111的处理元件113的向量引擎的处理元件中。
在所示的示例中，影子寄存器1028的宽度为32个字节。在各种实施例中，视情况而定，影子寄存器1028的大小可以不同，例如，8个字节、16个字节、64个字节等。在各种实施例中，计算阵列的多个计算单元的每个影子寄存器的大小相同。在各种实施例中，影子寄存器1028的大小与累加器1024的大小相同。在各种实施例中，多路复用器1026的大小基于累加器1024和/或影子寄存器1028的大小(例如，大小相同或更大)。
在一些实施例中，逻辑1034，1036和1038接收诸如控制信号的信号，以启用和/或配置计算单元1000的功能。在各种实施例中，逻辑1034，1036和1038使用AND门和/或与AND门相对应的功能来实现。例如，如上文所描述的，逻辑1034接收ClearAcc信号1008以及与存储在累加器1024中的值相对应的输入值。基于ClearAcc信号1008，确定逻辑1034的输出并且将其馈送到加法器1032。作为另一示例，逻辑1036接收ResultEnable信号1012和Clock信号1010。基于ResultEnable信号1012，确定逻辑1036的输出并且将其馈送到累加器1024。作为另一示例，逻辑1038接收ShiftEn信号1016和Clock信号1010。基于ShiftEn信号1016，确定逻辑1038的输出并且将其馈送到影子寄存器1028。
在各种实施例中，计算单元可以同时(即，在单个周期内)执行乘法操作、加法操作和移位操作，从而使每个周期发生的操作的总数加倍。在一些实施例中，结果在单个时钟周期内从多路复用器1026移动到影子寄存器1028，即，无需中间执行操作和保存操作。在各种实施例中，时钟周期基于在时钟信号1010处接收到的信号。
在各种实施例中，输入值(权重1002和数据1004)是8字节值。在一些实施例中，权重1002是带符号的值，而数据1004是不带符号的值。在各种实施例中，视情况而定，权重1002和数据1004可以带符号或不带符号。在一些实施例中，ResultIn 1006和ResultOut1050是32字节值。在各种实施例中，使用比输入操作数(权重1002和数据1004)更多的字节来实现ResultIn 1006和ResultOut1050。通过利用大量字节，可以累加多对权重1002和数据1004相乘例如以计算点积结果的结果，而不会溢出标量结果。
在一些实施例中，计算单元1000在累加器1024中生成中间和/或最终计算结果。然后，最终计算结果经由多路复用器1026被存储在影子寄存器1028中。在一些实施例中，多路复用器1026用作输出寄存器，并且存储累加器1024的输出。在各种实施例中，最终的计算结果是卷积操作的结果。例如，ResultOut 1050处的最终结果是由计算单元1000接收的使用权重1002作为输入值的滤波器与由计算单元1000接收的使用数据1004作为输入值的传感器数据的二维区域之间的卷积的结果。
作为示例，可以使用计算单元1000对与传感器数据的区域相对应的2x2数据输入矩阵[d0 d1；d2 d3]以及与权重[w0 w1；2x2 w2 w3]的矩阵相对应的过滤器执行卷积操作。2x2数据输入矩阵具有第一行[d0 d1]和第二行[d2 d3]。滤波器矩阵具有第一行[w0 w1]和第二行[w2w3]。在各种实施例中，计算单元1000经由数据1004接收数据矩阵作为一维输入向量[d0 d1 d2 d3](每个时钟周期一个元素)，并且经由权重1002接收权重矩阵作为一维输入向量[w0 w1 w2 w3](每个时钟周期一个元素)。使用计算单元1000，执行两个输入向量的点积以在ResultOut 1050处产生标量结果。例如，乘法器1030用于将输入权重和数据向量的每个对应元素相乘，并且结果存储到累加器1024并且与累加器1024中的先前结果相加。例如，元素d0与元素w0相乘(例如，d0*w0)的结果首先存储在已清零的累加器1024中。接下来，元素d1与元素w1相乘，并且使用加法器1032与存储在累加器1024中(例如，d0*w0)的先前结果相加，以计算d0*w0+d1*w1的等效值。处理继续进行到第三对元素d2和w2，以在累加器1024处计算d0*w0+d1*w1+d2*w2的等效值。最后元素对相乘，点积的最终结果现在存储在累加器1024中(例如，d0*w0+d1*w1+d2*w2+d3*w3)。然后，点积结果拷贝到影子寄存器1028。一旦存储在影子寄存器1028中，就可以例如使用传感器数据的不同区域来启动新点积操作。基于ShiftEn信号1016，存储在影子寄存器1028中的点积结果移位离开影子寄存器1028到达ResultOut1050。在各种实施例中，权重和数据矩阵的尺寸可以与上述示例的尺寸不同。例如，可以使用更大的尺寸。
在一些实施例中，引入偏差参数，并且使用累加器1024与点积结果相加。在一些实施例中，在权重1002或数据1004处该偏差参数作为输入而被接收，以及乘法标识元素作为其他输入值。偏差参数与标识元素相乘以保留偏差参数，并且使用加法器1032将乘法结果(例如，偏差参数)与点积结果相加。加法结果(偏差值所抵消的点积结果)存储在累加器1024中，稍后使用影子寄存器1028在ResultOut1050处移出。在一些实施例中，使用诸如图1的向量引擎111的向量引擎引入偏差。
尽管出于理解清楚的目的，对前述实施例进行了一些详细描述，但是本发明不限于所提供的细节。存在许多实施本发明的备选方式。所公开的实施例是说明性的而非限制性的。

Claims (25)

1.一种微处理器***，包括：
计算阵列，所述计算阵列包括多个计算单元；以及
向量计算单元，所述向量计算单元与所述计算阵列通信。
2.根据权利要求1所述的***，其中所述向量计算单元包括多个处理元件，并且所述处理元件被配置为接收来自所述计算阵列的输出数据元素，并且并行处理所接收的输出数据元素。
3.根据权利要求2所述的***，其中所述处理元件响应于单个处理器指令而并行处理所接收的输出数据元素。
4.根据权利要求1所述的***，其中所述计算阵列包括矩阵处理器。
5.根据权利要求1所述的***，其中所述计算阵列被配置为接收两个向量输入操作数。
6.根据权利要求1所述的***，其中所述多个计算单元中的每个计算单元包括算术逻辑单元、累加器、以及影子寄存器。
7.根据权利要求1所述的***，其中所述多个计算单元中的每个计算单元被配置为执行乘法操作和加法操作。
8.根据权利要求1所述的***，其中所述多个计算单元中的每个计算单元被配置为执行点积分量操作。
9.根据权利要求1所述的***，其中所述多个计算单元中的每个计算单元被配置为响应于单个计算阵列指令而并行计算点积结果分量。
10.根据权利要求2所述的***，其中所述多个处理元件中的每个处理元件包括算术逻辑单元，所述算术逻辑单元被配置为与其他处理元件并行执行算术逻辑单元操作。
11.根据权利要求2所述的***，其中通知信号标识着来自所述计算阵列的输出数据元素准备好用于所述向量计算单元。
12.根据权利要求1所述的***，其中所述计算阵列被配置为作为先进先出队列来操作。
13.根据权利要求2所述的***，其中来自所述计算阵列的所述输出数据元素与点积结果相对应。
14.根据权利要求2所述的***，其中来自所述计算阵列的所述输出数据元素与对图像数据执行的卷积结果相对应。
15.根据权利要求3所述的***，其中所述单个处理器指令用于计算非线性函数的结果。
16.根据权利要求15所述的***，其中所述非线性函数是修正线性单元函数或S形函数。
17.根据权利要求1所述的***，还包括后处理单元，所述后处理单元与所述向量计算单元通信。
18.根据权利要求17所述的***，其中所述后处理单元被配置为执行池化功能。
19.根据权利要求2所述的***，其中从所述计算阵列接收的所述输出数据元素被存储在累加器中。
20.根据权利要求19所述的***，其中所述多个处理元件中的每个处理元件被配置为访问所述累加器的切片和一个或多个向量寄存器的切片。
21.根据权利要求2所述的***，其中所述向量计算单元还包括多个向量寄存器，所述多个向量寄存器的大小被设计为适合于来自所述计算阵列的所述输出数据元素。
22.一种微处理器***，包括：
计算阵列，所述计算阵列包括多个计算单元，其中所述多个计算单元中的每个计算单元被配置为响应于单个计算阵列指令而执行点积分量操作；以及
向量计算单元，所述向量计算单元与所述计算阵列通信，其中所述向量计算单元包括多个处理元件，并且所述处理元件被配置为接收来自所述计算阵列的输出数据元素，并且响应于单个向量计算单元指令而并行处理所接收的输出数据元素。
23.根据权利要求22所述的***，还包括：
控制单元，所述控制单元被配置为向所述计算阵列提供所述单个计算阵列指令，并且向所述向量计算单元提供所述单个向量计算单元指令。
24.根据权利要求23所述的***，其中所述控制单元将从所述计算阵列传送的所述输出数据元素同步到所述向量计算单元的所述处理元件。
25.一种方法，包括：
接收用于向量计算单元的单个处理器指令，其中所述向量计算单元与计算阵列通信并且包括多个处理元件，所述多个处理元件被配置为接收来自所述计算阵列的输出数据元素；
接收来自所述计算阵列的所述输出数据元素，其中所述计算阵列包括多个计算单元；以及
响应于所述单个处理器指令而并行处理所接收的输出数据元素。
CN201880059404.4A 2017-07-24 2018-06-20 向量计算单元 Active CN111095242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410258938.7A CN118035625A (zh) 2017-07-24 2018-06-20 向量计算单元

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762536399P 2017-07-24 2017-07-24
US62/536,399 2017-07-24
US15/710,433 2017-09-20
US15/710,433 US10671349B2 (en) 2017-07-24 2017-09-20 Accelerated mathematical engine
US201862625251P 2018-02-01 2018-02-01
US62/625,251 2018-02-01
US15/920,156 US11409692B2 (en) 2017-07-24 2018-03-13 Vector computational unit
US15/920,156 2018-03-13
PCT/US2018/038618 WO2019022872A1 (en) 2017-07-24 2018-06-20 VECTORIAL CALCULATION UNIT

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410258938.7A Division CN118035625A (zh) 2017-07-24 2018-06-20 向量计算单元

Publications (2)

Publication Number Publication Date
CN111095242A true CN111095242A (zh) 2020-05-01
CN111095242B CN111095242B (zh) 2024-03-22

Family

ID=65018702

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880059404.4A Active CN111095242B (zh) 2017-07-24 2018-06-20 向量计算单元
CN202410258938.7A Pending CN118035625A (zh) 2017-07-24 2018-06-20 向量计算单元

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410258938.7A Pending CN118035625A (zh) 2017-07-24 2018-06-20 向量计算单元

Country Status (8)

Country Link
US (2) US11409692B2 (zh)
EP (2) EP3659074B1 (zh)
JP (2) JP7426925B2 (zh)
KR (3) KR102346079B1 (zh)
CN (2) CN111095242B (zh)
CA (1) CA3070934C (zh)
MX (2) MX2020000951A (zh)
WO (1) WO2019022872A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113805940A (zh) * 2020-08-17 2021-12-17 阿里巴巴集团控股有限公司 用于人工智能和机器学习的向量加速器
CN114080598A (zh) * 2019-06-07 2022-02-22 元平台公司 具有数据连接器组件的点对点连接的处理元件

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US10671349B2 (en) * 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11277455B2 (en) 2018-06-07 2022-03-15 Mellanox Technologies, Ltd. Streaming system
US20200106828A1 (en) * 2018-10-02 2020-04-02 Mellanox Technologies, Ltd. Parallel Computation Network Device
US11056098B1 (en) 2018-11-28 2021-07-06 Amazon Technologies, Inc. Silent phonemes for tracking end of speech
GB2580151B (en) * 2018-12-21 2021-02-24 Graphcore Ltd Identifying processing units in a processor
US10824370B2 (en) * 2019-02-07 2020-11-03 quadric.io, Inc. Systems and methods for implementing random access memory in a flow-based machine perception and dense algorithm integrated circuit based on computing and coalescing of indices
US11625393B2 (en) 2019-02-19 2023-04-11 Mellanox Technologies, Ltd. High performance computing system
EP3699770A1 (en) 2019-02-25 2020-08-26 Mellanox Technologies TLV Ltd. Collective communication system and methods
CN111814093A (zh) * 2019-04-12 2020-10-23 杭州中天微***有限公司 一种乘累加指令的处理方法和处理装置
US11829439B2 (en) 2019-12-30 2023-11-28 Qualcomm Incorporated Methods and apparatus to perform matrix multiplication in a streaming processor
US11750699B2 (en) 2020-01-15 2023-09-05 Mellanox Technologies, Ltd. Small message aggregation
US11252027B2 (en) 2020-01-23 2022-02-15 Mellanox Technologies, Ltd. Network element supporting flexible data reduction operations
KR20210105053A (ko) * 2020-02-18 2021-08-26 에스케이하이닉스 주식회사 연산 회로 및 그것을 포함하는 딥 러닝 시스템
US11876885B2 (en) 2020-07-02 2024-01-16 Mellanox Technologies, Ltd. Clock queue with arming and/or self-arming features
US20220076105A1 (en) * 2020-09-09 2022-03-10 Allegro MicroSystems, LLC, Manchester, NH Method and apparatus for trimming sensor output using a neural network engine
US11556378B2 (en) 2020-12-14 2023-01-17 Mellanox Technologies, Ltd. Offloading execution of a multi-task parameter-dependent operation to a network device
CN112988114B (zh) * 2021-03-12 2022-04-12 中国科学院自动化研究所 基于gpu的大数计算***
WO2023167980A1 (en) 2022-03-04 2023-09-07 Tesla, Inc. Enhanced fractional interpolation for convolutional processor in autonomous or semi-autonomous systems
WO2023167981A1 (en) 2022-03-04 2023-09-07 Tesla, Inc. Efficient multiply-accumulate units for convolutional neural network processing including max pooling
WO2023200725A1 (en) 2022-04-12 2023-10-19 Tesla, Inc. Transposing information using shadow latches and active latches for efficient die area in processing system
WO2023212203A1 (en) 2022-04-29 2023-11-02 Tesla, Inc. Matrix multiplication performed using convolution engine which includes array of processing elements
WO2023220073A1 (en) 2022-05-10 2023-11-16 Tesla, Inc. Efficient selection of single instruction multiple data operations for neural processing units
US11922237B1 (en) 2022-09-12 2024-03-05 Mellanox Technologies, Ltd. Single-step collective operations
WO2024072984A1 (en) 2022-09-30 2024-04-04 Tesla, Inc. Actuator and actuator design methodology
CN115905791B (zh) * 2022-11-25 2023-08-04 湖南胜云光电科技有限公司 一种数字信号的处理***

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600843A (en) * 1989-09-20 1997-02-04 Fujitsu Limited Ring systolic array system for synchronously performing matrix/neuron computation using data transferred through cyclic shift register connected in cascade of trays
JPH10143494A (ja) * 1996-08-19 1998-05-29 Samsung Electron Co Ltd スカラ／ベクトル演算の組み合わせられた単一命令複数データ処理
US20050125477A1 (en) * 2003-12-04 2005-06-09 Genov Roman A. High-precision matrix-vector multiplication on a charge-mode array with embedded dynamic memory and stochastic method thereof
US20060041610A1 (en) * 2004-04-07 2006-02-23 Erdem Hokenek Processor having parallel vector multiply and reduce operations with sequential semantics
US20070028076A1 (en) * 2005-07-26 2007-02-01 Arm Limited Algebraic single instruction multiple data processing
CN102541814A (zh) * 2010-12-27 2012-07-04 北京国睿中数科技股份有限公司 用于数据通信处理器的矩阵计算装置和方法
US20120278376A1 (en) * 2011-04-26 2012-11-01 University Of South Carolina System and method for sparse matrix vector multiplication processing
CN102804135A (zh) * 2009-06-05 2012-11-28 Arm有限公司 用于处理向量指令的数据处理设备和方法
US20130159665A1 (en) * 2011-12-15 2013-06-20 Verisilicon Holdings Co., Ltd. Specialized vector instruction and datapath for matrix multiplication
CN103198512A (zh) * 2011-09-16 2013-07-10 柯斯提克绘图公司 用于多处理器***中的输出的多级采集器
US20140046995A1 (en) * 2011-12-06 2014-02-13 The Mathworks, Inc. Parallel implementation of maximum a posteriori probability decoder
US20150067273A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Computation hardware with high-bandwidth memory interface
US20150331832A1 (en) * 2014-05-13 2015-11-19 Denso Corporation Arithmetic processing apparatus
US20160342889A1 (en) * 2015-05-21 2016-11-24 Google Inc. Vector computation unit in a neural network processor
US20160342891A1 (en) * 2015-05-21 2016-11-24 Google Inc. Neural Network Processor
US20160364334A1 (en) * 2012-03-29 2016-12-15 Advanced Micro Devices, Inc. Managing coherent memory between an accelerated processing device and a central processing unit
CN106250103A (zh) * 2016-08-04 2016-12-21 东南大学 一种卷积神经网络循环卷积计算数据重用的***
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
JP2017027149A (ja) * 2015-07-16 2017-02-02 ルネサスエレクトロニクス株式会社 半導体装置
US20170103318A1 (en) * 2015-05-21 2017-04-13 Google Inc. Rotating data for neural network computations
US20170193360A1 (en) * 2015-12-30 2017-07-06 Microsoft Technology Licensing, Llc Multi-model controller

Family Cites Families (905)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239636A (en) 1988-09-09 1993-08-24 Advanced Micro Devices, Inc. Buffer memory subsystem for peripheral controllers
US5267185A (en) 1989-04-14 1993-11-30 Sharp Kabushiki Kaisha Apparatus for calculating matrices
US5138695A (en) 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
CA2045756C (en) 1990-06-29 1996-08-20 Gregg Bouchard Combined queue for invalidates and return data in multiprocessor system
JPH04295953A (ja) 1991-03-25 1992-10-20 Nippon Telegr & Teleph Corp <Ntt> 要素プロセッサの２次元アレイを内蔵する並列データ処理装置および要素プロセッサのサブアレイユニット
JP2578262Y2 (ja) 1991-07-31 1998-08-06 エルナー株式会社 座付き偏平形電解コンデンサ及びこれに用いる座板材
US5311459A (en) 1992-09-17 1994-05-10 Eastman Kodak Company Selectively configurable integrated circuit device for performing multiple digital signal processing functions
CA2148719A1 (en) 1992-11-05 1994-05-11 Warren Marwood Scalable dimensionless array
US6002880A (en) 1992-12-29 1999-12-14 Philips Electronics North America Corporation VLIW processor with less instruction issue slots than functional units
US5717947A (en) 1993-03-31 1998-02-10 Motorola, Inc. Data processing system and method thereof
US5519864A (en) 1993-12-27 1996-05-21 Intel Corporation Method and apparatus for scheduling the dispatch of instructions from a reservation station
JP3547482B2 (ja) 1994-04-15 2004-07-28 株式会社日立製作所 情報処理装置
US5887183A (en) 1995-01-04 1999-03-23 International Business Machines Corporation Method and system in a data processing system for loading and storing vectors in a plurality of modes
US5850530A (en) 1995-12-18 1998-12-15 International Business Machines Corporation Method and apparatus for improving bus efficiency by enabling arbitration based upon availability of completion data
US5727299A (en) 1996-06-24 1998-03-17 Dominion Tool & Die Company, Inc. Wheel alignment machine and method
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6272257B1 (en) 1997-04-30 2001-08-07 Canon Kabushiki Kaisha Decoder of variable length codes
US6446190B1 (en) 1998-03-12 2002-09-03 Bops, Inc. Register file indexing methods and apparatus for providing indirect control of register addressing in a VLIW processor
JP3941252B2 (ja) 1998-08-07 2007-07-04 マツダ株式会社 車両の位置検出装置
KR100326702B1 (ko) 1999-03-16 2002-03-12 이계안 차선이탈 경보장치의 실 도로폭 산출방법
US6847365B1 (en) * 2000-01-03 2005-01-25 Genesis Microchip Inc. Systems and methods for efficient processing of multimedia data
US6654507B2 (en) 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
GB2370438A (en) 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
JP2002333978A (ja) 2001-05-08 2002-11-22 Nec Corp Ｖｌｉｗ型プロセッサ
KR100440953B1 (ko) 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
US6882755B2 (en) 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
JP3822515B2 (ja) 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
MXPA05008702A (es) 2003-02-21 2005-10-05 Gentex Corp Montajes de sistema automatico de control de luces exteriores del vehiculo.
SE526424C2 (sv) 2003-06-02 2005-09-13 Lear Corp Aktivt mörkerseendesystem för ett inre passagerarutrymme hos ett fordon samt metod för att styra nämnda system
US20130111188A9 (en) 2003-07-24 2013-05-02 Martin Vorbach Low latency massive parallel data processing device
US20060280364A1 (en) 2003-08-07 2006-12-14 Matsushita Electric Industrial Co., Ltd. Automatic image cropping system and method for use with portable devices equipped with digital cameras
JP4300098B2 (ja) 2003-11-13 2009-07-22 日本電信電話株式会社 オブジェクト識別方法とその装置、プログラム及び記録媒体
US7219085B2 (en) 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
GB2409062C (en) * 2003-12-09 2007-12-11 Advanced Risc Mach Ltd Aliasing data processing registers
US20050162445A1 (en) 2004-01-22 2005-07-28 Lumapix Method and system for interactive cropping of a graphical object within a containing region
US20060072847A1 (en) 2004-10-01 2006-04-06 Microsoft Corporation System for automatic image cropping based on image saliency
JP4282583B2 (ja) 2004-10-29 2009-06-24 シャープ株式会社 動画編集装置及び方法
US8913830B2 (en) 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
TW200630834A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method and device using intelligent theory to evaluate permeability of heat pipe
TW200630819A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method of using intelligent theory to design heat dissipation module and device thereof
TW200630833A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method and device using intelligent theory to design heat dissipation opening of computer housing
WO2006099429A2 (en) 2005-03-14 2006-09-21 Thaler Stephen L Neural network development and data analysis tool
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US7533071B2 (en) 2005-06-28 2009-05-12 Neurosciences Research Foundation, Inc. Neural modeling and brain-based devices using special purpose processor
US20070198815A1 (en) * 2005-08-11 2007-08-23 Coresonic Ab Programmable digital signal processor having a clustered SIMD microarchitecture including a complex short multiplier and an independent vector load unit
US7747070B2 (en) 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
US20070255903A1 (en) 2006-05-01 2007-11-01 Meir Tsadik Device, system and method of accessing a memory
JP4388939B2 (ja) 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
US11625761B2 (en) 2007-09-06 2023-04-11 Mohammad A. Mazed System and method for machine learning and augmented reality based user application
US20090016571A1 (en) 2007-03-30 2009-01-15 Louis Tijerina Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
US7904867B2 (en) 2007-04-04 2011-03-08 Synopsys, Inc. Integrating a boolean SAT solver into a router
JP4513865B2 (ja) 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
US8108328B2 (en) 2008-07-17 2012-01-31 Tokyo Electron Limited Neural network based hermite interpolator for scatterometry parameter estimation
US8165380B2 (en) 2008-09-11 2012-04-24 PACSPLUS Co., Ltd. Method, apparatus and program for processing mammographic image
JP2010079840A (ja) 2008-09-29 2010-04-08 Nec Electronics Corp デジタル演算回路
JP2010114731A (ja) 2008-11-07 2010-05-20 Toshiba Corp カメラモジュールの製造方法
CN101742324A (zh) 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码***及编解码器
JP5376920B2 (ja) 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR101082878B1 (ko) 2009-01-29 2011-11-11 연세대학교 산학협력단 홍채 영상 복원 방법
CN101477692B (zh) 2009-02-13 2012-08-22 阿里巴巴集团控股有限公司 图像特征提取方法及装置
US8284997B2 (en) 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
WO2010124376A1 (en) 2009-04-27 2010-11-04 Vincent Charles Cheung Method, system and computer product for distribution of data objects
US8406515B2 (en) 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
RU2012108572A (ru) 2009-08-11 2013-09-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обеспечения изображения для отображения
US8447139B2 (en) 2010-04-13 2013-05-21 International Business Machines Corporation Object recognition using Haar features and histograms of oriented gradients
JP5503419B2 (ja) 2010-06-03 2014-05-28 株式会社日立製作所 無人搬送車および走行制御方法
US8578136B2 (en) * 2010-06-15 2013-11-05 Arm Limited Apparatus and method for mapping architectural registers to physical registers
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5656563B2 (ja) 2010-11-02 2015-01-21 キヤノン株式会社 文書管理システム、文書管理システムの制御方法、プログラム
JP5170226B2 (ja) 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
WO2012172923A1 (ja) 2011-06-16 2012-12-20 アイシン精機株式会社 車両周辺監視装置
JP5911165B2 (ja) 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置
WO2013029008A1 (en) 2011-08-25 2013-02-28 Cornell University Retinal encoder for machine vision
US8773498B2 (en) 2011-09-30 2014-07-08 Polycom, Inc. Background compression and resolution enhancement technique for video telephony and video conferencing
US8588470B2 (en) 2011-11-18 2013-11-19 Xerox Corporation Methods and systems for improved license plate signature matching by similarity learning on synthetic images
JP5863536B2 (ja) 2012-03-29 2016-02-16 富士重工業株式会社 車外監視装置
JP5761451B2 (ja) 2012-03-29 2015-08-12 トヨタ自動車株式会社 路面状態推定装置
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
US9208432B2 (en) 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
US8976269B2 (en) 2012-06-22 2015-03-10 California Institute Of Technology Compressive sensing based bio-inspired shape feature detection CMOS imager
US9008422B2 (en) 2012-06-28 2015-04-14 Lexmark International, Inc. Methods of content-driven image cropping
JP6044134B2 (ja) 2012-06-29 2016-12-14 カシオ計算機株式会社 最適画像サイズによる画像領域分割装置、方法、およびプログラム
CN102737236B (zh) 2012-07-06 2015-06-24 北京大学 一种基于多模态传感器数据自动获取车辆训练样本方法
JP6011104B2 (ja) 2012-07-24 2016-10-19 株式会社デンソー 車両用視界支援装置
WO2014025765A2 (en) 2012-08-06 2014-02-13 University Of Miami Systems and methods for adaptive neural decoding
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9811775B2 (en) 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9501276B2 (en) 2012-12-31 2016-11-22 Intel Corporation Instructions and logic to vectorize conditional loops
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
CN105408746A (zh) 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和***
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9165203B2 (en) 2013-03-15 2015-10-20 Arris Technology, Inc. Legibility enhancement for a logo, text or other region of interest in video
CN103236037B (zh) 2013-04-03 2016-05-11 北京航空航天大学 基于分层退化模型的无人机实时图像模拟方法
US9542643B2 (en) 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
JP2015004922A (ja) 2013-06-24 2015-01-08 株式会社ニコン 焦点調節装置及び撮像装置
CN103366339B (zh) 2013-06-25 2017-11-28 厦门龙谛信息***有限公司 车载多广角摄像头图像合成处理装置及方法
GB2518589B (en) 2013-07-30 2019-12-11 Holition Ltd Image processing
US9317775B2 (en) 2013-08-14 2016-04-19 Ricoh Co., Ltd. Recognition procedure for identifying multiple items in images
CN103500322B (zh) 2013-09-10 2016-08-17 北京航空航天大学 基于低空航拍图像的车道线自动识别方法
JP5951570B2 (ja) 2013-09-13 2016-07-13 株式会社東芝 行列演算装置
US20150104102A1 (en) 2013-10-11 2015-04-16 Universidade De Coimbra Semantic segmentation method with second-order pooling
US9448936B2 (en) 2014-01-13 2016-09-20 Apple Inc. Concurrent store and load operations
US10832057B2 (en) 2014-02-28 2020-11-10 Second Spectrum, Inc. Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition
US10769446B2 (en) 2014-02-28 2020-09-08 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9275289B2 (en) 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
US9384402B1 (en) 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
US20150046332A1 (en) 2014-08-08 2015-02-12 Brighterion, Inc. Behavior tracking smart agents for artificial intelligence fraud protection and management
SG10201405182WA (en) 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10824952B2 (en) 2014-09-22 2020-11-03 International Business Machines Corporation Reconfigurable array processor for pattern matching
US10229478B2 (en) 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US20160132786A1 (en) 2014-11-12 2016-05-12 Alexandru Balan Partitioning data for training machine-learning classifiers
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
CN105809655B (zh) 2014-12-30 2021-06-29 清华大学 车辆检查方法和***
US9916540B2 (en) 2015-01-22 2018-03-13 Microsoft Technology Licensing, Llc Scalable-effort classifiers for energy-efficient machine learning
KR102623680B1 (ko) 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
JP6525707B2 (ja) 2015-04-23 2019-06-05 キヤノン株式会社 画像処理装置、その制御方法及びプログラム、並びに撮像装置
US9886418B2 (en) 2015-04-28 2018-02-06 Intel Corporation Matrix operands for linear algebra operations
CN104835114A (zh) 2015-05-06 2015-08-12 山东大学 一种图像自适应显示方法
US9542751B2 (en) 2015-05-08 2017-01-10 Qualcomm Incorporated Systems and methods for reducing a plurality of bounding regions
GB201508074D0 (en) 2015-05-12 2015-06-24 Apical Ltd People detection
US10438117B1 (en) 2015-05-21 2019-10-08 Google Llc Computing convolutions using a neural network processor
US10049322B2 (en) 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
US10083395B2 (en) 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10410096B2 (en) 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
WO2017022908A1 (ko) 2015-08-04 2017-02-09 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램
US10970617B2 (en) 2015-08-21 2021-04-06 Institute Of Automation Chinese Academy Of Sciences Deep convolutional neural network acceleration and compression method based on parameter quantification
US9767565B2 (en) 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
KR101738422B1 (ko) 2015-09-14 2017-05-23 한국과학기술원 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법
US9442496B1 (en) 2015-09-18 2016-09-13 Amazon Technologies, Inc. Active airborne noise abatement
US10282623B1 (en) 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US9886377B2 (en) 2015-10-05 2018-02-06 Intel Corporation Pipelined convolutional operations for processing clusters
US9704045B2 (en) 2015-10-06 2017-07-11 Yahoo! Inc. User classification based upon images
US10614354B2 (en) 2015-10-07 2020-04-07 Altera Corporation Method and apparatus for implementing layers on a convolutional neural network accelerator
US10726328B2 (en) 2015-10-09 2020-07-28 Altera Corporation Method and apparatus for designing and implementing a convolution neural net accelerator
US11074492B2 (en) 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
US11250335B2 (en) 2015-10-26 2022-02-15 NetraDyne, Inc. Joint processing for embedded data inference
CN105318888B (zh) 2015-12-07 2018-08-14 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
CN105550701B (zh) 2015-12-09 2018-11-06 福州华鹰重工机械有限公司 实时图像提取识别方法及装置
US10318848B2 (en) 2015-12-15 2019-06-11 Qualcomm Incorporated Methods for object localization and image classification
CN108369746A (zh) 2015-12-21 2018-08-03 罗伯特·博世有限公司 用于多相机交通工具***的动态图像融合
US10769518B1 (en) 2015-12-29 2020-09-08 State Farm Mutual Automobile Insurance Company Method of controlling for undesired factors in machine learning models
US10482380B2 (en) 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks
US10373019B2 (en) 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US20170206434A1 (en) 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
EP3413798A1 (en) 2016-02-08 2018-12-19 Nuralogix Corporation Deception detection system and method
WO2017139575A1 (en) 2016-02-11 2017-08-17 Ebay Inc. Semantic category classification
GB2601067B (en) 2016-03-02 2022-08-31 Holition Ltd Locating and augmenting object features in images
WO2017158622A2 (en) 2016-03-16 2017-09-21 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Method for managing image data at electronic device
US10599428B2 (en) 2016-03-23 2020-03-24 Arm Limited Relaxed execution of overlapping mixed-scalar-vector instructions
EP3229172A1 (en) 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
US10789544B2 (en) 2016-04-05 2020-09-29 Google Llc Batching inputs to a machine learning model
US20180284745A1 (en) 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for self-organization of collected data using 3rd party data from a data marketplace in an industrial internet of things environment
US10366290B2 (en) 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
EP3394803A1 (en) 2016-06-13 2018-10-31 Google LLC Escalation to a human operator
US10019009B2 (en) 2016-06-15 2018-07-10 Allstate Insurance Company Vehicle control systems
WO2018002910A1 (en) 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
US9858636B1 (en) 2016-06-30 2018-01-02 Apple Inc. Configurable convolution engine
US10739786B2 (en) 2016-07-01 2020-08-11 Uatc, Llc System and method for managing submaps for controlling autonomous vehicles
US11298072B2 (en) 2016-07-01 2022-04-12 Bostel Technologies, Llc Dermoscopy diagnosis of cancerous lesions utilizing dual deep learning algorithms via visual and audio (sonification) outputs
WO2018013495A1 (en) 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
CN109716346A (zh) 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
CN106295678B (zh) 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN106156754B (zh) 2016-07-29 2019-05-31 浙江工业大学 一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法
US20180039853A1 (en) 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
US10664750B2 (en) 2016-08-10 2020-05-26 Google Llc Deep machine learning to predict and prevent adverse conditions at structural assets
US10891538B2 (en) 2016-08-11 2021-01-12 Nvidia Corporation Sparse convolutional neural network accelerator
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
CN108351959B (zh) 2016-08-24 2022-09-13 谷歌有限责任公司 基于变化检测的图像采集任务***
US10019655B2 (en) 2016-08-31 2018-07-10 Adobe Systems Incorporated Deep-learning network architecture for object detection
US20180068459A1 (en) 2016-09-08 2018-03-08 Ford Global Technologies, Llc Object Distance Estimation Using Data From A Single Camera
US10394237B2 (en) 2016-09-08 2019-08-27 Ford Global Technologies, Llc Perceiving roadway conditions from fused sensor data
US10317901B2 (en) 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US10467459B2 (en) 2016-09-09 2019-11-05 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
CN106419893A (zh) 2016-09-18 2017-02-22 广州视源电子科技股份有限公司 睡眠状态检测方法和装置
US10133273B2 (en) 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
EP3485337B1 (en) 2016-09-23 2020-10-21 Apple Inc. Decision making for autonomous vehicle motion control
CN106650922B (zh) 2016-09-29 2019-05-03 清华大学 硬件神经网络转换方法、计算装置、软硬件协作***
US11544539B2 (en) 2016-09-29 2023-01-03 Tsinghua University Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system
US10514711B2 (en) 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR101851155B1 (ko) 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
CN106504253A (zh) 2016-10-14 2017-03-15 国政通科技股份有限公司 一种医疗影像照片的处理方法及***
US10127043B2 (en) 2016-10-19 2018-11-13 Rex Computing, Inc. Implementing conflict-free instructions for concurrent operation on a processor
CN107031600A (zh) 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶***
US10346723B2 (en) 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
WO2018082165A1 (zh) 2016-11-03 2018-05-11 华为技术有限公司 光学成像方法及其装置
US10331974B2 (en) 2016-11-08 2019-06-25 Nec Corporation Action recognition system with landmark localization on objects in images using convolutional neural networks
WO2018092071A1 (en) 2016-11-16 2018-05-24 Navix International Limited Estimators for ablation effectiveness
CN106598226B (zh) 2016-11-16 2019-05-21 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
US10650071B2 (en) 2016-11-28 2020-05-12 Google Llc Search and retrieval of keyed data maintained using a keyed database
CN106558058B (zh) 2016-11-29 2020-10-09 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN108122234B (zh) 2016-11-29 2021-05-04 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
US10438115B2 (en) 2016-12-01 2019-10-08 Via Alliance Semiconductor Co., Ltd. Neural network unit with memory layout to perform efficient 3-dimensional convolutions
US10395165B2 (en) 2016-12-01 2019-08-27 Via Alliance Semiconductor Co., Ltd Neural network unit with neural memory and array of neural processing units that collectively perform multi-word distance rotates of row of data received from neural memory
US10417560B2 (en) 2016-12-01 2019-09-17 Via Alliance Semiconductor Co., Ltd. Neural network unit that performs efficient 3-dimensional convolutions
US10529088B2 (en) 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US10699119B2 (en) 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
US10380741B2 (en) 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
KR20180068511A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10332001B2 (en) 2016-12-15 2019-06-25 WaveOne Inc. Enhanced coding efficiency with progressive representation
WO2018125848A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Route generation using high definition maps for autonomous vehicles
US10816346B2 (en) 2016-12-30 2020-10-27 DeepMap Inc. Occupancy map updates based on sensor data collected by autonomous vehicles
US11023807B2 (en) 2016-12-30 2021-06-01 Microsoft Technology Licensing, Llc Neural network processor
US10586148B2 (en) 2016-12-31 2020-03-10 Via Alliance Semiconductor Co., Ltd. Neural network unit with re-shapeable memory
US10140574B2 (en) 2016-12-31 2018-11-27 Via Alliance Semiconductor Co., Ltd Neural network unit with segmentable array width rotator and re-shapeable weight memory to match segment width to provide common weights to multiple rotator segments
US10565494B2 (en) 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10565492B2 (en) 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10262218B2 (en) 2017-01-03 2019-04-16 Qualcomm Incorporated Simultaneous object detection and rigid transform estimation using neural network
US10824934B2 (en) * 2017-01-12 2020-11-03 Texas Instruments Incorporated Methods and apparatus for matrix processing in a convolutional neural network
US10228693B2 (en) 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10192016B2 (en) 2017-01-17 2019-01-29 Xilinx, Inc. Neural network based physical synthesis for circuit designs
US20180211403A1 (en) 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US11210584B2 (en) 2017-01-31 2021-12-28 International Business Machines Corporation Memory efficient convolution operations in deep learning neural networks
US10740563B2 (en) 2017-02-03 2020-08-11 Benedict R. Dugan System and methods for text classification
CN106779060B (zh) 2017-02-09 2019-03-08 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
JP2018136803A (ja) 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
US11157801B2 (en) 2017-02-28 2021-10-26 Microsoft Technology Licensing, Llc Neural network processing with the neural network model pinned to on-chip memories of hardware nodes
US10359783B2 (en) 2017-02-28 2019-07-23 Warfarer, Inc. Transportation system
US10146225B2 (en) 2017-03-02 2018-12-04 GM Global Technology Operations LLC Systems and methods for vehicle dimension prediction
US10733482B1 (en) 2017-03-08 2020-08-04 Zoox, Inc. Object height estimation from monocular images
US10261786B2 (en) * 2017-03-09 2019-04-16 Google Llc Vector processing unit
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
JP6665819B2 (ja) 2017-03-17 2020-03-13 トヨタ自動車株式会社 車載表示装置
US11067995B2 (en) 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
US10692000B2 (en) 2017-03-20 2020-06-23 Sap Se Training machine learning models
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
CN107103113B (zh) 2017-03-23 2019-01-11 中国科学院计算技术研究所 面向神经网络处理器的自动化设计方法、装置及优化方法
JP6658643B2 (ja) 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
US9965865B1 (en) 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10248121B2 (en) 2017-03-31 2019-04-02 Uber Technologies, Inc. Machine-learning based autonomous vehicle management system
WO2018187632A1 (en) 2017-04-05 2018-10-11 Carnegie Mellon University Deep learning methods for estimating density and/or flow of objects, and related methods and software
US10296828B2 (en) 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
US10303961B1 (en) 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
DE202017102235U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Trainingssystem
DE202017102238U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Aktorsteuerungssystem
US10346454B2 (en) 2017-04-17 2019-07-09 Mammoth Medical, Llc System and method for automated multi-dimensional network management
WO2018194960A1 (en) 2017-04-18 2018-10-25 D5Ai Llc Multi-stage machine learning and recognition
CN107169560B (zh) 2017-04-19 2020-10-16 清华大学 一种自适应可重构的深度卷积神经网络计算方法和装置
DE102018200724A1 (de) 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
CN107169421B (zh) 2017-04-20 2020-04-28 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
US10585621B2 (en) 2017-04-21 2020-03-10 Intel Corporation Statically-schedulable feed and drain structure for systolic array architecture
DE202017102381U1 (de) 2017-04-21 2017-05-11 Robert Bosch Gmbh Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
US10860760B2 (en) 2017-04-21 2020-12-08 Intel Corporation Systems and methods for implementing learned parameter systems on a programmable integrated circuit
CN110800273B (zh) 2017-04-24 2024-02-13 卡内基梅隆大学 虚拟传感器***
US10460053B2 (en) 2017-04-24 2019-10-29 Toyota Research Institute, Inc. Systems and methods for surface property identification using waveform classification
US10108867B1 (en) 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
CN107133943B (zh) 2017-04-26 2018-07-06 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
US10319066B2 (en) 2017-04-27 2019-06-11 Apple Inc. Convolution engine with per-channel processing of interleaved channel data
US10318794B2 (en) 2017-04-28 2019-06-11 Microsoft Technology Licensing, Llc Intelligent auto cropping of digital images
US10838936B2 (en) 2017-05-12 2020-11-17 Harris Lee Cohen Computer-implemented methods, computer readable medium and systems for generating an orchard data model for a precision agriculture platform
EP3500945B1 (en) * 2017-05-17 2020-09-30 Google LLC Low latency matrix multiply unit
US10372130B1 (en) 2017-05-19 2019-08-06 Zoox, Inc. Communicating reasons for vehicle actions
US20180374105A1 (en) 2017-05-26 2018-12-27 Get Attached, Inc. Leveraging an intermediate machine learning analysis
US20200151611A1 (en) 2017-05-26 2020-05-14 Google Llc Machine-Learned Model System
US10310087B2 (en) 2017-05-31 2019-06-04 Uber Technologies, Inc. Range-view LIDAR-based object detection
US11273553B2 (en) 2017-06-05 2022-03-15 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US11983641B2 (en) 2017-06-05 2024-05-14 Umajin Inc. Asset tracking system and methods
US11361243B2 (en) 2017-06-07 2022-06-14 Accenture Global Solutions Limited Recommending machine learning techniques, features, and feature relevance scores
US10853739B2 (en) 2017-06-09 2020-12-01 Sap Se Machine learning models for evaluating entities in a high-volume computer network
CN108229526B (zh) 2017-06-16 2020-09-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
JP7050006B2 (ja) 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
US10567674B2 (en) 2017-06-30 2020-02-18 Harman International Industries, Incorporated Systems and methods for detecting objects in imaging systems
US10474161B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images
CN109215067B (zh) 2017-07-03 2023-03-10 百度（美国）有限责任公司 基于cnn和crf模型生成高分辨率3-d点云
US10671082B2 (en) 2017-07-03 2020-06-02 Baidu Usa Llc High resolution 3D point clouds generation based on CNN and CRF models
US10474160B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10606990B2 (en) 2017-07-06 2020-03-31 Ebay Inc. Machine learning system for computing asset access
JP7080594B2 (ja) 2017-07-06 2022-06-06 株式会社東芝 計測装置および方法
US10592785B2 (en) 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
DE102017116017A1 (de) 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
US10733755B2 (en) 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
DE102017116411B4 (de) 2017-07-20 2022-02-03 Infineon Technologies Ag Elektronischen Steuerungseinheit, Gatewayschaltung für eine elektronische Airbag-Steuerungseinheit, Sicherheitssystem für ein Fahrzeug und Umgebungssensorelement
US10650278B1 (en) 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
US10579063B2 (en) 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US10395144B2 (en) 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US10542930B1 (en) 2017-07-25 2020-01-28 BlueOwl, LLC Audio assessment for analyzing sleep trends using machine learning techniques
CN107451659B (zh) 2017-07-27 2020-04-10 清华大学 用于位宽分区的神经网络加速器及其实现方法
CN107368926B (zh) 2017-07-28 2018-07-10 中南大学 一种智能环境运载机器人识别楼层的多自然传感参数融合处理方法
JP7002729B2 (ja) 2017-07-31 2022-01-20 株式会社アイシン 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
WO2019023921A1 (zh) 2017-08-01 2019-02-07 华为技术有限公司 一种手势识别方法、装置及设备
CN109389552B (zh) 2017-08-02 2023-03-28 中山大学 一种基于上下文相关多任务深度学习的图像超分辨算法
US11170288B2 (en) 2017-08-03 2021-11-09 Facebook, Inc. Systems and methods for predicting qualitative ratings for advertisements based on machine learning
KR102601604B1 (ko) 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
KR102541559B1 (ko) 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
US10656657B2 (en) 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
US10423934B1 (en) 2017-08-10 2019-09-24 Zoox, Inc. Automated vehicle diagnostics and maintenance
US10860924B2 (en) 2017-08-18 2020-12-08 Microsoft Technology Licensing, Llc Hardware node having a mixed-signal matrix vector unit
CN108229647A (zh) 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
US10167800B1 (en) 2017-08-18 2019-01-01 Microsoft Technology Licensing, Llc Hardware node having a matrix vector unit with block-floating point processing
US20190228037A1 (en) 2017-08-19 2019-07-25 Wave Computing, Inc. Checkpointing data flow graph computation for machine learning
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
US11455565B2 (en) 2017-08-31 2022-09-27 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10629080B2 (en) 2017-08-31 2020-04-21 Uatc Llc Autonomous vehicles featuring vehicle intention system
US20190072978A1 (en) 2017-09-01 2019-03-07 GM Global Technology Operations LLC Methods and systems for generating realtime map information
US20190079526A1 (en) 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
US11430331B2 (en) 2017-09-08 2022-08-30 Uatc, Llc Power and thermal management systems and methods for autonomous vehicles
JP6939307B2 (ja) 2017-09-19 2021-09-22 トヨタ自動車株式会社 水系リチウムイオン二次電池、負極活物質複合体の製造方法及び水系リチウムイオン二次電池の製造方法
CN107507134B (zh) 2017-09-21 2020-09-11 大连理工大学 基于卷积神经网络的超分辨率方法
US10402646B2 (en) 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
CN111226257B (zh) 2017-09-22 2024-03-01 豪夫迈·罗氏有限公司 组织图像中的伪像移除
US10891715B2 (en) 2017-09-22 2021-01-12 Continental Automotive Systems, Inc. Deep neural network for image enhancement
US10551297B2 (en) 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US20190095946A1 (en) 2017-09-25 2019-03-28 Get Attached, Inc. Automatically analyzing media using a machine learning model trained on user engagement information
US10546197B2 (en) 2017-09-26 2020-01-28 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of video image data using machine learning
US10860919B2 (en) 2017-09-27 2020-12-08 Google Llc End to end network model for high resolution image segmentation
US10679129B2 (en) 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
US10872531B2 (en) 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system
CN107742311B (zh) 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
US10796423B2 (en) 2017-09-29 2020-10-06 United Parcel Service Of America, Inc. Predictive parcel damage identification, analysis, and mitigation
WO2019067695A1 (en) 2017-10-01 2019-04-04 Airspace Systems, Inc. FLIGHT CONTROL USING VISION BY COMPUTER
US10579897B2 (en) 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
US20190101914A1 (en) 2017-10-02 2019-04-04 Allstate Insurance Company Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions
US10733262B2 (en) 2017-10-05 2020-08-04 Adobe Inc. Attribute control for updating digital content in a digital medium environment
US11748653B2 (en) 2017-10-05 2023-09-05 DataRobot, Inc. Machine learning abstraction
US10678997B2 (en) 2017-10-05 2020-06-09 Microsoft Technology Licensing, Llc Machine learned models for contextual editing of social networking profiles
WO2019070290A1 (en) 2017-10-06 2019-04-11 Hitachi, Ltd. MANAGEMENT AND EXECUTION OF A REPAIR
DE102017123452A1 (de) 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
US10652565B1 (en) 2017-10-12 2020-05-12 Amazon Technologies, Inc. Image compression and decompression using embeddings
CN107622258B (zh) 2017-10-16 2020-10-30 中南大学 一种结合静态底层特征和运动信息的快速行人检测方法
US20190122104A1 (en) 2017-10-19 2019-04-25 General Electric Company Building a binary neural network architecture
US20190122111A1 (en) 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
US20200250515A1 (en) 2017-10-27 2020-08-06 Google Llc Systems and Methods for Improved Optimization of Machine-Learned Models
US10467501B2 (en) 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
CN107729998B (zh) 2017-10-31 2020-06-05 中国科学院计算技术研究所 一种用于神经网络处理器的方法
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
KR102589303B1 (ko) 2017-11-02 2023-10-24 삼성전자주식회사 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치
WO2019089339A1 (en) 2017-11-02 2019-05-09 The Trustees Of Princeton University Method and system for neural network synthesis
US11175650B2 (en) 2017-11-03 2021-11-16 Drishti Technologies, Inc. Product knitting systems and methods
WO2019093993A1 (en) 2017-11-07 2019-05-16 Google Llc Semantic state based sensor tracking and updating
US10591914B2 (en) 2017-11-08 2020-03-17 GM Global Technology Operations LLC Systems and methods for autonomous vehicle behavior control
CA3082656A1 (en) 2017-11-13 2019-05-16 Bios Health Ltd Neural interface
US20190147112A1 (en) 2017-11-13 2019-05-16 Facebook, Inc. Systems and methods for ranking ephemeral content item collections associated with a social networking system
US10678839B2 (en) 2017-11-13 2020-06-09 Facebook, Inc. Systems and methods for ranking ephemeral content item collections associated with a social networking system
US10824862B2 (en) 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US11475351B2 (en) 2017-11-15 2022-10-18 Uatc, Llc Systems and methods for object detection, tracking, and motion prediction
US20190147255A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles
US11061402B2 (en) 2017-11-15 2021-07-13 Uatc, Llc Sparse convolutional neural networks
US20190145765A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Three Dimensional Object Detection
US10803328B1 (en) 2017-11-15 2020-10-13 Uatc, Llc Semantic and instance segmentation
US11080537B2 (en) 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
US11556777B2 (en) 2017-11-15 2023-01-17 Uatc, Llc Continuous convolution and fusion in neural networks
US10803325B2 (en) 2017-11-15 2020-10-13 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US10970553B2 (en) 2017-11-15 2021-04-06 Uatc, Llc Semantic segmentation of three-dimensional data
EP3710980A1 (en) 2017-11-15 2020-09-23 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US10828790B2 (en) 2017-11-16 2020-11-10 Google Llc Component feature detector for robotic systems
EP3486674A1 (en) 2017-11-17 2019-05-22 Koninklijke Philips N.V. Artificial intelligence-enabled localization of anatomical landmarks
US10698868B2 (en) 2017-11-17 2020-06-30 Accenture Global Solutions Limited Identification of domain information for use in machine learning models
KR102073351B1 (ko) 2017-11-17 2020-02-05 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
US10409898B2 (en) 2017-11-17 2019-09-10 Adobe Inc. Generating a targeted summary of textual content tuned to a target audience vocabulary
US20180074506A1 (en) 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
CN107885214A (zh) 2017-11-22 2018-04-06 济南浪潮高新科技投资发展有限公司 一种基于fpga的加速自动驾驶视觉感知的方法及装置
US11989861B2 (en) 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
JP2019101535A (ja) 2017-11-29 2019-06-24 コニカミノルタ株式会社 教師データ作成装置および該方法ならびに画像セグメンテーション装置および該方法
KR20200100672A (ko) 2017-12-04 2020-08-26 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 신경망 가속기의 시스템 및 아키텍쳐
US10762396B2 (en) 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
US10693740B2 (en) 2017-12-07 2020-06-23 Accenture Global Solutions Limited Data transformation of performance statistics and ticket information for network devices for use in machine learning models
US10528824B2 (en) 2017-12-11 2020-01-07 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
US10768628B2 (en) 2017-12-12 2020-09-08 Uatc, Llc Systems and methods for object detection at various ranges using multiple range imagery
US10747844B2 (en) 2017-12-12 2020-08-18 Tesla, Inc. Systems and methods for converting a matrix input to a vectorized input for a matrix processor
RU2691214C1 (ru) 2017-12-13 2019-06-11 Общество с ограниченной ответственностью "Аби Продакшн" Распознавание текста с использованием искусственного интеллекта
US10599958B2 (en) 2017-12-14 2020-03-24 Avigilon Corporation Method and system for classifying an object-of-interest using an artificial neural network
KR101969864B1 (ko) 2017-12-15 2019-04-18 동국대학교 산학협력단 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법
US11183274B2 (en) 2017-12-18 2021-11-23 International Business Machines Corporation Analysis of answers to questions
US20190185010A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles
WO2019125191A1 (en) 2017-12-18 2019-06-27 Motorola Solutions, Inc Method and device for generating an augmented image
WO2019122952A1 (en) 2017-12-18 2019-06-27 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
DE102017130566B4 (de) 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
US10713502B2 (en) 2017-12-19 2020-07-14 Micron Technology, Inc. Providing autonomous vehicle assistance
US10402986B2 (en) 2017-12-20 2019-09-03 Facebook, Inc. Unsupervised video segmentation
WO2019126755A1 (en) 2017-12-21 2019-06-27 Fugro N.V. Generating and classifying training data for machine learning functions
US10275689B1 (en) 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US10872254B2 (en) 2017-12-22 2020-12-22 Texas Instruments Incorporated Digital mirror systems for vehicles and methods of operating the same
US10748247B2 (en) 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10657418B2 (en) 2017-12-27 2020-05-19 International Business Machines Corporation Object detection on local devices using remotely generated machine learning models
CN108111873B (zh) 2017-12-29 2020-04-14 国网山东省电力公司泰安供电公司 一种基于机器学习的gis图像数据传输方法
US10755115B2 (en) 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
CN109791626B (zh) 2017-12-29 2022-12-27 清华大学 神经网络权重编码方法、计算装置及硬件***
US20190204842A1 (en) 2018-01-02 2019-07-04 GM Global Technology Operations LLC Trajectory planner with dynamic cost learning for autonomous driving
US11170006B2 (en) 2018-01-03 2021-11-09 Facebook, Inc. Machine-learning model for ranking diverse content
US10657391B2 (en) 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US11161464B2 (en) 2018-01-12 2021-11-02 Uatc, Llc Systems and methods for streaming processing for autonomous vehicles
US10896763B2 (en) 2018-01-12 2021-01-19 Koninklijke Philips N.V. System and method for providing model-based treatment recommendation via individual-specific machine learning models
EP3514494A1 (en) 2018-01-19 2019-07-24 Zenuity AB Constructing and updating a behavioral layer of a multi layered road network high definition digital map
US10909368B2 (en) 2018-01-23 2021-02-02 X Development Llc Crop type classification in images
US20180150081A1 (en) 2018-01-24 2018-05-31 GM Global Technology Operations LLC Systems and methods for path planning in autonomous vehicles
CN108399362B (zh) 2018-01-24 2022-01-07 中山大学 一种快速行人检测方法及装置
CN111971679A (zh) 2018-01-26 2020-11-20 威盖特技术美国有限合伙人公司 基于行业语言模型生成自然语言推荐
KR102098713B1 (ko) 2018-01-29 2020-04-08 주식회사 유엑스팩토리 Cnn과 rnn이 하나의 고성능 저전력 칩으로 집적된 이기종 프로세서 구조
CN111602149B (zh) 2018-01-30 2024-04-02 D5Ai有限责任公司 自组织偏序网络
US10692141B2 (en) 2018-01-30 2020-06-23 PointPredictive Inc. Multi-layer machine learning classifier with correlative score
US10962973B2 (en) 2018-01-30 2021-03-30 Uatc, Llc Autonomous vehicle safe stop
CN110096937A (zh) 2018-01-31 2019-08-06 北京四维图新科技股份有限公司 一种用于辅助车辆自动驾驶的图像识别的方法及装置
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
DE112019000065T5 (de) 2018-02-02 2020-03-05 Nvidia Corporation Sicherheitsprozeduranalyse zur hindernisvermeidung in einem autonomen fahrzeug
US20190244138A1 (en) 2018-02-08 2019-08-08 Apple Inc. Privatized machine learning using generative adversarial networks
US10996683B2 (en) 2018-02-09 2021-05-04 Skydio, Inc. Aerial vehicle touchdown detection
CN111133448A (zh) 2018-02-09 2020-05-08 辉达公司 使用安全到达时间控制自动驾驶车辆
US10489126B2 (en) 2018-02-12 2019-11-26 Oracle International Corporation Automated code generation
CN110147698A (zh) 2018-02-13 2019-08-20 Kpit技术有限责任公司 用于车道检测的***和方法
KR101996167B1 (ko) 2018-02-14 2019-07-03 동국대학교 산학협력단 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US10839578B2 (en) 2018-02-14 2020-11-17 Smarter Reality, LLC Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
US10805629B2 (en) 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
DE112019000049T5 (de) 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
US10628432B2 (en) 2018-02-19 2020-04-21 Microsoft Technology Licensing, Llc Personalized deep models for smart suggestions ranking
US20190266610A1 (en) 2018-02-21 2019-08-29 Accenture Global Solutions Limited Transaction management using machine learning and similarity analysis
KR102459381B1 (ko) 2018-02-23 2022-10-26 에이에스엠엘 네델란즈 비.브이. 컴퓨테이션 리소그래피를 위한 머신 러닝 모델을 트레이닝시키기 위한 방법
CN110197270B (zh) 2018-02-27 2020-10-30 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品
KR102022388B1 (ko) 2018-02-27 2019-09-18 (주)캠시스 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
CN111095291B (zh) 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
US11501105B2 (en) 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
KR101967339B1 (ko) 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
US10990832B2 (en) 2018-03-06 2021-04-27 Phantom AI, Inc. Lane line reconstruction using future scenes and trajectory
US10223611B1 (en) 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
US10157331B1 (en) 2018-03-08 2018-12-18 Capital One Services, Llc Systems and methods for image preprocessing to improve accuracy of object recognition
US10621513B2 (en) 2018-03-08 2020-04-14 Capital One Services, Llc System and method for deploying and versioning machine learning models
US10572757B2 (en) 2018-03-09 2020-02-25 Ricoh Co., Ltd. User interface for object detection and labeling
US10628686B2 (en) 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
US10798368B2 (en) 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
JP7418340B2 (ja) 2018-03-13 2024-01-19 マジック リープ， インコーポレイテッド 機械学習を使用した画像増強深度感知
US10755112B2 (en) 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
US11221413B2 (en) 2018-03-14 2022-01-11 Uatc, Llc Three-dimensional object detection
US20190286973A1 (en) 2018-03-14 2019-09-19 Microsoft Technology Licensing, Llc Hardware accelerated neural network subgraphs
US20190287028A1 (en) 2018-03-15 2019-09-19 Arm Ltd. Systems, devices, and/or processes for behavioral content processing
US11429862B2 (en) 2018-03-20 2022-08-30 Sri International Dynamic adaptation of deep neural networks
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
JP2019164793A (ja) 2018-03-19 2019-09-26 エスアールアイ インターナショナル ディープニューラルネットワークの動的適応
US11144065B2 (en) 2018-03-20 2021-10-12 Phantom AI, Inc. Data augmentation using computer simulated objects for autonomous control systems
US10901508B2 (en) 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
US20190294975A1 (en) 2018-03-21 2019-09-26 Swim.IT Inc Predicting using digital twins
WO2019182782A1 (en) 2018-03-21 2019-09-26 Zoox, Inc. Generating maps without shadows
US10699477B2 (en) 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US10627818B2 (en) 2018-03-28 2020-04-21 Zoox, Inc. Temporal prediction model for semantic intent understanding
WO2019191578A1 (en) 2018-03-30 2019-10-03 Wave Computing, Inc. Data flow graph computation for machine learning
CN108491889A (zh) 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
US10140544B1 (en) 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
US10776939B2 (en) 2018-04-03 2020-09-15 Altumview Systems Inc. Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles
US10887433B2 (en) 2018-04-03 2021-01-05 Pony Ai Inc. System and method for incremental data processing
US10468062B1 (en) 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US20190311290A1 (en) 2018-04-06 2019-10-10 Mentor Graphics Corporation Deep Learning Based Test Compression Analyzer
US10725475B2 (en) 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US10769494B2 (en) 2018-04-10 2020-09-08 Pony Ai Inc. Enhanced training information generation
US10740914B2 (en) 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
US11132444B2 (en) 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
CN108520247B (zh) 2018-04-16 2020-04-28 腾讯科技（深圳）有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质
US10816992B2 (en) 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
EP3673233A4 (en) 2018-04-18 2021-05-19 Mobileye Vision Technologies Ltd. VEHICLE ENVIRONMENT MODELING WITH A CAMERA
US20200151692A1 (en) 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
US10321728B1 (en) 2018-04-20 2019-06-18 Bodygram, Inc. Systems and methods for full body measurements extraction
US11030486B2 (en) 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
US10950021B2 (en) 2018-04-23 2021-03-16 Accenture Global Solutions Limited AI-driven design platform
DE102018206208A1 (de) 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
US10565475B2 (en) 2018-04-24 2020-02-18 Accenture Global Solutions Limited Generating a machine learning model for objects based on augmenting the objects with physical properties
CN108647591A (zh) 2018-04-25 2018-10-12 长沙学院 一种基于视觉-语义特征的视频中行为识别方法和***
CN108549934B (zh) 2018-04-25 2020-06-19 福州瑞芯微电子股份有限公司 一种基于自动集群神经网络芯片组的运算方法和装置
US20190329790A1 (en) 2018-04-25 2019-10-31 Uber Technologies, Inc. Systems and Methods for Using Machine Learning to Determine Passenger Ride Experience
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11138745B2 (en) 2018-04-30 2021-10-05 Uatc, Llc Object association for autonomous vehicles
US11244195B2 (en) 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
US10803743B2 (en) 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection
US11494200B2 (en) 2018-05-02 2022-11-08 Microsoft Technology Licensing, Llc. Configuring an electronic device using artificial intelligence
US11645493B2 (en) 2018-05-04 2023-05-09 Microsoft Technology Licensing, Llc Flow for quantized neural networks
US10699140B2 (en) 2018-05-04 2020-06-30 Qualcomm Incorporated System and method for capture and distribution of information collected from signs
US20190340499A1 (en) 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Quantization for dnn accelerators
CA3099659A1 (en) 2018-05-07 2019-11-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN112106081A (zh) 2018-05-07 2020-12-18 谷歌有限责任公司 提供综合机器学***台和软件开发套件
JP6799197B2 (ja) 2018-05-10 2020-12-09 ヌヴォトンテクノロジージャパン株式会社 ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム
US10748021B2 (en) 2018-05-11 2020-08-18 Samsung Electronics Co., Ltd. Method of analyzing objects in images recorded by a camera of a head mounted device
US20190349571A1 (en) 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
US20210221404A1 (en) 2018-05-14 2021-07-22 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
US10776626B1 (en) 2018-05-14 2020-09-15 Amazon Technologies, Inc. Machine learning based identification of visually complementary item collections
US20190354850A1 (en) 2018-05-17 2019-11-21 International Business Machines Corporation Identifying transfer models for machine learning tasks
US11164016B2 (en) 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11301733B2 (en) 2018-05-18 2022-04-12 Google Llc Learning data augmentation strategies for object detection
US11138471B2 (en) 2018-05-18 2021-10-05 Google Llc Augmentation of audiographic images for improved machine learning
CN108710865B (zh) 2018-05-28 2022-04-22 电子科技大学 一种基于神经网络的司机异常行为检测方法
US20190373322A1 (en) 2018-05-29 2019-12-05 Sony Interactive Entertainment LLC Interactive Video Content Delivery
US11491350B2 (en) 2018-05-30 2022-11-08 Siemens Healthcare Gmbh Decision support system for individualizing radiotherapy dose
US20190370575A1 (en) 2018-05-31 2019-12-05 Uber Technologies, Inc. Systems and Methods for Implementing Trip Checks for Vehicles
TWI681366B (zh) 2018-05-31 2020-01-01 廣達電腦股份有限公司 非線性延展裁切影像之方法及系統
CN108764185B (zh) 2018-06-01 2022-07-19 京东方科技集团股份有限公司 一种图像处理方法及装置
US20190370398A1 (en) 2018-06-01 2019-12-05 SayMosaic Inc. Method and apparatus for searching historical data
US11966835B2 (en) 2018-06-05 2024-04-23 Nvidia Corp. Deep neural network accelerator with fine-grained parallelism discovery
US20190042944A1 (en) 2018-06-08 2019-02-07 Intel Corporation Artificial neural network training using flexible floating point tensors
US11334960B2 (en) 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
US20190378049A1 (en) 2018-06-12 2019-12-12 Bank Of America Corporation Ensemble of machine learning engines coupled to a graph structure that spreads heat
US20190378051A1 (en) 2018-06-12 2019-12-12 Bank Of America Corporation Machine learning system coupled to a graph structure detecting outlier patterns using graph scanning
US11740630B2 (en) 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
US11675359B2 (en) 2018-06-13 2023-06-13 Nvidia Corporation Path detection for autonomous machines using deep neural networks
AU2018278901B2 (en) 2018-06-14 2020-07-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
US11370423B2 (en) 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US11341356B2 (en) 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
WO2019245982A1 (en) 2018-06-18 2019-12-26 Zoox, Inc. Occlusion aware planning
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11501140B2 (en) 2018-06-19 2022-11-15 International Business Machines Corporation Runtime reconfigurable neural network processor core
US10726264B2 (en) 2018-06-25 2020-07-28 Microsoft Technology Licensing, Llc Object-based localization
US20210269045A1 (en) 2018-06-26 2021-09-02 Tamir Anavi Contextual driver monitoring system
CN108845574B (zh) 2018-06-26 2021-01-12 北京旷视机器人技术有限公司 目标识别与追踪方法、装置、设备及介质
CN108898177A (zh) 2018-06-26 2018-11-27 广东电网有限责任公司 一种输电线路走廊地表分类方法、***、介质及设备
US10685159B2 (en) 2018-06-27 2020-06-16 Intel Corporation Analog functional safety with anomaly detection
US11454975B2 (en) 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
US10810445B1 (en) 2018-06-29 2020-10-20 Zoox, Inc. Pipeline with point cloud filtering
US10921817B1 (en) 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation
US11500477B2 (en) 2018-07-02 2022-11-15 Google Llc Systems and methods for interacting and interfacing with an artificial intelligence system
CN109086867B (zh) 2018-07-02 2021-06-08 武汉魅瞳科技有限公司 一种基于fpga的卷积神经网络加速***
KR20200004700A (ko) 2018-07-04 2020-01-14 삼성전자주식회사 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
US10685188B1 (en) 2018-07-06 2020-06-16 Facebook, Inc. Systems and methods for training machine learning models for language clusters
US11537906B2 (en) 2018-07-12 2022-12-27 The Regents Of The University Of California Machine learning based target localization for autonomous unmanned vehicles
JP7140580B2 (ja) 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
EP3820753B1 (en) 2018-07-14 2023-08-02 Moove.AI Vehicle-data analytics
EP3985684A1 (en) 2018-07-18 2022-04-20 NVIDIA Corporation Virtualized computing platform for inferencing, advanced processing, and machine learning applications
US10901416B2 (en) 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
US11042157B2 (en) 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
US20200033865A1 (en) 2018-07-24 2020-01-30 Qualcomm Incorporated Managing Cleaning Robot Behavior
US10768629B2 (en) 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11353871B2 (en) 2018-07-30 2022-06-07 Pony Ai Inc. Systems and methods for vehicle smart seats
US11284051B2 (en) 2018-07-30 2022-03-22 Pony Ai Inc. Systems and methods for autonomous vehicle interactive content presentation
US20200034665A1 (en) 2018-07-30 2020-01-30 DataRobot, Inc. Determining validity of machine learning algorithms for datasets
JP2021532881A (ja) 2018-07-31 2021-12-02 ドイチェス クレープスフォルシュングスツェントルム シュティフトゥング デス エッフェントリッヒェン レヒツ マルチスペクトル情報を用いた拡張画像化のための方法およびシステム
US11584379B2 (en) 2018-08-06 2023-02-21 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
US10706308B2 (en) 2018-08-07 2020-07-07 Accenture Global Solutions Limited Image processing for automated object identification
US10609434B2 (en) 2018-08-07 2020-03-31 Adobe Inc. Machine-learning based multi-step engagement strategy generation and visualization
US10733638B1 (en) 2018-08-08 2020-08-04 Facebook, Inc. Analyzing tracking requests generated by client devices based on attributes describing items
US11068627B2 (en) 2018-08-09 2021-07-20 Zoox, Inc. Procedural world generation
WO2020034663A1 (en) 2018-08-13 2020-02-20 The Hong Kong Polytechnic University Grid-based image cropping
US11861458B2 (en) 2018-08-21 2024-01-02 Lyft, Inc. Systems and methods for detecting and recording anomalous vehicle events
US20200065879A1 (en) 2018-08-22 2020-02-27 Midea Group Co., Ltd. Methods and systems for home device recommendation
US10871444B2 (en) 2018-08-30 2020-12-22 Saudi Arabian Oil Company Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
US10755575B2 (en) 2018-08-30 2020-08-25 Cisco Technology, Inc. Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety
US20200074233A1 (en) 2018-09-04 2020-03-05 Luminar Technologies, Inc. Automatically generating training data for a lidar using simulated vehicles in virtual space
US11307584B2 (en) 2018-09-04 2022-04-19 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle
US20200158822A1 (en) 2018-09-06 2020-05-21 Airspace Systems, Inc. Unmanned aerial vehicle radar detection
US10839230B2 (en) 2018-09-06 2020-11-17 Ford Global Technologies, Llc Multi-tier network for task-oriented deep neural network
EP3850551A4 (en) 2018-09-12 2022-10-12 Electra Vehicles, Inc. SYSTEMS AND METHODS FOR MANAGEMENT OF ENERGY STORAGE SYSTEMS
US11195030B2 (en) 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US11427223B2 (en) 2018-09-14 2022-08-30 Uatc, Llc Driving surface friction estimations for autonomous vehicles
US11465630B2 (en) 2018-09-14 2022-10-11 Uatc, Llc Driving surface friction estimations using vehicle steering
EP3627399A1 (en) 2018-09-19 2020-03-25 Tata Consultancy Services Limited Systems and methods for real time configurable recommendation using user data
GB2577485B (en) 2018-09-20 2022-06-15 Jaguar Land Rover Ltd Control system for a vehicle
US11449771B2 (en) 2018-09-21 2022-09-20 Woven Planet North America, Inc. Systems and methods for processing vehicle data
US10846888B2 (en) 2018-09-26 2020-11-24 Facebook Technologies, Llc Systems and methods for generating and transmitting image sequences based on sampled color information
DE102018216413A1 (de) 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
CN109359731B (zh) 2018-09-27 2022-01-28 中科物栖（北京）科技有限责任公司 一种基于芯片设计缺陷的神经网络处理方法及装置
WO2020068360A1 (en) 2018-09-28 2020-04-02 Apple Inc. Distributed labeling for supervised learning
US11526713B2 (en) 2018-09-28 2022-12-13 Intel Corporation Embedding human labeler influences in machine learning interfaces in computing environments
US10943101B2 (en) 2018-09-28 2021-03-09 Accenture Global Solutions Limited Target recognition and verification using image processing techniques and/or artifical intelligence
WO2020062031A1 (en) 2018-09-28 2020-04-02 Baidu.Com Times Technology (Beijing) Co., Ltd. A pedestrian interaction system for low speed scenes for autonomous vehicles
US11169531B2 (en) 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes
CN112585940B (zh) 2018-10-08 2023-04-04 谷歌有限责任公司 为基于人工智能的图像捕获设备提供反馈的***和方法
CN109389207A (zh) 2018-10-09 2019-02-26 四川理工学院 一种自适应神经网络学习方法及神经网络***
US11403565B2 (en) 2018-10-10 2022-08-02 Wipro Limited Method and system for generating a learning path using machine learning
KR102545105B1 (ko) 2018-10-10 2023-06-19 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
US11068724B2 (en) 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
US11704568B2 (en) 2018-10-16 2023-07-18 Carnegie Mellon University Method and system for hand activity sensing
US11676244B2 (en) 2018-10-19 2023-06-13 Mineral Earth Sciences Llc Crop yield prediction at field-level and pixel-level
MX2021004475A (es) 2018-10-19 2021-06-04 Climate Llc Tecnica de aprendizaje automatico para identificar nubes y sombras de nubes en imagenes satelitales.
US11430025B2 (en) 2018-10-19 2022-08-30 Airbnb, Inc. Synthetic data generation modeling system
US11163998B2 (en) 2018-10-22 2021-11-02 Woven Planet North America, Inc. Systems and methods for automated image labeling for images captured from vehicles
US11055866B2 (en) 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
US11568260B2 (en) 2018-10-29 2023-01-31 Google Llc Exponential modeling with deep learning features
KR20200052444A (ko) 2018-10-30 2020-05-15 삼성전자주식회사 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들
CN109579856A (zh) 2018-10-31 2019-04-05 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置、设备及计算机可读存储介质
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11604992B2 (en) 2018-11-02 2023-03-14 Microsoft Technology Licensing, Llc Probabilistic neural network architecture generation
US20200143279A1 (en) 2018-11-06 2020-05-07 DeepSig Inc. Radio frequency band segmentation, signal detection and labelling using machine learning
CN111158355A (zh) 2018-11-07 2020-05-15 富华科精密工业（深圳）有限公司 自动导航云服务器及自动导航控制方法
EP3877867A4 (en) 2018-11-08 2022-07-27 Evangelos Simoudis VEHICLE DATA MANAGEMENT SYSTEMS AND METHODS
US11481665B2 (en) 2018-11-09 2022-10-25 Hewlett Packard Enterprise Development Lp Systems and methods for determining machine learning training approaches based on identified impacts of one or more types of concept drift
US11124185B2 (en) 2018-11-13 2021-09-21 Zoox, Inc. Perception collision avoidance
EP3830792A4 (en) 2018-11-13 2021-12-01 Samsung Electronics Co., Ltd. SEGMENTATION AND JOINT RETOUCHING OF OBJECTS WITHOUT SUPERVISION
US11755018B2 (en) 2018-11-16 2023-09-12 Uatc, Llc End-to-end interpretable motion planner for autonomous vehicles
US11494937B2 (en) 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection
US11217012B2 (en) 2018-11-16 2022-01-04 Uatc, Llc System and method for identifying travel way features for autonomous vehicle motion control
US11461963B2 (en) 2018-11-16 2022-10-04 Uatc, Llc Systems and methods for generating synthetic light detection and ranging data via machine learning
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US20200162489A1 (en) 2018-11-16 2020-05-21 Airspace Systems, Inc. Security event detection and threat assessment
US11449713B2 (en) 2018-11-16 2022-09-20 Uatc, Llc Attention based feature compression and localization for autonomous devices
US11461583B2 (en) 2018-11-16 2022-10-04 Uatc, Llc Binary feature compression for autonomous devices
US11354820B2 (en) 2018-11-17 2022-06-07 Uatc, Llc Image based localization system
US10904072B2 (en) 2018-11-19 2021-01-26 Accenture Global Solutions Limited System and method for recommending automation solutions for technology infrastructure issues
US11346950B2 (en) 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
KR20200063329A (ko) 2018-11-21 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US11636681B2 (en) 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
US10853670B2 (en) 2018-11-21 2020-12-01 Ford Global Technologies, Llc Road surface characterization using pose observations of adjacent vehicles
US11423196B2 (en) 2018-11-28 2022-08-23 Toyota Research Institute, Inc. Systems and methods for predicting responses of a particle to a stimulus
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US11215997B2 (en) 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US20200175354A1 (en) 2018-12-03 2020-06-04 Deep Learn, Inc. Time and accuracy estimate-based selection of machine-learning predictive models
CN109615073B (zh) 2018-12-03 2021-06-04 郑州云海信息技术有限公司 一种神经网络模型的构建方法、设备以及存储介质
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US20200175371A1 (en) 2018-12-04 2020-06-04 Bank Of America Corporation System and method for self constructing deep neural network design through adversarial learning
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
DE102018130821A1 (de) 2018-12-04 2020-06-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt
US11093783B2 (en) 2018-12-05 2021-08-17 Subaru Corporation Vehicle detection apparatus
US11048318B2 (en) 2018-12-06 2021-06-29 Intel Corporation Reducing microprocessor power with minimal performance impact by dynamically adapting runtime operating configurations using machine learning
CN113243016A (zh) 2018-12-10 2021-08-10 株式会社小糸制作所 物体识别***、运算处理装置、汽车、车辆用灯具、分类器的学习方法
KR20200070831A (ko) 2018-12-10 2020-06-18 삼성전자주식회사 인공 신경망을 압축하기 위한 장치 및 방법
CN110084086A (zh) 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法
CN111326023B (zh) 2018-12-13 2022-03-29 丰翼科技(深圳)有限公司 一种无人机航线预警方法、装置、设备及存储介质
US11092966B2 (en) 2018-12-14 2021-08-17 The Boeing Company Building an artificial-intelligence system for an autonomous vehicle
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
WO2020123163A1 (en) 2018-12-14 2020-06-18 Apple Inc. Machine learning assisted image prediction
CN113196173A (zh) 2018-12-14 2021-07-30 Asml荷兰有限公司 用于对图像图案分组以确定图案化过程中晶片行为的设备和方法
US20200193313A1 (en) 2018-12-14 2020-06-18 Parallel Machines, Inc. Interpretability-based machine learning adjustment during production
CN112424769A (zh) 2018-12-18 2021-02-26 谷歌有限责任公司 用于地理位置预测的***和方法
US10937186B2 (en) 2018-12-19 2021-03-02 Fca Us Llc Techniques for precisely locating landmarks in monocular camera images with deep learning
US10846831B2 (en) 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
JP7293644B2 (ja) 2018-12-20 2023-06-20 カシオ計算機株式会社 画像識別装置、識別器学習方法、画像識別方法及びプログラム
US10817732B2 (en) 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
US11443515B2 (en) 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
US11861481B2 (en) 2018-12-21 2024-01-02 Waymo Llc Searching an autonomous vehicle sensor data repository
CN109978132A (zh) 2018-12-24 2019-07-05 中国科学院深圳先进技术研究院 一种精细化车辆识别的神经网络方法及***
WO2020139357A1 (en) 2018-12-27 2020-07-02 Didi Research America, Llc Using image pre-processing to generate a machine learning model
US11023745B2 (en) 2018-12-27 2021-06-01 Beijing Didi Infinity Technology And Development Co., Ltd. System for automated lane marking
WO2020139355A1 (en) 2018-12-27 2020-07-02 Didi Research America, Llc System for automated lane marking
US11087173B2 (en) 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
CN109934163B (zh) 2018-12-27 2022-07-08 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020139181A1 (en) 2018-12-28 2020-07-02 Telefonaktiebolaget Lm Ericsson (Publ) A wireless device, a network node and methods therein for updating a first instance of a machine learning model
US20200209874A1 (en) 2018-12-31 2020-07-02 Chongqing Jinkang New Energy Vehicle, Ltd. Combined virtual and real environment for autonomous vehicle planning and control testing
US20200209857A1 (en) 2018-12-31 2020-07-02 Uber Technologies, Inc. Multimodal control system for self driving vehicle
KR102097120B1 (ko) 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
US20200331476A1 (en) 2018-12-31 2020-10-22 Chongqing Jinkang New Energy Vehicle, Ltd. Automatic lane change with minimum gap distance
US20200210840A1 (en) 2018-12-31 2020-07-02 Microsoft Technology Licensing, Llc Adjusting precision and topology parameters for neural network training based on a performance metric
US20200218722A1 (en) 2019-01-04 2020-07-09 SayMosaic Inc. System and method for natural language processing (nlp) based searching and question answering
KR20200085490A (ko) 2019-01-07 2020-07-15 에스케이플래닛 주식회사 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체
US20200216064A1 (en) 2019-01-08 2020-07-09 Aptiv Technologies Limited Classifying perceived objects based on activity
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
CN109886997B (zh) 2019-01-23 2023-07-11 平安科技（深圳）有限公司 基于目标检测的识别框确定方法、装置及终端设备
US10373026B1 (en) 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
US10692002B1 (en) 2019-01-28 2020-06-23 StradVision, Inc. Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
CN111488770A (zh) 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN109948428B (zh) 2019-01-28 2022-12-09 上海理工大学 面向传感信息处理的gpu集群深度学习边缘计算***
US20200242511A1 (en) 2019-01-30 2020-07-30 Oracle International Corporation Dynamic Data Selection for a Machine Learning Model
US10628688B1 (en) 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
US11087175B2 (en) 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10540572B1 (en) 2019-01-31 2020-01-21 StradVision, Inc. Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10824947B2 (en) 2019-01-31 2020-11-03 StradVision, Inc. Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
WO2020157761A1 (en) 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US10776673B2 (en) 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US10726279B1 (en) 2019-01-31 2020-07-28 StradVision, Inc. Method and device for attention-driven resource allocation by using AVM and reinforcement learning to thereby achieve safety of autonomous driving
US10943355B2 (en) 2019-01-31 2021-03-09 Uatc, Llc Systems and methods for detecting an object velocity
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11317863B2 (en) 2019-02-01 2022-05-03 Starkey Laboratories, Inc. Efficient wellness measurement in ear-wearable devices
BR112021015306A2 (pt) 2019-02-05 2021-10-05 Urugus S.A. Método e sistema para transferir automaticamente conhecimento em algoritmos de aprendizado por máquina
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
KR20210125523A (ko) 2019-02-11 2021-10-18 플래그쉽 파이어니어링 이노베이션스 브이아이, 엘엘씨 기계 학습 안내된 폴리펩티드 분석
US11635767B2 (en) 2019-02-13 2023-04-25 Semyon Nisenzon System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles
US10568570B1 (en) 2019-02-14 2020-02-25 Trungram Gyaltrul Sherpa Methods and systems for providing a preferred fitness state of a user
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10726374B1 (en) 2019-02-19 2020-07-28 Icertis, Inc. Risk prediction based on automated analysis of documents
US10970911B2 (en) 2019-02-21 2021-04-06 Facebook Technologies, Llc Graphics processing chip with machine-learning based shader
US11977388B2 (en) 2019-02-21 2024-05-07 Nvidia Corporation Quantizing autoencoders in a neural network
CN109902732B (zh) 2019-02-22 2021-08-27 哈尔滨工业大学（深圳） 车辆自动分类方法及相关装置
US11635764B2 (en) 2019-02-22 2023-04-25 Uatc, Llc. Motion prediction for autonomous devices
US11562176B2 (en) 2019-02-22 2023-01-24 Cisco Technology, Inc. IoT fog as distributed machine learning structure search platform
WO2020176439A1 (en) 2019-02-25 2020-09-03 Walmart Apollo, Llc Systems and methods of product recognition through multi-model image processing
EP3932105A1 (en) 2019-02-27 2022-01-05 Telefonaktiebolaget LM Ericsson (publ) Transfer learning for radio resource management
US11710034B2 (en) 2019-02-27 2023-07-25 Intel Corporation Misuse index for explainable artificial intelligence in computing environments
JP7352632B2 (ja) 2019-02-28 2023-09-28 スキッドモア オーウィングス アンド メリル リミテッド ライアビリティ パートナーシップ 機械学習ツール
CN110223301B (zh) 2019-03-01 2021-08-03 华为技术有限公司 一种图像裁剪方法和电子设备
CN109949257B (zh) 2019-03-06 2021-09-10 西安电子科技大学 基于深度学习的感兴趣区域压缩感知图像重构方法
US10930065B2 (en) 2019-03-08 2021-02-23 X Development Llc Three-dimensional modeling with two dimensional data
US10949997B2 (en) 2019-03-08 2021-03-16 Ford Global Technologies, Llc Vehicle localization systems and methods
CN109978161B (zh) 2019-03-08 2022-03-04 吉林大学 一种通用的卷积-池化同步处理卷积核***
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
CN109902186B (zh) 2019-03-12 2021-05-11 北京百度网讯科技有限公司 用于生成神经网络的方法和装置
AU2019201716A1 (en) 2019-03-13 2020-10-01 Canon Kabushiki Kaisha System and method of generating a neural network architecture
US20200294162A1 (en) 2019-03-13 2020-09-17 Opendoor Labs Inc. Value prediction error generation system
WO2020185234A1 (en) 2019-03-14 2020-09-17 Hewlett-Packard Development Company, L.P. Preprocessing sensor data for machine learning
WO2020185233A1 (en) 2019-03-14 2020-09-17 Hewlett-Packard Development Company, L.P. Responding to machine learning requests from multiple clients
CN109975308B (zh) 2019-03-15 2023-03-24 维库（厦门）信息技术有限公司 一种基于深度学习的表面检测方法
CN116569211A (zh) 2019-03-15 2023-08-08 辉达公司 使用变换训练神经网络的技术
CN109871828B (zh) 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
WO2020190781A1 (en) 2019-03-16 2020-09-24 Nvidia Corporation Leveraging multidimensional sensor data for computationally efficient object detection
US11195331B2 (en) 2019-03-16 2021-12-07 Nvidia Corporation Object detection using skewed polygons suitable for parking space detection
US11580386B2 (en) 2019-03-18 2023-02-14 Electronics And Telecommunications Research Institute Convolutional layer acceleration unit, embedded system having the same, and method for operating the embedded system
US10402641B1 (en) 2019-03-19 2019-09-03 Capital One Services, Llc Platform for document classification
WO2020191093A1 (en) 2019-03-19 2020-09-24 Liveperson, Inc. Dynamic communications routing to disparate endpoints
US20200302276A1 (en) 2019-03-20 2020-09-24 Gyrfalcon Technology Inc. Artificial intelligence semiconductor chip having weights of variable compression ratio
US11559221B2 (en) 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
JP7240916B2 (ja) 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US20200302662A1 (en) 2019-03-23 2020-09-24 Uatc, Llc System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors
CA3134819A1 (en) 2019-03-23 2020-10-01 Uatc, Llc Systems and methods for generating synthetic sensor data via machine learning
US11423563B2 (en) 2019-03-23 2022-08-23 Uatc, Llc Depth estimation for autonomous devices
US11548533B2 (en) 2019-03-23 2023-01-10 Uatc, Llc Perception and motion prediction for autonomous devices
EP3948656A1 (en) 2019-03-25 2022-02-09 Zoox, Inc. Pedestrian prediction based on attributes
US11351991B2 (en) 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US11021148B2 (en) 2019-03-25 2021-06-01 Zoox, Inc. Pedestrian prediction based on attributes
US10790919B1 (en) 2019-03-26 2020-09-29 Electronic Arts Inc. Personalized real-time audio generation based on user physiological response
CN109951710B (zh) 2019-03-26 2021-07-02 中国民航大学 基于深度学习的机坪监控视频压缩方法及***
US11199415B2 (en) 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US10657934B1 (en) 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications
US11740335B2 (en) 2019-03-27 2023-08-29 Zoox, Inc. Identifying and/or removing false positive detections from LIDAR sensor output
CN113811473A (zh) 2019-03-29 2021-12-17 英特尔公司 自主交通工具***
US11709495B2 (en) 2019-03-29 2023-07-25 SafeAI, Inc. Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control
US20200311601A1 (en) 2019-03-29 2020-10-01 Optum, Inc. Hybrid rule-based and machine learning predictions
US10661902B1 (en) 2019-03-29 2020-05-26 QuantumID Technologies Inc Artificial intelligence system for estimating excess non-sapient payload capacity on mixed-payload aeronautic excursions
WO2020201353A1 (en) 2019-04-02 2020-10-08 Medicrea International Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures
US10559386B1 (en) 2019-04-02 2020-02-11 Kpn Innovations, Llc Methods and systems for an artificial intelligence support network for vibrant constituional guidance
EP3948772A4 (en) 2019-04-04 2022-06-01 Presagen Pty Ltd METHOD AND SYSTEM OF EMBRYO SELECTION
US11250062B2 (en) 2019-04-04 2022-02-15 Kpn Innovations Llc Artificial intelligence methods and systems for generation and implementation of alimentary instruction sets
US11636380B2 (en) 2019-04-09 2023-04-25 Nxp B.V. Method for protecting a machine learning model against extraction using an ensemble of a plurality of machine learning models
CN111797657A (zh) 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 车辆周边障碍检测方法、装置、存储介质及电子设备
US10943132B2 (en) 2019-04-10 2021-03-09 Black Sesame International Holding Limited Distant on-road object detection
EP3722992B1 (en) 2019-04-10 2023-03-01 Teraki GmbH System and method for pre-processing images captured by a vehicle
CA3141859A1 (en) 2019-04-11 2020-10-15 Agilent Technologies, Inc. User interface configured to facilitate user annotation for instance segmentation within biological sample
US11588759B2 (en) 2019-04-12 2023-02-21 Asapp, Inc. Automated communications over multiple channels
CN109961491B (zh) 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
US10928508B2 (en) 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
US20200327449A1 (en) 2019-04-15 2020-10-15 Accenture Global Solutions Limited User retention platform
EP3725354B1 (en) 2019-04-15 2023-04-12 Nxp B.V. Audio controller
JP2020173744A (ja) 2019-04-15 2020-10-22 株式会社日立製作所 機械学習を用いた画像処理方式，およびそれを用いた電子制御装置
JP7188255B2 (ja) 2019-04-16 2022-12-13 富士通株式会社 学習方法、学習プログラムおよび学習装置
US11790171B2 (en) 2019-04-16 2023-10-17 Covera Health Computer-implemented natural language understanding of medical reports
CN109901595A (zh) 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶***及方法
US11809993B2 (en) 2019-04-18 2023-11-07 Google Llc Systems and methods for determining graph similarity
US10893070B2 (en) 2019-04-18 2021-01-12 Facebook, Inc. Detecting a page for a real-world entity, an imposter of a real-world entity, or a non-real-world entity that complies with or violates a policy of an online system
US11126890B2 (en) 2019-04-18 2021-09-21 Adobe Inc. Robust training of large-scale object detectors with a noisy dataset
CN110060202B (zh) 2019-04-19 2021-06-08 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及***
CN116846715A (zh) 2019-04-23 2023-10-03 迪普西格有限公司 使用机器学习网络处理通信信号
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US11257272B2 (en) 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
CN113785302A (zh) 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
CN110175671B (zh) 2019-04-28 2022-12-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置
CN110111340B (zh) 2019-04-28 2021-05-14 南开大学 基于多路割的弱监督实例分割方法
US11176493B2 (en) 2019-04-29 2021-11-16 Google Llc Virtualizing external memory as local to a machine learning accelerator
US10789402B1 (en) 2019-05-01 2020-09-29 Xilinx, Inc. Compiler and hardware abstraction layer architecture for a neural network accelerator
GB2583509B (en) 2019-05-01 2023-02-22 Advanced Risc Mach Ltd System and method for fault detection and correction
US10924661B2 (en) 2019-05-02 2021-02-16 International Business Machines Corporation Generating image capture configurations and compositions
US10475208B1 (en) 2019-05-02 2019-11-12 Capital One Services, Llc Vehicle analysis platform
WO2020227128A1 (en) 2019-05-03 2020-11-12 Image Stream Medical, Inc. Context and state aware operating room
US11556615B2 (en) 2019-05-03 2023-01-17 Tesla, Inc. Data path for scalable matrix node engine with mixed data formats
CN110135485A (zh) 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和***
US11556861B2 (en) 2019-05-06 2023-01-17 Google Llc Debugging correctness issues in training machine learning models
US11461664B2 (en) 2019-05-07 2022-10-04 Kpn Innovations, Llc. Methods and systems for an artificial intelligence alimentary professional support network for vibrant constitutional guidance
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
CN110334801A (zh) 2019-05-09 2019-10-15 苏州浪潮智能科技有限公司 一种卷积神经网络的硬件加速方法、装置、设备及***
US10832418B1 (en) 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
US20200356107A1 (en) 2019-05-10 2020-11-12 Uber Technologies, Inc. Walkway Detection for Autonomous Light Electric Vehicle
US20200364508A1 (en) 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
EP3739486A1 (en) 2019-05-14 2020-11-18 CrowdStrike, Inc. Applications of machine learning models to a binary search engine based on an inverted index of byte sequences
CN110069071B (zh) 2019-05-15 2022-06-14 深圳铂石空间科技有限公司 无人机导航方法与装置、存储介质、电子设备
US11701771B2 (en) 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US11263467B2 (en) 2019-05-15 2022-03-01 Apical Limited Image processing
US11475277B2 (en) 2019-05-16 2022-10-18 Google Llc Accurate and interpretable classification with hard attention
US11869037B2 (en) 2019-05-17 2024-01-09 gStore LLC Integrating content-delivery platforms into programmatic environments generated by executed applications
KR102043143B1 (ko) 2019-05-20 2019-11-11 호서대학교 산학협력단 인공신경망을 이용한 agv 주행제어 방법 및 장치
KR102071179B1 (ko) 2019-05-20 2020-01-29 주식회사 루닛 데이터 셋의 연속적인 학습 방법 및 장치
US20200372402A1 (en) 2019-05-24 2020-11-26 Bank Of America Corporation Population diversity based learning in adversarial and rapid changing environments
US11610142B2 (en) 2019-05-28 2023-03-21 Ati Technologies Ulc Safety monitor for image misclassification
US11803981B2 (en) 2019-05-30 2023-10-31 Mobileye Vision Technologies Ltd. Vehicle environment modeling with cameras
CN110225341B (zh) 2019-06-03 2020-08-28 中国科学技术大学 一种任务驱动的码流结构化图像编码方法
KR20200142266A (ko) 2019-06-12 2020-12-22 (주)리터너블 객체 인식 시스템 및 이를 사용한 객체 인식 방법
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11113568B2 (en) 2019-06-14 2021-09-07 Canon Kabushiki Kaisha Devices, systems, and methods for device-error analysis using computer vision and machine learning
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US11494930B2 (en) 2019-06-17 2022-11-08 SafeAI, Inc. Techniques for volumetric estimation
US11868884B2 (en) 2019-06-18 2024-01-09 Moloco, Inc. Method and system for providing machine learning service
CN112101562B (zh) 2019-06-18 2024-01-30 第四范式（北京）技术有限公司 机器学习建模过程的实现方法和***
US20200402155A1 (en) 2019-06-20 2020-12-24 Bank Of America Corporation Systems for providing real-time resource distribution to a resource event having standard delayed resource availability
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11087463B2 (en) 2019-06-21 2021-08-10 StraxCorp Pty. Ltd. Image analysis method and system for assessing bone fragility
US11192558B2 (en) 2019-06-24 2021-12-07 Here Global B.V. Method, apparatus, and system for providing road curvature data
CN110310264B (zh) 2019-06-25 2021-07-20 北京邮电大学 一种基于dcnn的大尺度目标检测方法、装置
WO2020264029A1 (en) 2019-06-25 2020-12-30 Nvidia Corporation Intersection region detection and classification for autonomous machine applications
US20200410288A1 (en) 2019-06-26 2020-12-31 Here Global B.V. Managed edge learning in heterogeneous environments
US11158056B2 (en) 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
US11163990B2 (en) 2019-06-28 2021-11-02 Zoox, Inc. Vehicle control system and method for pedestrian detection based on head detection in sensor data
US11170567B2 (en) 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
WO2020264010A1 (en) 2019-06-28 2020-12-30 Zoox, Inc. Low variance region detection for improved detection
US11657094B2 (en) 2019-06-28 2023-05-23 Meta Platforms Technologies, Llc Memory grounded conversational reasoning and question answering for assistant systems
DE102019209565A1 (de) 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
US20210006835A1 (en) 2019-07-01 2021-01-07 Microsoft Technology Licensing, Llc Blurring to improve visual quality in an area of interest in a frame
CN110414362A (zh) 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
US11467588B2 (en) 2019-07-03 2022-10-11 Denso International America, Inc. Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence
US11113689B2 (en) 2019-07-03 2021-09-07 Sap Se Transaction policy audit
KR20210004306A (ko) 2019-07-04 2021-01-13 삼성전자주식회사 뉴럴 네트워크 장치 및 뉴럴 네트워크의 파라미터 양자화 방법
US11023749B2 (en) 2019-07-05 2021-06-01 Zoox, Inc. Prediction on top-down scenes based on action data
US11475675B2 (en) 2019-07-08 2022-10-18 Uatc, Llc Systems and methods for identifying unknown instances
US11681925B2 (en) 2019-07-08 2023-06-20 Vianai Systems, Inc. Techniques for creating, analyzing, and modifying neural networks
CN110321965B (zh) 2019-07-10 2021-06-18 腾讯科技（深圳）有限公司 物体重识别模型的训练方法、物体重识别的方法及装置
US20210011908A1 (en) 2019-07-11 2021-01-14 Ghost Locomotion Inc. Model-based structured data filtering in an autonomous vehicle
US11829896B2 (en) 2019-07-11 2023-11-28 Ghost Autonomy Inc. Uncertainty-based data filtering in a vehicle
US20210012239A1 (en) 2019-07-12 2021-01-14 Microsoft Technology Licensing, Llc Automated generation of machine learning models for network evaluation
US11379287B2 (en) 2019-07-17 2022-07-05 Factualvr, Inc. System and method for error detection and correction in virtual reality and augmented reality environments
US11191342B2 (en) 2019-07-18 2021-12-07 L'oreal Techniques for identifying skin color in images having uncontrolled lighting conditions
CN110473173A (zh) 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法
US11941976B2 (en) 2019-07-25 2024-03-26 Pony Ai Inc. System and method for sharing data collected from the street sensors
US10893107B1 (en) 2019-07-25 2021-01-12 Amazon Technologies, Inc. Techniques for managing processing resources
CN110599537A (zh) 2019-07-25 2019-12-20 中国地质大学（武汉） 基于Mask R-CNN的无人机图像建筑物面积计算方法及***
US20210030276A1 (en) 2019-07-29 2021-02-04 DawnLight Technologies Inc. Remote Health Monitoring Systems and Method
CN112308095A (zh) 2019-07-30 2021-02-02 顺丰科技有限公司 图片预处理及模型训练方法、装置、服务器及存储介质
CN110399875A (zh) 2019-07-31 2019-11-01 山东浪潮人工智能研究院有限公司 一种基于深度学习与像素投影的通用表格信息提取方法
US11200456B2 (en) 2019-07-31 2021-12-14 GE Precision Healthcare LLC Systems and methods for generating augmented training data for machine learning models
CN110426051B (zh) 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
US11182903B2 (en) 2019-08-05 2021-11-23 Sony Corporation Image mask generation using a deep neural network
US11449709B2 (en) 2019-08-08 2022-09-20 Nvidia Corporation Domain restriction of neural networks through synthetic data pre-training
US11531883B2 (en) 2019-08-12 2022-12-20 Bank Of America Corporation System and methods for iterative synthetic data generation and refinement of machine learning models
US11537880B2 (en) 2019-08-12 2022-12-27 Bank Of America Corporation System and methods for generation of synthetic data cluster vectors and refinement of machine learning models
US11348339B2 (en) 2019-08-13 2022-05-31 Uatc, Llc Association and tracking for autonomous devices
US11593753B2 (en) 2019-08-13 2023-02-28 United Parcel Service Of America, Inc. Multi-phase consolidation optimization tool
US11556992B2 (en) 2019-08-14 2023-01-17 Royal Bank Of Canada System and method for machine learning architecture for enterprise capitalization
CN110543837B (zh) 2019-08-16 2022-03-15 北京航空航天大学 一种基于潜在目标点的可见光机场飞机检测方法
US11634162B2 (en) 2019-08-16 2023-04-25 Uatc, Llc. Full uncertainty for motion planning in autonomous vehicles
US11302009B2 (en) 2019-08-19 2022-04-12 Fotonation Limited Method of image processing using a neural network
US11144754B2 (en) 2019-08-19 2021-10-12 Nvidia Corporation Gaze detection using one or more neural networks
US11594036B2 (en) 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
CN110516665A (zh) 2019-08-23 2019-11-29 上海眼控科技股份有限公司 识别图像叠加文字区域的神经网络模型构建方法与***
US11232110B2 (en) 2019-08-23 2022-01-25 Capital One Services, Llc Natural language keyword tag extraction
CN110619282B (zh) 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像建筑物自动提取方法
CN110619283B (zh) 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像道路自动提取方法
CN110569899B (zh) 2019-09-03 2022-06-10 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置
CN110619330A (zh) 2019-09-18 2019-12-27 上海眼控科技股份有限公司 识别模型的训练方法、装置、计算机设备及识别方法
CN110751280A (zh) 2019-09-19 2020-02-04 华中科技大学 一种应用于卷积神经网络的可配置卷积加速器
US11726950B2 (en) 2019-09-28 2023-08-15 Intel Corporation Compute near memory convolution accelerator
CN110659628A (zh) 2019-10-09 2020-01-07 山东浪潮人工智能研究院有限公司 一种基于深度学习的煤矿监控视频解压缩方法及***
CN110599864A (zh) 2019-10-28 2019-12-20 苏州智行众维智能科技有限公司 一种基于室内交通场景模拟传感器建模和验证装置及方法
CN110826566B (zh) 2019-11-01 2022-03-01 北京环境特性研究所 一种基于深度学习的目标切片提取方法
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
CN110966991B (zh) 2019-11-21 2021-07-02 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN110956185B (zh) 2019-11-21 2023-04-18 大连理工大学人工智能大连研究院 一种图像显著目标的检测方法
CN111307162B (zh) 2019-11-25 2020-09-25 奥特酷智能科技(南京)有限公司 用于自动驾驶场景的多传感器融合定位方法
DE102019008316A1 (de) 2019-11-29 2020-08-13 Daimler Ag Verfahren zur Objekterkennung und Abstandsbestimmung
CN111126453B (zh) 2019-12-05 2022-05-03 重庆邮电大学 基于注意力机制和切割填充的细粒度图像分类方法及***
CN110688992B (zh) 2019-12-09 2020-08-04 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN111027549A (zh) 2019-12-10 2020-04-17 北京服装学院 一种针对女上装关键点识别方法
CN111027575B (zh) 2019-12-13 2022-06-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
US10902551B1 (en) 2019-12-17 2021-01-26 X Development Llc True positive transplant
US11536574B2 (en) 2019-12-27 2022-12-27 Intel Corporation System and method for acceleration-based vector field maps
US10796355B1 (en) 2019-12-27 2020-10-06 Capital One Services, Llc Personalized car recommendations based on customer web traffic
CN111062973B (zh) 2019-12-31 2021-01-01 西安电子科技大学 基于目标特征敏感性和深度学习的车辆跟踪方法
US10732261B1 (en) 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
US11341170B2 (en) 2020-01-10 2022-05-24 Hearst Magazine Media, Inc. Automated extraction, inference and normalization of structured attributes for product data
CN111047225B (zh) 2020-01-10 2021-03-23 惠州光弘科技股份有限公司 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法
CN111275618B (zh) 2020-01-12 2023-09-29 杭州电子科技大学 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111275080B (zh) 2020-01-14 2021-01-08 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
US10845943B1 (en) 2020-02-14 2020-11-24 Carmax Business Services, Llc Systems and methods for generating a 360-degree viewing experience
CN111275129A (zh) 2020-02-17 2020-06-12 平安科技（深圳）有限公司 一种图像数据的增广策略选取方法及***
CN111461110B (zh) 2020-03-02 2023-04-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111598095B (zh) 2020-03-09 2023-04-07 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN111444821B (zh) 2020-03-24 2022-03-25 西北工业大学 一种城市道路标志自动识别方法
US11455793B2 (en) 2020-03-25 2022-09-27 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras
US11568655B2 (en) 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
US11597393B2 (en) 2020-03-26 2023-03-07 Intel Corporation Systems, methods, and devices for driving control
US11586854B2 (en) 2020-03-26 2023-02-21 Intel Corporation Devices and methods for accurately identifying objects in a vehicle's environment
US11886968B2 (en) 2020-03-27 2024-01-30 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems
CN111461052B (zh) 2020-04-13 2023-05-23 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别方法
CN111461053B (zh) 2020-04-13 2023-05-23 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别***
CN111539514B (zh) 2020-04-16 2023-06-06 北京百度网讯科技有限公司 用于生成神经网络的结构的方法和装置
CN111428943B (zh) 2020-04-23 2021-08-03 福瑞泰克智能***有限公司 障碍物车辆轨迹预测的方法、设备和计算机设备
KR102189262B1 (ko) 2020-04-29 2020-12-11 주식회사 글로벌브릿지 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN111565318A (zh) 2020-05-06 2020-08-21 中国科学院重庆绿色智能技术研究院 一种基于稀疏样本的视频压缩方法
CN111582216B (zh) 2020-05-15 2023-08-04 安徽师范大学 一种无人驾驶车载交通信号灯识别***及方法
CN111693972B (zh) 2020-05-29 2022-11-15 东南大学 一种基于双目序列图像的车辆位置与速度估计方法
CN111783545A (zh) 2020-06-02 2020-10-16 山西潞安环保能源开发股份有限公司五阳煤矿 一种基于生成对抗网络的煤矿无人机图像增强方法
CN111767801B (zh) 2020-06-03 2023-06-16 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及***
CN111814623A (zh) 2020-06-29 2020-10-23 浙江工业大学 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN111860499B (zh) 2020-07-01 2022-07-12 电子科技大学 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法
CN111783971B (zh) 2020-07-02 2024-04-09 上海赛昉科技有限公司 一种用于深度神经网络的可高度灵活配置的数据后处理器
CN111882579A (zh) 2020-07-03 2020-11-03 湖南爱米家智能科技有限公司 基于深度学习和目标跟踪的大输液异物检测方法、***、介质及设备
CN111899227A (zh) 2020-07-06 2020-11-06 北京交通大学 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN111768002B (zh) 2020-07-10 2021-06-22 南开大学 一种基于弹性有效位的深度神经网络量化方法
CN111814902A (zh) 2020-07-21 2020-10-23 南方电网数字电网研究院有限公司 目标检测模型训练方法、目标识别方法、装置和介质
CN111898507B (zh) 2020-07-22 2022-06-03 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN111898523A (zh) 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111897639B (zh) 2020-07-29 2022-12-27 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
CN111899245B (zh) 2020-07-30 2021-03-09 推想医疗科技股份有限公司 图像分割、模型的训练方法及装置，电子设备及存储介质
CN111881856B (zh) 2020-07-31 2023-01-31 蚂蚁胜信(上海)信息技术有限公司 基于图像的车辆定损方法和装置
CN112101175B (zh) 2020-09-09 2024-05-10 沈阳帝信人工智能产业研究院有限公司 基于局部图像的高速公路车辆检测及多属性特征提取方法
CN112115953B (zh) 2020-09-18 2023-07-11 南京工业大学 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
CN112232497A (zh) 2020-10-12 2021-01-15 苏州浪潮智能科技有限公司 一种编译ai芯片的方法、***、设备及介质
CN112329552B (zh) 2020-10-16 2023-07-14 爱驰汽车（上海）有限公司 基于汽车的障碍物检测方法及装置
CN112348783B (zh) 2020-10-27 2022-08-05 基建通(三亚)国际科技有限公司 基于图像的人物识别方法、装置及计算机可读存储介质
CN112183739B (zh) 2020-11-02 2022-10-04 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
CN112308799A (zh) 2020-11-05 2021-02-02 山东交通学院 基于多传感器海上道路复杂环境能见度优化屏幕显示方法
CN112288658B (zh) 2020-11-23 2023-11-28 杭州师范大学 一种基于多残差联合学习的水下图像增强方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600843A (en) * 1989-09-20 1997-02-04 Fujitsu Limited Ring systolic array system for synchronously performing matrix/neuron computation using data transferred through cyclic shift register connected in cascade of trays
JPH10143494A (ja) * 1996-08-19 1998-05-29 Samsung Electron Co Ltd スカラ／ベクトル演算の組み合わせられた単一命令複数データ処理
US20050125477A1 (en) * 2003-12-04 2005-06-09 Genov Roman A. High-precision matrix-vector multiplication on a charge-mode array with embedded dynamic memory and stochastic method thereof
US20060041610A1 (en) * 2004-04-07 2006-02-23 Erdem Hokenek Processor having parallel vector multiply and reduce operations with sequential semantics
US20070028076A1 (en) * 2005-07-26 2007-02-01 Arm Limited Algebraic single instruction multiple data processing
CN102804135A (zh) * 2009-06-05 2012-11-28 Arm有限公司 用于处理向量指令的数据处理设备和方法
CN102541814A (zh) * 2010-12-27 2012-07-04 北京国睿中数科技股份有限公司 用于数据通信处理器的矩阵计算装置和方法
US20120278376A1 (en) * 2011-04-26 2012-11-01 University Of South Carolina System and method for sparse matrix vector multiplication processing
CN103198512A (zh) * 2011-09-16 2013-07-10 柯斯提克绘图公司 用于多处理器***中的输出的多级采集器
US20140046995A1 (en) * 2011-12-06 2014-02-13 The Mathworks, Inc. Parallel implementation of maximum a posteriori probability decoder
US20130159665A1 (en) * 2011-12-15 2013-06-20 Verisilicon Holdings Co., Ltd. Specialized vector instruction and datapath for matrix multiplication
US20160364334A1 (en) * 2012-03-29 2016-12-15 Advanced Micro Devices, Inc. Managing coherent memory between an accelerated processing device and a central processing unit
US20150067273A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Computation hardware with high-bandwidth memory interface
US20150331832A1 (en) * 2014-05-13 2015-11-19 Denso Corporation Arithmetic processing apparatus
US20160342889A1 (en) * 2015-05-21 2016-11-24 Google Inc. Vector computation unit in a neural network processor
US20160342891A1 (en) * 2015-05-21 2016-11-24 Google Inc. Neural Network Processor
US20170103318A1 (en) * 2015-05-21 2017-04-13 Google Inc. Rotating data for neural network computations
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
JP2017027149A (ja) * 2015-07-16 2017-02-02 ルネサスエレクトロニクス株式会社 半導体装置
US20170193360A1 (en) * 2015-12-30 2017-07-06 Microsoft Technology Licensing, Llc Multi-model controller
CN106250103A (zh) * 2016-08-04 2016-12-21 东南大学 一种卷积神经网络循环卷积计算数据重用的***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEX GENUSOV;袁晓晗;: "一种新型的高度并行32位浮点DSP向量信号处理器", 现代雷达, no. 05 *
金席;高小鹏;龙翔;: "***中浮点乘累加PE的设计与实现", 计算机工程与应用, no. 35 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114080598A (zh) * 2019-06-07 2022-02-22 元平台公司 具有数据连接器组件的点对点连接的处理元件
CN113805940A (zh) * 2020-08-17 2021-12-17 阿里巴巴集团控股有限公司 用于人工智能和机器学习的向量加速器

Also Published As

Publication number Publication date
CN118035625A (zh) 2024-05-14
EP4242941A2 (en) 2023-09-13
KR20220017944A (ko) 2022-02-14
KR102661605B1 (ko) 2024-04-30
US11409692B2 (en) 2022-08-09
EP4242941A3 (en) 2023-12-06
CA3070934C (en) 2023-03-21
JP2023103392A (ja) 2023-07-26
EP3659074A1 (en) 2020-06-03
EP3659074A4 (en) 2021-04-14
JP7426925B2 (ja) 2024-02-02
WO2019022872A1 (en) 2019-01-31
EP3659074B1 (en) 2023-08-16
US20190026250A1 (en) 2019-01-24
KR102346079B1 (ko) 2022-01-03
MX2020000951A (es) 2020-07-22
JP7498831B2 (ja) 2024-06-12
US20230115874A1 (en) 2023-04-13
JP2020529070A (ja) 2020-10-01
KR20200027558A (ko) 2020-03-12
KR20230100755A (ko) 2023-07-05
CA3070934A1 (en) 2019-01-31
KR102549680B1 (ko) 2023-06-30
CN111095242B (zh) 2024-03-22
MX2023010745A (es) 2023-09-20

Similar Documents

Publication Publication Date Title
CN111095242B (zh) 向量计算单元
US11797304B2 (en) Instruction set architecture for a vector computational unit
CN114238204B (zh) 可重构并行处理
EP3832499B1 (en) Matrix computing device
JP3983857B2 (ja) ベクトルレジスタの複数バンクを用いた単一命令複数データ処理
CN111353126A (zh) 分块矩阵乘法运算***
JP2021057004A (ja) 行列演算アクセラレータの命令のための装置、方法、及びシステム
CN111047036B (zh) 神经网络处理器、芯片和电子设备
CN110991619A (zh) 神经网络处理器、芯片和电子设备
CN111091181A (zh) 卷积处理单元、神经网络处理器、电子设备及卷积运算方法
KR102349138B1 (ko) 사전 프로그래밍 된 함수를 갖는 고속 컴퓨터 가속기
CN111047035B (zh) 神经网络处理器、芯片和电子设备
WO2004053715A1 (en) Data processing system having a cartesian controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Texas, USA

Applicant after: TESLA, Inc.

Address before: California, USA

Applicant before: TESLA, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant