CN112396168A - 处理器芯片及其控制方法 - Google Patents

处理器芯片及其控制方法 Download PDF

Info

Publication number
CN112396168A
CN112396168A CN202010081495.0A CN202010081495A CN112396168A CN 112396168 A CN112396168 A CN 112396168A CN 202010081495 A CN202010081495 A CN 202010081495A CN 112396168 A CN112396168 A CN 112396168A
Authority
CN
China
Prior art keywords
processor
address information
memory
artificial intelligence
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010081495.0A
Other languages
English (en)
Inventor
太龙旻
赵仁相
李元宰
黄赞荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112396168A publication Critical patent/CN112396168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/79—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in semiconductor storage media, e.g. directly-addressable memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/14—Protection against unauthorised use of memory or access to memory
    • G06F12/1458—Protection against unauthorised use of memory or access to memory by checking the subject access rights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/109—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by using specially-adapted hardware at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/51—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems at application loading time, e.g. accepting, rejecting, starting or inhibiting executable software based on integrity or source reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G06F21/74—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information operating in dual or compartmented mode, i.e. at least one secure mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1052—Security improvement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Storage Device Security (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种配置为执行神经网络处理的处理器芯片。处理器芯片包括存储器、第一处理器、第二处理器和第三处理器，其中第一处理器被配置为对存储在存储器中的数据执行神经网络处理，第二处理器被配置为向第一处理器和第三处理器发送控制信号以使第一处理器和第三处理器执行操作。

Description

处理器芯片及其控制方法
相关申请的交叉引用
本申请基于并要求于2019年8月13日在韩国知识产权局递交的韩国专利申请No.10-2019-0099124的优先权，其全部公开内容通过引用合并于本文。
技术领域
本公开涉及一种处理器芯片及其控制方法，例如，涉及一种执行神经网络处理的处理器芯片及其控制方法。
背景技术
近来，正在开发使用诸如深度学习的神经网络技术提供各种体验的电子装置。具体地，正在使用神经网络技术来改善分割、超分辨率、HDR等的性能。
在电子装置中使用神经网络技术改善图像质量的技术可以首先通过数字电路设计(例如寄存器转换级(RTL))以硬件实现，或者使用诸如神经处理单元(NPU)的处理器以软件实现。
综上所述，使用处理器的方法包括使用各种类型的处理器，诸如中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、NPU等。特别地，由于专用的加速器，NPU可以专门用于神经网络处理并可以快速输出结果，并且与其他类型的处理器相比，NPU在执行神经网络处理时的性能和效率更高。
NPU通常需要由CPU进行控制，并且特别地，由CPU接收输入数据和要应用于输入数据的人工智能模型信息。具体地，如图1所示，CPU初始化NPU，并且将输入数据和存储在存储器中的人工智能模型信息提供给NPU，并且操作(触发)NPU。
然而，基于使用内容作为输入数据的电子装置，CPU不能直接访问原始内容以确保内容的安全性。
作为绕过上述操作的方法，可以采用诸如使用将安全区域(信任区域)中的原始内容复制到公共区域或访问降频内容的模块的方法。在这种情况下，可能出现诸如存储器过度使用、操作时间延迟、内容质量下降等问题。
另外，基于电子装置中执行各种操作的CPU，如果在每个帧单元处设置NPU控制，则CPU可能过载。即，基于所使用的CPU，实时执行可能很困难。
如上所述，基于控制NPU的电子装置的CPU，可能出现各种问题。
发明内容
本公开的实施例解决了上述必要性，并且提供了用于更有效地控制神经处理单元(NPU)的处理器芯片及其控制方法。
根据本公开的示例实施例，一种配置为执行神经网络处理的处理器芯片，包括：存储器；第一处理器，被配置为对存储在存储器中的数据执行神经网络处理；第二处理器；以及第三处理器，其中，第二处理器被配置为向第一处理器和第三处理器发送控制信号，以使第一处理器和第三处理器执行操作。
此外，第二处理器可以被配置为：向第三处理器发送开始信号，以使第三处理器向第一处理器提供与存储在存储器中的输入内容有关的信息，并且向第一处理器发送初始化信号，以使第一处理器基于第三处理器提供的与输入内容有关的信息和存储在存储器中的人工智能模型信息，对输入内容执行神经网络处理。
此外，存储器可以被配置为包括：第二处理器不能访问的安全区域、以及第二处理器能访问的非安全区域，其中，第二处理器被配置为：向第三处理器发送开始信号，以使第三处理器通过访问安全区域来识别输入内容的地址信息，并且向第一处理器提供输入内容的地址信息，以及向第一处理器发送初始化信号，以使第一处理器基于第三处理器提供的输入内容的地址信息和存储在非安全区域中的人工智能模型信息，对输入内容执行神经网络处理。
此外，第二处理器可以被配置为：向第一处理器提供存储在非安全区域中的多个人工智能模型之一的地址信息，并且第一处理器被配置为：基于第二处理器提供的人工智能模型的地址信息，获得人工智能模型信息。
此外，第二处理器可以被配置为：向第三处理器发送开始信号，以使第三处理器基于输入内容，向第一处理器提供存储在非安全区域中的多个人工智能模型之一的地址信息，并且第一处理器可以被配置为：基于第三处理器提供的人工智能模型的地址信息，获得人工智能模型信息。
此外，还可以包括具有通信电路的通信接口，并且包括在输入内容中的多个帧可以通过通信接口被顺序地接收并被存储在存储器的安全区域中，并且第二处理器可以被配置为：向第三处理器发送开始信号，以使第三处理器以预定的时间间隔向第一处理器提供顺序地存储在存储器中的帧的地址信息。
此外，第二处理器可以被配置为：基于第一应用被执行，向第三处理器发送开始信号，以使第三处理器向第一处理器提供与输入内容有关的信息。
此外，第二处理器可以基于第一应用被终止，向第三处理器发送结束信号，以使第三处理器停止所提供的操作，并且第三处理器可以被配置为：控制第一处理器停止神经网络处理操作，并且可以向第二处理器提供指示神经网络处理操作被停止的信号。
此外，第二处理器可以被配置为：基于第二应用被执行，访问非安全区域以识别与第二应用相对应的数据的地址信息，向第一处理器提供所识别的地址信息，并且控制第一处理器基于第二处理器提供的数据的地址信息和存储在非安全区域中的人工智能模型信息，针对数据执行神经网络处理。
还可以包括显示器，并且第二处理器可以被配置为：向第三处理器发送开始信号，以使第三处理器识别多个输入内容中通过显示器显示的输入内容的地址信息，并且向第一处理器提供所识别的地址信息。
此外，第一处理器可以包括神经处理单元(NPU)，第二处理器可以包括基于操作***进行操作的处理器，并且第三处理器可以包括配置为执行预定操作的处理器。
根据本公开的示例实施例，一种控制处理器芯片的方法，该处理器芯片包括存储器、针对存储在存储器中的数据执行神经网络处理的第一处理器、第二处理器和第三处理器，该方法包括：由第二处理器向第三处理器发送控制信号以使第三处理器执行操作；以及由第二处理器向第一处理器发送控制信号以使第一处理器执行操作。
此外，向第三处理器发送控制信号可以包括：向第三处理器发送开始信号，以使第三处理器向第一处理器提供与存储在存储器中的输入内容有关的信息；并且向第一处理器发送控制信号包括：向第一处理器发送初始化信号，以使第一处理器基于从第三处理器提供的与输入内容有关的信息和存储在存储器中的人工智能模型信息，对输入内容执行神经网络处理。
此外，向第三处理器发送控制信号可以包括：向第三处理器发送开始信号，以使第三处理器通过访问存储器的安全区域来识别输入内容的地址信息，并且向第一处理器提供输入内容的地址信息，并且向第一处理器发送控制信号包括：向第一处理器发送初始化信号，以使第一处理器基于第三处理器提供的输入内容的地址信息和存储在存储器的非安全区域中的人工智能模型信息，对输入内容执行神经网络处理。
此外，还可以包括：由第二处理器向第一处理器提供存储在非安全区域中的多个人工智能模型之一的地址信息；以及由第一处理器基于第二处理器提供的人工智能模型的地址信息来获得人工智能模型信息。
此外，向第三处理器发送控制信号可以包括：向第三处理器发送开始信号，以使第三处理器基于输入内容，向第一处理器提供存储在非安全区域中的多个人工智能模型之一的地址信息，并且控制方法还可以包括：由第一处理器基于第三处理器提供的人工智能模型的地址信息，获得人工智能模型信息。
此外，还可以包括：顺序地接收包括在输入内容中且存储在存储器的安全区域中的多个帧；并且向第三处理器发送控制信号可以包括：向第三处理器发送开始信号，以使第三处理器以预定的时间间隔向第一处理器提供顺序地存储在存储器中的帧的地址信息。
此外，向第三处理器发送控制信号可以包括：基于第一应用被执行，向第三处理器发送开始信号，以使第三处理器向第一处理器提供与输入内容有关的信息。
此外，还可以包括：基于第一应用被终止，从第二处理器向第三处理器发送结束信号，以使第三处理器终止所提供的操作；在第三处理器的控制下，由第一处理器终止神经网络处理操作；以及从第三处理器向第二处理器提供指示神经网络处理操作被终止的信号。
根据本公开的另一示例实施例，一种控制处理器芯片的方法，其中该处理器芯片包括存储器、第一处理器、第二处理器和第三处理器，该方法包括：基于第一应用被执行，由第二处理器向第一处理器发送与存储在存储器中的数据有关的信息；从第二处理器向第一处理器发送第一初始化信号，以使第一处理器基于第二处理器提供的与数据有关的信息和存储在存储器中的第一人工智能模型信息，对数据执行神经网络处理；基于第一应用被终止并且第二应用被执行，从第二处理器向第三处理器发送开始信号，以使第三处理器向第一处理器提供与存储在存储器中的输入内容有关的信息；以及从第二处理器向第一处理器发送第二初始化信号，以使第一处理器基于从第三处理器提供的与输入内容有关的信息和存储在存储器中的第二人工智能模型信息，对输入内容执行神经网络处理。
根据本公开的各种示例实施例，处理器芯片可以基于对原始内容执行神经网络处理来减少存储器使用，提高内容的输出质量，并且实时执行处理。
附图说明
从下面结合附图的详细描述中，本公开的某些实施例的以上和其他方面、特征和优点将更加清楚，在附图中：
图1是示出根据传统技术的神经处理单元(NPU)的控制方法的图；
图2是示出根据本公开的实施例的处理器芯片的示例配置的框图；
图3是示出根据本公开的实施例的存储器的安全区域和非安全区域的示例的图；
图4A和图4B是示出根据本公开的实施例的示例神经网络处理的图；
图5A和图5B是示出根据本公开的另一实施例的示例神经网络处理的图；
图6A、图6B和图6C是示出根据本公开的实施例的基于应用的示例操作的图；以及
图7是示出根据本公开的实施例的控制处理器芯片的示例方法的流程图。
具体实施方式
本公开的各种示例实施例可以被不同地修改。因此，示例实施例在附图中被示出并在具体实施方式中被更详细描述。然而，应当理解的是，本公开不限于示例实施例，并且在不脱离本公开的范围和精神的情况下包括所有修改、等同物和替代。另外，在公知的功能或结构会以不必要的细节模糊本公开的情况下，可以不详细描述该公知的功能或结构。
在下文中，将参照附图更详细地描述本公开的各种示例实施例。
图2是示出根据本公开的实施例的处理器芯片100的示例配置的框图。
如图2所示，处理器芯片100包括存储器110、第一处理器(例如，包括处理电路)120、第二处理器(例如，包括处理电路)130和第三处理器(例如，包括处理电路)140。
作为执行神经网络处理的装置，处理器芯片100可以例如但不限于在电视、智能电话、平板PC、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、PDA、便携式多媒体播放器(PMP)、MP3播放器、可穿戴设备等中实现。
作为设有显示器(未示出)的装置，处理器芯片100可以被配置为对内容执行神经网络处理，并且可以是通过显示器显示根据神经网络处理进行了图像处理的内容的装置。此外，处理器芯片100可以不具有单独的显示器，并且可以是对内容执行神经网络处理的装置。在该示例中，处理器芯片100可以将根据神经网络处理进行了图像处理的内容提供给显示装置。
存储器110可以与第一处理器120、第二处理器130和第三处理器140电连接，并且可以存储对于本公开的各种实施例所必需的数据。例如，存储器110可以例如但不限于被实现为包括在第一处理器120、第二处理器130和第三处理器140中的每个中的RAM、ROM(例如，电可擦除可编程只读存储器(EEPROM))等的内部存储器，或实现为与第一处理器120、第二处理器130和第三处理器140分开的存储器。存储器110可以根据数据存储用途实现为处理器芯片100中的嵌入式存储器的形式，或者可以实现为处理器芯片100中的可拆卸存储器的形式。例如，在数据用于驱动处理器芯片100的情况下，可以将数据存储在处理器芯片100中的嵌入式存储器中，而在数据用于处理器芯片100的扩展功能的情况下，可以将数据存储在处理器芯片100中的可拆卸存储器中。处理器芯片100中的嵌入式存储器可以例如但不限于实现为易失性存储器(例如：动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM)等)或非易失性存储器(例如：一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)、掩膜ROM、闪速ROM、闪速存储器(例如：NAND闪存或NOR闪存等)、硬盘驱动器、固态驱动器(SSD)等中的至少一种，而处理器芯片100中的可拆卸存储器可以实现为例如但不限于存储卡(例如，紧凑型闪存(CF)、安全数字(SD0、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、能够连接到USB端口的外部存储器(例如，USB存储器)等。
存储器110可以存储用于对数据执行神经网络处理的人工智能模型。例如，作为用于将输入内容的分辨率升频(upscale)到8K的模型的人工智能模型可以是使用例如但不限于卷积神经网络(CNN)来学习原始图像(8K)与原始图像的降频(downscale)图像(例如：4K)之间的关系的模型。这里，CNN可以指例如具有被设计用于语音处理、图像处理等的专用连接结构的多层神经网络。
然而，以上仅是示例实施例，并且人工智能模型可以是基于各种神经网络(例如但不限于递归神经网络(RNN)、深度神经网络(DNN)等)的模型。
此外，存储器110可以存储可以与人工智能模型一起应用的数据。例如，存储器110可以存储可以与人工智能模型一起应用的内容。
存储器110可以包括安全区域和非安全区域。安全区域可以是存储需要安全性的数据的区域，而非安全区域可以是存储与安全性无关的数据的区域。例如，人工智能模型可以被存储在非安全区域中，而要与人工智能模型一起应用的内容可以被存储在安全区域中。
然而，本公开不限于此，并且例如，如果需要安全性，则可以将人工智能模型存储在安全区域中。此外，例如如果与安全性无关，则可以将要与人工智能模型一起应用的数据存储在非安全区域中。
存储器110的安全区域和非安全区域可以按照软件来划分。例如，第二处理器130可以与存储器110电连接，但是就软件而言，第二处理器130可以不识别与例如但不限于存储器的30％相对应的安全区域。
然而，本公开不限于此，并且存储器110的非安全区域可以被实现为第一存储器，并且存储器110的非安全区域可以被实现为第二存储器。例如，存储器110的安全区域和非安全区域可以按照硬件来划分。
将在下文描述的第一处理器120和第三处理器140可以包括各种处理电路并且访问存储器110的安全区域和非安全区域，而第二处理器130可以包括各种处理电路并且不能访问存储器110的安全区域，例如可以仅能够访问非安全区域。
第一处理器120可以是执行神经网络处理的处理器。例如，第一处理器120可以例如包括神经网络处理专用处理器，例如神经处理单元(NPU)，其可以包括多个处理元件。在相邻处理元件之间，数据的单向移位或双向移位是可行的。
每个处理元件可以例如但不限于通常包括乘法器和算术逻辑单元(ALU)，并且ALU可以包括例如但不限于至少一个或多个加法器。处理元件可以使用乘法器和ALU来执行四个基本算术运算。然而，处理元件不限于此，并且可以包括能够执行诸如四个基本算术运算和移位之类的功能的其他结构。此外，每个处理元件可以包括例如用于存储数据的寄存器。
第一处理器120可以包括各种处理电路，该处理电路包括例如控制多个处理元件的控制器，并且该控制器可以控制多个处理元件以在神经网络处理过程中可能需要的并行处理中进行处理。
在第二处理器130或第三处理器140的控制下，第一处理器120可以执行神经网络处理。例如，第一处理器120可以基于关于第二处理器130或第三处理器140提供的数据的信息以及存储在非安全区域中的人工智能模型信息，对数据执行神经网络处理。在此，数据可以是存储在安全区域中的数据或存储在非安全区域中的数据。例如，第一处理器120可以访问安全区域。
第二处理器130可以包括各种处理电路，并且可以通常控制处理器芯片100的操作，并且例如可以是基于操作***进行操作的处理器。然而，第二处理器130可能不能访问存储器110的安全区域，并且例如可以仅访问非安全区域。
根据一个实施例，第二处理器130可以被实现为各种处理电路，例如微处理器、时间控制器(TCON)等。然而，第二处理器不限于此，并且可以包括例如但不限于中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器等中的一个或多个，或者可以由相应术语定义。此外，第二处理器130可以被实现为与处理算法集成的片上***(SoC)、大规模集成(LSI)或以现场可编程门阵列(FPGA)的形式实现。例如，第二处理器130可以包括通用处理器。
第二处理器130可以将控制信号发送到第一处理器120和第三处理器140，以使第一处理器120和第三处理器140执行操作。
第二处理器130可以向第三处理器140发送开始信号，以使第三处理器140将关于存储在存储器110中的输入内容的信息提供给第一处理器120。例如，第二处理器130可以向第三处理器140发送开始信号，以使能够访问安全区域的第三处理器140通过访问安全区域来识别输入内容的地址信息，并将输入内容的地址信息提供给第一处理器120。例如，基于第二处理器130不能访问安全区域，可以控制能够访问安全区域的第三处理器140以将存储在安全区域中的输入内容的地址信息提供给第一处理器120。
与第二处理器130不同，第三处理器140作为可以根据需要控制处理器芯片100的部分操作的处理器，可以是仅执行预定操作的处理器，但不限于此。例如，第三处理器140可以包括例如不能进行任意改变的操作的处理器。例如，第三处理器140可以是专用于信号处理的处理器(例如数字信号处理器(DSP))、图形处理单元(GPU)等，或者可以是根据需要对输入内容执行图像处理的处理器。
另外，第二处理器130可以向第一处理器120发送初始化信号，以使第一处理器基于从第三处理器140提供的与输入内容有关的信息和存储在存储器中的人工智能模型信息，对输入内容执行神经网络处理。例如，第二处理器130可以向第一处理器120发送初始化信号，以使第一处理器120基于从第三处理器140提供的输入内容的地址信息和存储在非安全区域中的人工智能模型信息，对输入内容执行神经网络处理。
第二处理器130可以将关于存储在非安全区域中的多个人工智能模型之一的地址信息提供给第一处理器120，并且第一处理器120可以基于从第二处理器130提供的人工智能模型的地址信息来获得人工智能模型信息。
例如，第二处理器130基于对输入内容执行8K升频(upscaling)，可以控制第三处理器140通过访问安全区域来识别输入内容的地址信息，并将输入内容的地址信息提供给第一处理器120。此外，第二处理器130可以通过访问非安全区域来识别执行8K升频的人工智能模型的地址信息，并且可以将人工智能模型的地址信息提供给第一处理器120。此外，第一处理器120可以执行控制以基于从第三处理器140提供的输入内容的地址信息和人工智能模型的地址信息，对输入内容执行神经网络处理。
另外，第二处理器130可以向第三处理器140发送开始信号，以使第三处理器140基于输入内容向第一处理器120提供关于存储在非安全区域中的多个人工智能模型之一的地址信息，并且第一处理器120可以基于从第三处理器140提供的人工智能模型的地址信息来获得人工智能模型信息。
例如，第三处理器140可以分析输入内容，并识别输入内容所需的图像处理的类型。基于输入内容的分辨率低于显示器的分辨率，第三处理器140可以识别执行升频的人工智能模型的地址信息，并且基于尽管输入内容的分辨率和显示器的分辨率相同但质量低，第三处理器140可以识别移除图像噪声的人工智能模型的地址信息。
例如，人工智能模型的地址信息可以被提供给第二处理器130，或者可以在第三处理器140分析输入内容之后被提供。由于第二处理器130可能无法分析存储在安全区域中的输入内容，因此第二处理器130提供的人工智能模型可以是与用户选择相对应的人工智能模型。例如，基于用户想要将输入内容播放为影院模式，第二处理器130可以识别与影院模式相对应的人工智能模型的地址信息。
然而，本公开不限于此，并且第二处理器130可以使用传感器来识别周围环境信息，并且可以识别与周围环境信息相对应的人工智能模型的地址信息。
处理器芯片100还包括通信接口(例如，包括通信电路)(未示出)、以及包括在输入内容中的多个帧，该多个帧可以通过通信接口被顺序地接收并且被存储在存储器110的安全区域中，第二处理器130可以发送开始信号以使第三处理器140以预定的时间间隔向第一处理器120提供顺序地存储在存储器110中的帧的地址信息。
通信接口可以包括各种通信电路，并且可以被配置为基于各种类型的通信方法来执行与各种类型的外部装置的通信。通信接口可以包括例如但不限于调谐器，该调谐器通过从通过天线接收的射频(RF)广播信号调谐用户选择的信道或预存储的所有信道来接收RF广播信号。在该示例中，处理器芯片100可以接收和解调从调谐器转换的数字IF(DIF)信号，并且还可以包括执行信道解码的解调器等。此外，通信接口可以包括各种配置，包括用于执行无线通信的各种电路，诸如WiFi芯片、蓝牙芯片、无线通信芯片和NFC芯片。WiFi芯片和蓝牙芯片可以分别通过WiFi方法和蓝牙方法执行通信。基于所使用的WiFi芯片或蓝牙芯片，可以首先发送和接收诸如SSID和会话密钥之类的各种连接信息，并且可以在使用上述方法通过通信进行连接之后发送和接收各种信息。无线通信芯片可以例如指根据各种通信协议(例如，IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE))执行通信的芯片。NFC芯片是指通过使用各种RF-ID频段(例如135kHz、13.56MHz、433MHz、860-960MHz和2.45GHz)中的13.56MHz频段的近场通信(NFC)方法进行操作的芯片。此外，通信接口还可以包括执行诸如HDMI、MHL、USB、DP、雷电(thunderbolt)、RGB、D-SUB和DVI的有线通信的配置。例如，处理器芯片100可以通过通信接口从外部装置接收内容回放画面，或者可以通过通信接口向外部装置发送内容回放画面。
基于正在执行的第一应用，第二处理器130可以向第三处理器140发送开始信号，以使第三处理器140向第一处理器120提供关于输入内容的信息。
另外，基于第一应用被终止，第二处理器130可以向第三处理器140发送结束信号，以使第三处理器140终止所提供的操作，第三处理器140可以执行控制以使第一处理器120终止神经网络处理操作，并且可以向第二处理器130提供指示神经网络处理操作终止的信号。
基于正在执行的第二应用，第二处理器130可以访问非安全区域以识别与第二应用相对应的数据的地址信息，并且可以向第一处理器120提供识别出的地址信息，第一处理器120可以执行控制以基于从第二处理器130提供的数据的地址信息和存储在非安全区域中的人工智能模型信息来对数据执行神经网络处理。
第一应用例如可以是与内容的图像处理相关的应用，并且第二应用可以例如是与内容无关的应用。
例如，基于与内容的图像处理相关的第一应用正被执行，第二处理器130可以控制第三处理器140以获得存储在安全区域中的内容的地址信息，并且基于与内容无关的第二应用正被执行，第二处理器130可以直接获得存储在非安全区域中的数据的地址信息。
处理器芯片100还可以包括显示器(未示出)，并且第二处理器130可以向第三处理器140发送开始信号，以使第三处理器140识别多个输入内容中的通过显示器显示的输入内容的地址信息，并向第一处理器120提供识别出的地址信息。
例如，处理器芯片100可以从例如连接至高清多媒体接口(HDMI)的外部装置接收第一输入内容，通过调谐器从广播站接收第二输入内容，并且可以将第一输入内容和第二输入内容存储在安全区域中。在该示例中，第二处理器130可以向第三处理器140发送开始信号，以使第三处理器140识别第一输入内容和第二输入内容中通过显示器显示的输入内容的地址信息，并向第一处理器120提供识别出的地址信息。
显示器可以实现为各种类型的显示器，例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示面板(PDP)等。显示器中还可以包括能够以诸如非晶硅TFT、低温多晶硅(LTPS)TFT和有机TFT(OTFT)的形式实现的驱动电路、背光单元等。显示器可以通过与触摸传感器耦接被实现为触摸屏。
在初始化第一处理器110之后，第二处理器130可以向第三处理器140发送开始信号，以使第三处理器140识别访问安全区域的输入内容的地址信息，并向第一处理器120提供识别出的地址信息提。
尽管以上已经将第二处理器130或第三处理器140描述为向第一处理器120提供地址信息，但是本公开不限于此。例如，第二处理器130或第三处理器140可以获得输入内容或人工智能模型，并且可以将其直接提供给第一处理器120。
如上所述，可以通过使用能够访问安全区域的第三处理器140的方法来解决第二处理器130不能访问安全区域的问题。
下面，将参照附图更详细地描述每个处理器的示例操作。
图3是示出根据本公开的实施例的存储器110的示例的安全区域和非安全区域的图。参考图3，第二处理器130进行操作，使得即使不能访问存储器110的安全区域，也可以存储和显示输入内容。
处理器芯片100可以接收输入内容。在图3中，输入内容的接收例如被示出为流传输，并且这例如可以指输入内容的实时接收。此外，不仅输入内容被指示为通过互联网的流传输，通过有线连接从外部装置接收内容也可以被指示为流传输。
处理器芯片100可以从外部接收编码的输入内容，并且可以通过解码器(例如，包括解码电路和/或可执行程序元件)对输入内容进行解码。此外，解码的内容可以存储在存储器110的安全区域中。
基于所提供的源，解码的内容可以被存储在安全区域内的不同区域中。例如，基于解码内容通过调谐器被接收，可以将解码内容存储在安全区域的第一区域中，并且基于解码内容从通过HDMI连接的外部装置被接收，可以将解码内容存储在安全区域的第二区域中。例如，安全区域可以被划分为由所提供的内容源划分的多个区域，并且第三处理器140可以识别与安全区域的所划分的多个区域有关的信息。
可以在图像处理之后显示存储在安全区域中的内容。图像处理可以由数字电路(例如但不限于寄存器转换级(RTL))、第一处理器120或第三处理器140执行。当改变的可能性低时，可以使用诸如寄存器转换级(RTL)之类的数字电路，而当改变的可能性高时，可以使用第三处理器140。例如，即使在复杂算法(FRC)的情况下，基于存在预定数目的模式(例如：30Hz、60Hz、120Hz)，将其实现为诸如RTL之类的数字电路也是可行的，并且从功率和生产成本方面来看，这种情况相比于使用第三处理器140可以是有利的。在由于用户而存在很多改变元素或者按使用类型(区域)存在很多改变元素的算法(例如：游戏模式、根据周围亮度的自动画面调整)的情况下，在被实现为诸如RTL之类的数字电路时很可能不能被经常使用，并且存在占用芯片内空间的问题。在这种情况下，使用第三处理器140可以比使用诸如RTL之类的数字电路更有利。此外，第一处理器120可以使用人工智能模型来执行图像处理。
诸如流传输、解码和存储之类的上述操作可以通过数字电路来实现。第二处理器130可以控制每个数字电路并且可以对输入内容执行处理，但是不允许对输入内容的直接访问。例如，即使第二处理器130不能访问安全区域，也可以执行显示输入内容的操作。
图4A和图4B是示出根据本公开的实施例的示例神经网络处理的图。
如图4A所示，第二处理器(CPU)130可以使用操作***(O/S)执行引导，并且可以执行各种操作，诸如通过用户输入的各种菜单进行控制以及使用存储在非安全区域(存储装置1)中的各种程序、内容、数据等来执行应用。
第二处理器130可以能够访问非安全区域，但是可能无法访问安全区域(存储装置2)。诸如内容版权(DRM)之类的需要安全性的数据或者诸如从处理器芯片100外部接收的输入内容之类的私有信息可以被存储在安全区域中，并且第二处理器130不可以读取需要安全性的数据。
作为例如可以独立执行数字信号处理的处理器的第三处理器140可以不使用O/S，并且可以使用预存储的程序来执行预定操作。因此，第三处理器140可以访问存储需要安全性的数据的安全区域。
作为可以用于神经网络处理的处理器的第一处理器120可以不使用O/S，并且可以访问安全区域。
基于第二处理器130不能识别输入内容的地址信息，可以控制第三处理器140对输入内容执行神经网络处理。
第二处理器130可以执行第一处理器120的初始化。第二处理器130可以初始化第一处理器120的原因可以是第二处理器130通过O/S控制电视***。O/S通过驱动器管理关于每个程序的资源，并且这是用于管理诸如存储器110之类的资源的有效***。例如，第二处理器130可以通过经由驱动器初始化第一处理器120来有效地管理资源。
之后，第二处理器130可以控制第三处理器140通过访问安全区域来识别输入内容的地址信息，并且向第一处理器120提供输入内容的地址信息。第二处理器130对第三处理器140的控制操作可以例如包括一次性控制操作。
第三处理器140可以控制第一处理器120基于从第三处理器140提供的输入内容的地址信息和存储在非安全区域中的人工智能模型信息，对输入内容执行神经网络处理。第三处理器140对第一处理器120的控制操作可以包括以预定时间间隔重复的控制操作。例如，基于输入内容是30fps的图像，第三处理器140可以以33.3ms的间隔向第一处理器120提供输入，并且可以控制第一处理器120执行神经网络处理。
例如，第三处理器140可以针对输入内容的每个帧向第一处理器120提供每个帧的地址信息，并且可以控制(触发)执行神经网络处理。然而，本公开不限于此，并且第三处理器140可以获得输入内容的每个帧，将获得的帧提供给第一处理器120，并且可以进行控制以执行神经网络处理。
当由第一处理器120执行神经网络处理时使用的人工智能模型可以由第二处理器130提供。这里，人工智能模型可以存储在非安全区域中，并且第二处理器130可以访问非安全区域以向第一处理器120提供人工智能模型的地址信息。
基于上述操作，第三处理器140(而不是第二处理器130)可以识别关于输入内容的地址信息，并且可以控制第一处理器120的神经网络处理操作。因此，可以在保持输入内容的安全性并减少第二处理器130的处理负担的同时，使用第一处理器120实时地执行神经网络处理。
在图4A中，存储器110被描述为包括安全区域和非安全区域，但是不限于此。例如，如图4B所示，处理器芯片100可以包括例如在硬件方面划分的第一存储器111和第二存储器112。作为存储非安全数据的存储器，第一存储器111可以是第二处理器130可访问的存储器。作为存储安全数据的存储器，第二存储器112可以是第二处理器130不可访问的存储器。第一处理器120和第三处理器140可以访问第一存储器111和第二存储器112。除了按照硬件划分存储器之外，图4B的操作与图4A的操作相同或相似，因此在此不再赘述其重复描述。
图5A和图5B是示出根据本公开的另一实施例的示例神经网络处理的图。
图5A的操作大致类似于图4A的操作，但是是示出如下示例情况的图，其中识别人工智能模型的地址信息且向第一处理器120提供地址信息的主体是第三处理器140。
与第二处理器130不同，第三处理器140可以访问存储在安全区域(存储装置2)中的输入内容，因此可以对输入内容进行分析。因此，第三处理器140可以识别针对输入内容优化的人工智能模型。例如，如果确定输入内容的噪声有问题，则第三处理器140可以识别用于从非安全区域中去除噪声的人工智能模型的地址信息，并且可以识别用于扩展非安全区域(存储装置1)中的分辨率的人工智能模型的地址信息。第三处理器140可以向第一处理器120提供人工智能模型的地址信息。
图5A中的存储器110被描述为包括安全区域和非安全区域，但是不限于此。例如，如图5B所示，处理器芯片100可以包括例如在硬件方面划分的第一存储器111和第二存储器112，并且在此可以不重复其与图4B重叠的具体描述。
图6A、图6B和图6C是示出根据本公开的实施例的基于应用的示例操作的图。
如图6A所示，基于与输入内容无关的应用A正被执行，第二处理器130可以向第一处理器120提供关于存储在存储器110中的数据的信息和关于人工智能模型的信息。第二处理器130可以对第一处理器120进行控制以基于所提供的信息来对数据执行神经网络处理。例如，基于与输入内容无关的应用A正被执行，第二处理器130可以识别存储在非安全区域中的数据的第一地址信息和人工智能模型的第二地址信息，并且可以向第一处理器120提供第一地址信息和第二地址信息。第二处理器130可以控制第一处理器120基于第一地址信息和第二地址信息对数据执行神经网络处理。
例如，应用A可以是接收通过传感器感测到的环境照度值作为处理最适当亮度的输入的应用。环境照度值可以不是需要安全性的数据，因此可以存储在非安全区域中。第二处理器130可以识别环境照度值的第一地址信息和与应用A相对应的人工智能模型的第二地址信息，并且可以向第一处理器120提供第一地址信息和第二地址信息。第二处理器130可以控制第一处理器120基于第一地址信息和第二地址信息来处理与环境照度值相对应的最合适的亮度。
例如，在这种情况下，第二处理器130可以不必使用第三处理器140。
此后，基于诸如图6B的应用A被终止并且对输入内容进行图像处理的应用B被执行，第二处理器130可以控制第三处理器140向第一处理器120提供与存储在存储器110中的输入内容有关的信息。
例如，基于应用A被终止并且对输入内容进行图像处理的应用B被执行，第二处理器130可以控制第三处理器140通过访问安全区域(存储装置2)来识别输入内容的地址信息，并向第一处理器120提供输入内容的地址信息。
第三处理器140可以控制第一处理器120基于从第三处理器140提供的与输入内容有关的信息和存储在非安全区域(存储装置1)中的人工智能模型信息，对输入内容执行神经网络处理。
例如，第三处理器140可以控制第一处理器120基于从第三处理器140提供的输入内容的地址信息和存储在非安全区域(存储装置1)中的人工智能模型信息，对输入内容执行神经网络处理。例如，第三处理器140可以通过读取以预定间隔从安全区域接收的输入内容，然后重复在安全区域中进行存储的操作，来通过第一处理器120执行图像处理。
例如，在这种情况下，第二处理器130在初始化第一处理器120之后，可以将其后的操作委派给第三处理器140。
例如，第二处理器130可以是控制处理器芯片100的整体操作的处理器，但是由于第三处理器130是仅在必要情况下使用的处理器，因此第三处理器140在实时的图像处理中可以更有利。
在图6B中，存储器110被描述为包括安全区域和非安全区域，但是不限于此。例如，如图6C所示，处理器芯片100可以包括在硬件方面划分的第一存储器111和第二存储器112，并且在此可以不重复其与图4B重叠的具体描述。
图7是示出根据本公开的实施例的控制处理器芯片的示例方法的流程图。
描述了一种控制处理器芯片的方法，其中处理器芯片包括存储器、第一处理器、第二处理器和第三处理器，其中第一处理器对存储在存储器中的数据执行神经网络处理，该方法包括第二处理器向第三处理器发送控制信号以使第三处理器执行操作(S710)。此外，第二处理器可以向第一处理器发送控制信号以使第一处理器执行操作(S720)。
向第三处理器发送控制信号(S710)可以包括：向第三处理器发送开始信号以使第三处理器向第一处理器提供与存储在存储器中的输入内容有关的信息；并且向第一处理器发送控制信号(S720)包括：向第一处理器发送初始化信号以使第一处理器基于从第三处理器提供的与输入内容有关的信息和存储在存储器中的人工智能模型信息，对输入内容执行神经网络处理。
此外，向第三处理器发送控制信号(S710)可以包括：通过访问存储器的安全区域来识别输入内容的地址信息，以及向第三处理器发送开始信号以向第一处理器提供输入内容的地址信息；向第一处理器发送控制信号(S720)包括：向第一处理器发送初始化信号以使第一处理器基于从第三处理器提供的输入内容的地址信息和存储在存储器的非安全区域中的人工智能模型信息，对输入内容执行神经网络处理。
还可以包括：由第二处理器向第一处理器提供与存储在非安全区域中的多个人工智能模型之一有关的地址信息；以及由第一处理器基于从第二处理器提供的人工智能模型的地址信息来获得人工智能模型信息。
此外，向第三处理器发送控制信号(S710)可以包括：向第三处理器发送开始信号，以使第三处理器基于输入内容，向第一处理器提供与存储在非安全区域中的多个人工智能模型之一有关的地址信息，并且该控制方法还可以包括：第一处理器基于从第三处理器提供的人工智能模型的地址信息来获得人工智能模型信息。
还可以包括：顺序地接收包括在输入内容中的多个帧，并将其存储在存储器的安全区域中；并且向第三处理器发送控制信号(S710)可以包括：向第三处理器发送开始信号以使第三处理器以预定的时间间隔向第一处理器提供顺序地存储在存储器中的帧的地址信息。
此外，向第三处理器发送控制信号(S710)可以包括：基于第一应用被执行，向第三处理器发送开始信号，以使第三处理器向第一处理器提供与输入内容有关的信息。
还可以包括：基于第一应用被终止，第二处理器向第三处理器发送结束信号，以使第三处理器终止所提供的操作；在第三处理器的控制下，由第一处理器终止神经网络处理操作；以及由第三处理器向第二处理器提供指示神经网络处理操作被终止的信号。
根据诸如本公开的以上的各种示例实施例，处理器芯片可以例如使用DSP而不是CPU来对原始内容执行神经网络处理以减少存储器使用，提高内容的输出质量，并且实时执行处理。
在上文中，为了方便和便于描述，将存储器、第一处理器、第二处理器和第三处理器描述为实现在处理器芯片中，但是不限于此。例如，电子装置可以例如但不限于被实现为包括作为单独配置的存储器、CPU、DSP和NPU。
根据一个实施例，上述各种示例实施例可以被实现为包括存储在可由机器(例如：计算机)读取的机器可读存储介质上的指令在内的软件。作为能够调用存储在存储介质中的指令并根据所调用的指令进行操作的装置的机器可以包括根据所公开的实施例的电子设备(例如：电子装置)。基于指令被处理器执行，处理器可以直接地、或在处理器控制下使用其他元件来执行与该指令相对应的功能。指令可以包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，“非暂时性”存储介质可以不包括信号并且是有形的，但是不区分半永久性或临时存储在存储介质中的数据。
根据一个实施例，可以在计算机程序产品中提供根据本文公开的各种实施例的方法。计算机程序产品可以作为商品在买卖双方之间交换。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品中的至少一部分可以至少临时存储在例如制造商的服务器、应用商店的服务器或中继服务器的存储器之类的存储介质中，或者被临时生成。
另外，根据一个实施例，可以在计算机或在能够使用软件、硬件或软件和硬件的组合读取类似装置的记录介质中实现上述各种实施例。在一些情况下，本文描述的实施例可以实现为处理器本身。基于软件实现，可以将根据本公开中描述的过程和功能的实施例实现为单独的软件模块。每个软件模块可以执行本公开中描述的一个或多个功能或操作。
用于执行根据上述各种实施例的另一装置的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。基于由特定设备的处理器执行的指令而存储在非暂时性计算机可读介质中的计算机指令可以使特定设备执行根据上述各种实施例的其他设备的处理操作。非暂时性计算机可读介质可以例如是指半持久性地存储数据并且可由装置读取的介质。非暂时性计算机可读介质的示例可以包括紧凑盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
另外，根据上述各种实施例的每个元件(例如，模块或程序)可以由单个实体或多个实体组成，并且上述子元件中的一些子元件可以被省略，或者在各种实施例中，还可以包括另一子元件。备选地或附加地，可以将一些元件(例如：模块或程序)集成到一个实体中，以执行与在集成之前由每个相应元件执行功能相同或相似的功能。根据各种实施例，由模块、程序或其他元件执行的操作可以顺序地、并行地、重复地或以启发式的方式执行，或者至少一些操作可以以不同的次序执行、被省略，或者还可以包括不同操作。
尽管已经参考各种附图示出和描述了各种示例实施例，但是本公开不限于特定的实施例或附图，并且本领域的普通技术人员将理解，在不背离所限定的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种被配置为执行神经网络处理的处理器芯片，包括：
存储器；
第一处理器，被配置为对存储在所述存储器中的数据执行神经网络处理；
第二处理器；以及
第三处理器，
其中，所述第二处理器被配置为：向所述第一处理器和所述第三处理器发送控制信号，以使所述第一处理器和所述第三处理器执行操作。
2.根据权利要求1所述的处理器芯片，其中，所述第二处理器被配置为：
向所述第三处理器发送开始信号，以使所述第三处理器向所述第一处理器提供与存储在所述存储器中的输入内容有关的信息，并且
向所述第一处理器发送初始化信号，以使所述第一处理器基于所述第三处理器提供的与输入内容有关的信息和存储在所述存储器中的人工智能模型信息，对所述输入内容执行神经网络处理。
3.根据权利要求2所述的处理器芯片，其中，所述存储器被配置为包括：所述第二处理器不能访问的安全区域、以及所述第二处理器能访问的非安全区域，
其中，所述第二处理器被配置为：
向所述第三处理器发送所述开始信号，以使所述第三处理器通过访问所述安全区域来识别所述输入内容的地址信息，并且向所述第一处理器提供所述输入内容的地址信息，并且
向所述第一处理器发送所述初始化信号，以使所述第一处理器基于所述第三处理器提供的所述输入内容的地址信息和存储在所述非安全区域中的所述人工智能模型信息，对所述输入内容执行神经网络处理。
4.根据权利要求3所述的处理器芯片，其中，所述第二处理器被配置为：向所述第一处理器提供存储在所述非安全区域中的多个人工智能模型之一的地址信息，并且
其中，所述第一处理器被配置为：基于所述第二处理器提供的人工智能模型的地址信息，获得所述人工智能模型信息。
5.根据权利要求3所述的处理器芯片，其中，所述第二处理器被配置为：向所述第三处理器发送所述开始信号，以使所述第三处理器基于所述输入内容，向所述第一处理器提供存储在所述非安全区域中的多个人工智能模型之一的地址信息，并且
其中，所述第一处理器被配置为：基于所述第三处理器提供的人工智能模型的地址信息，获得所述人工智能模型信息。
6.根据权利要求3所述的处理器芯片，还包括：
通信接口，包括通信电路；
其中，所述处理器芯片被配置为：将包括在所述输入内容中且通过所述通信接口顺序地接收的多个帧存储在所述存储器的所述安全区域中，并且
其中，所述第二处理器被配置为：向所述第三处理器发送所述开始信号，以使所述第三处理器以预定的时间间隔向所述第一处理器提供顺序地存储在所述存储器中的帧的地址信息。
7.根据权利要求2所述的处理器芯片，其中，所述第二处理器被配置为：基于第一应用被执行，向所述第三处理器发送所述开始信号，以使所述第三处理器向所述第一处理器提供与所述输入内容有关的信息。
8.根据权利要求7所述的处理器芯片，其中，所述第二处理器被配置为：基于所述第一应用被终止，向所述第三处理器发送结束信号，以使所述第三处理器停止向所述第一处理器提供信息，并且
其中，所述第三处理器被配置为：控制所述第一处理器停止神经网络处理操作，并且向所述第二处理器提供指示神经网络处理操作被停止的信号。
9.根据权利要求3所述的处理器芯片，其中，所述第二处理器被配置为：
基于第二应用被执行，访问所述非安全区域以识别与所述第二应用相对应的数据的地址信息，
向所述第一处理器提供所识别的地址信息，并且
控制所述第一处理器基于所述第二处理器提供的数据的地址信息和存储在所述非安全区域中的所述人工智能模型信息，针对所述数据执行神经网络处理。
10.根据权利要求3所述的处理器芯片，还包括：
显示器；
其中，所述第二处理器被配置为：向所述第三处理器发送所述开始信号，以使所述第三处理器识别多个输入内容中要通过所述显示器显示的输入内容的地址信息，并且向所述第一处理器提供所识别的地址信息。
11.根据权利要求1所述的处理器芯片，其中，所述第一处理器包括神经处理单元“NPU”，
其中，所述第二处理器包括基于操作***进行操作的处理器，并且
其中，所述第三处理器包括执行预定操作的处理器。
12.一种控制处理器芯片的方法，所述处理器芯片包括存储器、第一处理器、第二处理器和第三处理器，所述第一处理器被配置为针对存储在所述存储器中的数据执行神经网络处理，所述方法包括：
由所述第二处理器向所述第三处理器发送控制信号以使所述第三处理器执行操作；以及
由所述第二处理器向所述第一处理器发送控制信号以使所述第一处理器执行操作。
13.根据权利要求12所述的方法，其中，向所述第三处理器发送控制信号包括：向所述第三处理器发送开始信号，以使所述第三处理器向所述第一处理器提供与存储在所述存储器中的输入内容有关的信息，并且
其中，向所述第一处理器发送控制信号包括：向所述第一处理器发送初始化信号，以使所述第一处理器基于所述第三处理器提供的与所述输入内容有关的信息和存储在所述存储器中的人工智能模型信息，对所述输入内容执行神经网络处理。
14.根据权利要求13所述的方法，其中，向所述第三处理器发送控制信号包括：向所述第三处理器发送所述开始信号，以使所述第三处理器通过访问所述存储器的安全区域来识别所述输入内容的地址信息，并且向所述第一处理器提供所述输入内容的地址信息，并且
其中，向所述第一处理器发送控制信号包括：向所述第一处理器发送所述初始化信号，以使所述第一处理器基于所述第三处理器提供的所述输入内容的地址信息和存储在所述存储器的非安全区域中的人工智能模型信息，对所述输入内容执行神经网络处理。
15.根据权利要求14所述的方法，所述方法还包括：
由所述第二处理器向所述第一处理器提供存储在所述非安全区域中的多个人工智能模型之一的地址信息；以及
由所述第一处理器基于所述第二处理器提供的人工智能模型的地址信息来获得所述人工智能模型信息。
CN202010081495.0A 2019-08-13 2020-02-06 处理器芯片及其控制方法 Pending CN112396168A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190099124A KR102147912B1 (ko) 2019-08-13 2019-08-13 프로세서 칩 및 그 제어 방법들
KR10-2019-0099124 2019-08-13

Publications (1)

Publication Number Publication Date
CN112396168A true CN112396168A (zh) 2021-02-23

Family

ID=69411327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010081495.0A Pending CN112396168A (zh) 2019-08-13 2020-02-06 处理器芯片及其控制方法

Country Status (6)

Country Link
US (2) US11681904B2 (zh)
EP (1) EP3779761A1 (zh)
JP (1) JP7164561B2 (zh)
KR (1) KR102147912B1 (zh)
CN (1) CN112396168A (zh)
WO (1) WO2021029504A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021079257A (ja) * 2021-03-04 2021-05-27 株式会社三洋物産 遊技機
KR20230069729A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 디스플레이 장치 및 그의 동작 방법
CN116091293B (zh) * 2022-09-13 2023-10-31 北京理工大学 一种微小型智能弹载计算机架构

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885509A (zh) * 2017-10-26 2018-04-06 杭州国芯科技股份有限公司 一种基于安全的神经网络加速器芯片架构
WO2018126073A1 (en) * 2016-12-30 2018-07-05 Lau Horace H Deep learning hardware
WO2018124707A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 신경망 연산을 이용한 입력 처리 방법 및 이를 위한 장치
US20180253636A1 (en) * 2017-03-06 2018-09-06 Samsung Electronics Co., Ltd. Neural network apparatus, neural network processor, and method of operating neural network processor
CN108694694A (zh) * 2017-04-10 2018-10-23 英特尔公司 用于使得能够进行可扩展分布式机器学习的抽象库
CN109754064A (zh) * 2017-11-07 2019-05-14 三星电子株式会社 执行解卷积的神经网络的方法和装置
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118160B2 (ja) * 1983-06-18 1995-12-18 ソニー株式会社 ディジタル情報信号の記録方法
JP2001188767A (ja) 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
US7143401B2 (en) * 2000-02-17 2006-11-28 Elbrus International Single-chip multiprocessor with cycle-precise program scheduling of parallel execution
US7219085B2 (en) * 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
US7502928B2 (en) 2004-11-12 2009-03-10 Sony Computer Entertainment Inc. Methods and apparatus for secure data processing and transmission
KR20080060649A (ko) 2006-12-27 2008-07-02 엘지전자 주식회사 데이터 처리 장치 및 방법
US9076001B1 (en) * 2012-02-06 2015-07-07 Marvell International Ltd. Method and apparatus for implementing a secure content pipeline
US9304730B2 (en) * 2012-08-23 2016-04-05 Microsoft Technology Licensing, Llc Direct communication between GPU and FPGA components
US20140101405A1 (en) 2012-10-05 2014-04-10 Advanced Micro Devices, Inc. Reducing cold tlb misses in a heterogeneous computing system
US9606818B2 (en) * 2013-03-14 2017-03-28 Qualcomm Incorporated Systems and methods of executing multiple hypervisors using multiple sets of processors
US10223635B2 (en) 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
US9786036B2 (en) 2015-04-28 2017-10-10 Qualcomm Incorporated Reducing image resolution in deep convolutional networks
US10657274B2 (en) * 2015-06-29 2020-05-19 Samsng Electronics Co., Ltd. Semiconductor device including memory protector
JP6629678B2 (ja) 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
JP2018152639A (ja) 2017-03-10 2018-09-27 株式会社半導体エネルギー研究所 半導体装置、及び表示システム
KR102415508B1 (ko) * 2017-03-28 2022-07-01 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
EP3607488A4 (en) * 2017-04-07 2020-11-25 INTEL Corporation METHODS AND SYSTEMS WITH IMPROVED NEURAL FOLDING NETWORKS FOR IMAGE PROCESSING
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
EP3637363B1 (en) * 2017-06-05 2023-05-24 Rakuten Group, Inc. Image processing device, image processing method and image processing program
KR102606825B1 (ko) * 2017-09-13 2023-11-27 삼성전자주식회사 뉴럴 네트워크 모델을 변형하는 뉴럴 네트워크 시스템, 이를 포함하는 어플리케이션 프로세서 및 뉴럴 네트워크 시스템의 동작방법
US10474600B2 (en) 2017-09-14 2019-11-12 Samsung Electronics Co., Ltd. Heterogeneous accelerator for highly efficient learning systems
KR102521054B1 (ko) * 2017-10-18 2023-04-12 삼성전자주식회사 조기 중단에 기반한 심층 신경망의 연산 제어 방법 및 시스템
JP7074777B2 (ja) * 2017-11-20 2022-05-24 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッド タスク並列処理方法、装置、システム、記憶媒体およびコンピュータ機器
US10936942B2 (en) * 2017-11-21 2021-03-02 Google Llc Apparatus and mechanism for processing neural network tasks using a single chip package with multiple identical dies
CN108255773A (zh) 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 一种智能计算异构多核处理方法与平台
KR20190068255A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 고정 소수점 뉴럴 네트워크를 생성하는 방법 및 장치
US10937245B2 (en) 2017-12-20 2021-03-02 Signify Holding B.V. Lighting and internet of things design using augmented reality
US10783611B2 (en) * 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution
EP3835983B1 (en) * 2018-08-14 2023-10-04 Huawei Technologies Co., Ltd. Artificial intelligence (ai) processing method and ai processing device
US20200082279A1 (en) 2018-09-11 2020-03-12 Synaptics Incorporated Neural network inferencing on protected data
CN109657788A (zh) 2018-12-18 2019-04-19 北京中科寒武纪科技有限公司 数据处理方法、装置及相关产品
KR102555374B1 (ko) 2018-12-27 2023-07-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11372780B2 (en) * 2019-05-30 2022-06-28 Synaptics Incorporated Granular access control for secure memory
US10713143B1 (en) * 2019-06-24 2020-07-14 Accenture Global Solutions Limited Calibratable log projection and error remediation system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124707A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 신경망 연산을 이용한 입력 처리 방법 및 이를 위한 장치
WO2018126073A1 (en) * 2016-12-30 2018-07-05 Lau Horace H Deep learning hardware
US20180253636A1 (en) * 2017-03-06 2018-09-06 Samsung Electronics Co., Ltd. Neural network apparatus, neural network processor, and method of operating neural network processor
CN108694694A (zh) * 2017-04-10 2018-10-23 英特尔公司 用于使得能够进行可扩展分布式机器学习的抽象库
CN107885509A (zh) * 2017-10-26 2018-04-06 杭州国芯科技股份有限公司 一种基于安全的神经网络加速器芯片架构
CN109754064A (zh) * 2017-11-07 2019-05-14 三星电子株式会社 执行解卷积的神经网络的方法和装置
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨帆: ""安全处理器研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 February 2016 (2016-02-15), pages 137 - 24 *

Also Published As

Publication number Publication date
KR102147912B1 (ko) 2020-08-25
WO2021029504A1 (en) 2021-02-18
US11842265B2 (en) 2023-12-12
EP3779761A1 (en) 2021-02-17
US20210049449A1 (en) 2021-02-18
JP2021034008A (ja) 2021-03-01
US20210049450A1 (en) 2021-02-18
US11681904B2 (en) 2023-06-20
JP7164561B2 (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
US11842265B2 (en) Processor chip and control methods thereof
US10430918B2 (en) Display driver, display system, and method of operating the display driver
US10096304B2 (en) Display controller for improving display noise, semiconductor integrated circuit device including the same and method of operating the display controller
JP6078173B2 (ja) アイドル状態の構成要素の電力を落とすことによるディスプレイパイプラインにおける電力節約方法及び機器
US11763440B2 (en) Electronic apparatus and control method thereof
TWI610287B (zh) 在外部顯示介面上用以節電之背光調整設備、計算裝置及系統
US20220325460A1 (en) Electronic apparatus and control method therefor
TWI673677B (zh) 半導體裝置
US20220147298A1 (en) Home appliance and control method thereof
US11467642B2 (en) Electronic apparatus and controlling method thereof
US10504278B1 (en) Blending neighboring bins
US20180192107A1 (en) Display apparatus and control method thereof
WO2018006192A1 (en) A mechanism for providing multiple screen regions on a high resolution display
US11336905B2 (en) Storing index information for pixel combinations with similarity to a pixel to replace the pixel information
US9612790B2 (en) Method and electronic device for providing frame information
CN111492400A (zh) 图像处理设备、图像处理方法和计算机可读记录介质
US11423600B2 (en) Methods and apparatus for configuring a texture filter pipeline for deep learning operation
US11467798B2 (en) Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof
US10755666B2 (en) Content refresh on a display with hybrid refresh mode
WO2021102772A1 (en) Methods and apparatus to smooth edge portions of an irregularly-shaped display
WO2021087826A1 (en) Methods and apparatus to improve image data transfer efficiency for portable devices
KR100575766B1 (ko) 이동통신단말기의 그래픽 램 액세스 방법
US20130038791A1 (en) RGB-Out Dither Interface
KR20240045897A (ko) 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템
TW202422533A (zh) 影像處理裝置、其操作方法以及顯示系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination