TWI687866B - 在多執行緒處理器中之排程任務 - Google Patents

在多執行緒處理器中之排程任務 Download PDF

Info

Publication number
TWI687866B
TWI687866B TW107137040A TW107137040A TWI687866B TW I687866 B TWI687866 B TW I687866B TW 107137040 A TW107137040 A TW 107137040A TW 107137040 A TW107137040 A TW 107137040A TW I687866 B TWI687866 B TW I687866B
Authority
TW
Taiwan
Prior art keywords
thread
processor
instruction
worker
threads
Prior art date
Application number
TW107137040A
Other languages
English (en)
Other versions
TW201923561A (zh
Inventor
賽門 克里斯汀 諾爾斯
Original Assignee
英商葛夫科有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英商葛夫科有限公司 filed Critical 英商葛夫科有限公司
Publication of TW201923561A publication Critical patent/TW201923561A/zh
Application granted granted Critical
Publication of TWI687866B publication Critical patent/TWI687866B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/461Saving or restoring of program or task context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098Register arrangements
    • G06F9/3012Organisation of register space, e.g. banked or distributed register file
    • G06F9/30123Organisation of register space, e.g. banked or distributed register file according to context, e.g. thread buffers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/461Saving or restoring of program or task context
    • G06F9/462Saving or restoring of program or task context with multiple register sets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30076Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/3009Thread control instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098Register arrangements
    • G06F9/30101Special purpose registers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485Task life-cycle, e.g. stopping, restarting, resuming execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4887Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Executing Machine-Instructions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Multi Processors (AREA)
  • Advance Control (AREA)

Abstract

本發明揭示一種處理器,其包括:一執行單元,其用於在時槽之一重複序列之各者中執行一各自執行緒;及複數個內文暫存器組,其等各包括用於表示一各自執行緒之一狀態之一組各自暫存器。該等內文暫存器組包括用於該執行單元可操作以交錯之數個時槽之各者之一各自工作者內文暫存器組,及至少一額外內文暫存器組。該等工作者內文暫存器組表示工作者執行緒之該等各自狀態且該額外內文暫存器組表示一監督器執行緒之狀態。該處理器經組態以在該等時槽之各者中開始運行該監督器執行緒,且使該監督器執行緒能夠接著將其中運行該監督器執行緒之該等時槽之各者個別地轉交給該等工作者執行緒之一各自者。

Description

在多執行緒處理器中之排程任務
本發明係關於待由多執行緒處理器中之不同並行執行緒執行之任務排程。
一多執行緒處理器係能夠同時執行多個程式執行緒之一處理器。該處理器可包括為多個不同執行緒所共有之某一硬體(例如,一共同指令記憶體、資料記憶體及/或執行單元);但支援多執行緒,該處理器亦包括特定於各執行緒之某一專用硬體。
該專用硬體至少包括用於可同時執行之許多執行緒之各者之一各自內文暫存器檔案。一「內文」在談論多執行緒處理器時係指同時執行之執行緒之一各自者之程式狀態(例如,程式計數器值、狀態及當前運算元值)。該內文暫存器檔案係指用於表示該各自執行緒之此程式狀態之暫存器之各自集合。一暫存器檔案中之暫存器與一般記憶體相異之處在於,暫存器位址係固定為指令字中之位元,而記憶體位址可藉由執行指令而運算。一給定內文之暫存器通常包括用於各自執行緒之一各自程式計數器,及用於在藉由該執行緒執行之運算期間暫時保存作用於該各自執行緒且藉由該各自執行緒輸出之資料之一各自運算元暫存器組。各內文亦可具有用於儲存各自執行緒之一狀態(例如,該各自執行緒是否暫停或運行)之一各自狀態暫存器。因此,當前運行執行緒之各者具有其自身單獨程式計數器,及視需要運算元暫存器及(若干)狀態暫存器。
多執行緒之一個可能形式係平行性。即,除了多個內文以外,亦提供多個執行管線:即,用於將並行執行之指令之各串流之一單獨執行管線。然而,此需要在硬體方面進行大量複製。
因此代替性地,多執行緒處理器之另一形式採用並行性而非平行性,藉此執行緒共用一共同執行管線(或一管線之至少一共同部分)且不同執行緒透過此相同、共用執行管線交錯。由於增加隱藏管線延時之機會,所以相較於無並行性或平行性,仍可改良多執行緒處理器之效能。又,此方法並不需要與具有多個執行管線之一完全平行處理器一樣多的專用於各執行緒之額外硬體,且因此不會引發如此多的額外矽。
多執行緒處理器亦需要用於協調不同並行執行緒之執行之一些構件。例如,需要判定哪些運算任務將分配給哪些執行緒。作為另一實例,該等並行執行緒之第一一或多者可含有取決於藉由該等並行執行緒之一或多個其他者運算之結果之一運算。在此情況中,一屏障同步化需要經執行以將討論中之執行緒帶至一共同執行點,使得該一或多個第一執行緒不會在該一或多個其他執行緒執行其等所取決於之運算之前試圖執行此等相依運算。代替性地,屏障同步化需要(若干)其他執行緒以在該(等)第一執行緒可繼續進行之前到達一指定點。
協調並行執行緒之執行之一或多個此等功能可實施於專用硬體中。然而,此增加處理器之矽覆蓋區且並非如程式性軟體方法般靈活。另一方面,完全程式性軟體方法在程式碼密度方面效率不高。可期望找到一種更微妙方法來協調執行緒,其在此兩種方法中取得平衡。
根據本文中所揭示之一個態樣,提供一種處理器,其包括: 一執行單元,其經配置以在不同時槽之一重複序列之各者中執行一各自執行緒,該序列係由其中執行邏輯可操作以使該等各自執行緒之執行交錯之複數個時槽組成;及 複數個內文暫存器組,其等各包括用於表示一各自執行緒之一各自狀態之一組各自暫存器,其中該等內文暫存器組包括用於該執行單元可操作以在該序列中交錯之該數個時槽之各者之一各自工作者內文暫存器組及至少一額外內文暫存器組,使得內文暫存器組之數目比該執行單元可操作以交錯之時槽之數目至少大1,該等工作者內文暫存器組經配置以表示執行運算任務之各自工作者執行緒之各自狀態,且該額外內文暫存器組經配置以表示排程藉由該等工作者執行緒執行之任務之執行之一監督器執行緒之狀態; 其中該處理器經組態以在該等時槽之各者中開始運行該監督器執行緒,且使該監督器執行緒能夠接著將其中運行該監督器執行緒之該等時槽之各者個別地轉交給該等工作者執行緒之一各自者。
在實施例中,該處理器可經組態以使該監督器執行緒能夠藉由在其中運行該監督器執行緒之該時槽中執行一或多個轉交指令而執行該轉交。
在實施例中,該一或多個轉交指令係單個轉交指令。
在實施例中,該執行單元可經組態以根據定義藉由該處理器辨識之機器碼指令之類型之一指令集操作,各機器碼指令藉由一各自操作碼定義;其中該一或多個轉交指令之至少一者可為該指令集之具有在經執行時觸發該轉交之一操作碼之一專用指令。
在實施例中,在該至少一轉交指令之該操作碼中暗示經轉交之時槽係其中執行該至少一轉交指令之時槽。
在實施例中,至少包含該至少一轉交指令之該指令集之該一或多個指令可經保留以供該監督器執行緒使用且不可藉由該等工作者執行緒執行。
在實施例中,該一或多個轉交指令可將該經轉交時槽經轉交給之該工作者執行緒之一位址指定為一運算元。
在實施例中,該處理器可經組態以使該等時槽之一者已經轉交給之該工作者執行緒能夠藉由在其中運行該工作者執行緒之時槽中執行一退出指令而將其中運行該退出指令之時槽返回至該監督器執行緒。
在實施例中,該執行單元可經組態以根據定義藉由該處理器辨識之機器碼指令之類型之一指令集操作,各機器碼指令藉由一各自操作碼定義;其中該退出指令可為該指令集之具有在經執行時執行該經轉交時槽至該監督器執行緒之該返回之一操作碼之一專用指令。
在實施例中,在該退出指令之該操作碼中暗示經返回之該時槽係其中執行該退出指令之該時槽。
在實施例中,在該退出指令之該操作碼中暗示該經返回時槽所返回至之執行緒係該監督器執行緒。
在實施例中,至少包含該退出指令之該指令集之一或多個指令可經保留以供該等工作者執行緒使用且不可藉由該監督器執行緒執行。
在實施例中,該監督器執行緒可執行一屏障同步化以用於同步化該等工作者執行緒。
在實施例中,該監督器執行緒可執行與代表該等工作者執行緒之一或多者之一外部資源之通信。
在實施例中,該轉交指令可進一步將來自監督器內文暫存器組之一或多個狀態暫存器之一或多個模式複製到藉由該轉交指令啟動之工作者之對應一或多個狀態暫存器,藉此控制該工作者採用該一或多個模式。
在實施例中,該處理器可進一步經組態以執行在該等時槽之各自者中同時啟動一組一個以上工作者執行緒之一指令,所有工作者執行緒執行相同程式碼。
在實施例中,該處理器經組態以執行之指令集可進一步包含在該等時槽之各自者中同時啟動複數個工作者執行緒之多運行指令,該複數個工作者執行緒係三個或三個以上;其中該等工作者執行緒之一者包括自藉由該多運行指令之一運算元指定之一第一位址提取之程式碼,且其中該複數個工作者執行緒之其他者包括自相對於該第一位址以一步幅值之步長跨步分開之各自位址提取之程式碼,其中該步幅值係藉由該多運行指令之另一運算元指定。即,該複數個工作者執行緒之各其他者包括從自該第一位址偏移達該步幅值之各自整數倍之一位址提取之程式碼,其中該等整數倍數形成自然數序列(1、2、3、..),即,以1開始且以1為增量隔開(各時槽增加1)之正整數序列。
在實施例中,工作者執行緒之該數目可等於時槽之數目。即,多運行指令在該等時槽之各者中啟動一執行緒,各執行緒來自藉由該第一位址及該多運行指令之步幅值運算元指定之一組跨步位址之一不同各自者。
根據本文中所揭示之另一態樣,提供操作一處理器之方法,該方法包括: 使用一執行單元以在不同時槽之一重複序列之各者中執行一各自執行緒,該序列係由其中執行邏輯可操作以使該等各自執行緒之執行交錯之複數個時槽組成; 其中該處理器包括複數個內文暫存器組,各內文暫存器組包括用於表示一各自執行緒之一各自狀態之一組各自暫存器,其中該等內文暫存器組包括用於該執行單元可操作以在該序列中交錯之該數個時槽之各者之一各自工作者內文暫存器組及至少一額外內文暫存器組,使得內文暫存器組之數目比該執行單元可操作以交錯之時槽之數目至少大1,該等工作者內文暫存器組用於表示執行運算任務之各自工作者執行緒之各自狀態,且該額外內文暫存器組用於表示排程藉由該等工作者執行緒執行之任務之執行之一監督器執行緒之狀態;且 該方法進一步包括在該等時槽之各者中開始運行該監督器執行緒,且該監督器執行緒接著將其中運行該監督器執行緒之時槽之各者個別地轉交給該等工作者執行緒之一各自者。
根據本文中所揭示之另一態樣,提供一種電腦程式產品,其包括體現於電腦可讀儲存器上且經組態以執行於本文中所揭示之任何實施例之處理器上之程式碼,其中該程式碼包括監督器執行緒及工作者執行緒。
圖1繪示根據本發明之實施例之一處理器4之一實例。例如,處理器4可為一相同晶片上之類處理器微磚之一陣列之一個微磚,或可實施於其自身晶片上。處理器4包括呈一桶形執行緒處理單元之形式之一多執行緒處理單元10,及一本端記憶體11 (即,在一多微磚陣列之情況中在相同微磚上,或在一單處理器晶片之情況中在相同晶片上)。一桶形執行緒處理單元係其中管線之執行時間被劃分成交錯時槽之一重複序列(各時槽可由一給定執行緒所擁有)之多執行緒處理單元之一類型。稍後將對此進行更詳細論述。記憶體11包括一指令記憶體12及一資料記憶體22 (其等可實施於不同可定址記憶體單元或相同可定址記憶體單元之不同區域中)。指令記憶體12儲存待藉由處理單元10執行之機器碼,而資料記憶體22儲存待藉由該經執行程式碼操作之資料及(例如,作為此等操作之結果)藉由該經執行程式碼輸出之資料兩者。
記憶體12儲存一程式之各種不同執行緒,各執行緒包括用於執行一或若干特定任務之指令之一各自序列。應注意,如本文中引用之一指令意謂一機器碼指令,即,由一單個操作碼及零個或多個運算元組成之處理器之指令集之基本指令之一者之一例項。
本文中所描述之程式包括複數個工作者執行緒,及可結構化為一或多個監督器執行緒之一監督器子程式。稍後將對此等進行更詳細論述。在實施例中,一些或所有該等工作者執行緒之各者採用一各自「標碼串(codelet)」之形式。標碼串係一特定類型之執行緒,有時亦被稱為「原子」執行緒。其具有其從執行緒開始(從經啟動之時間)執行所需之所有輸入資訊,即,其在經啟動之後不會自程式之任何其他部分或自記憶體獲取任何輸入。此外,程式之其他部分不會使用執行緒之任何輸出(結果)直至該執行緒已終止(完成)。除非其遇到一錯誤,否則將保證完成。應注意,一些文獻亦將一標碼串定義為無狀態的,即,若運行兩次,則其不可自其第一次運行繼承任何資訊,但在此處不採用該額外定義。亦應注意,並非所有工作者執行緒需要為標碼串(原子),且在實施例中,一些或所有工作者可代替性地能夠彼此通信。
在處理單元10內,來自指令記憶體12之執行緒之多個不同者可透過一單個執行管線13交錯(但通常僅儲存於指令記憶體中之總執行緒之一子集可在整體程式中之任何給定點處交錯)。多執行緒處理單元10包括:複數個內文暫存器檔案26,其等各經配置以表示將同時執行之執行緒之一不同各自者之狀態(內文);一共用執行管線13,其為該等同時執行之執行緒所共有;及一排程器24,其用於排程該等並行執行緒以依一交錯方式(較佳依一循環方式)透過該共用管線執行。處理單元10連接至為複數個執行緒所共有之一共用指令記憶體12及亦為複數個執行緒所共有之一共用資料記憶體22。
執行管線13包括一提取級14、一解碼級16及一執行級18,執行級18包括可執行如藉由指令集架構定義之算術及邏輯運算、位址運算、載入及儲存操作及其他操作之一執行單元。內文暫存器檔案26之各者包括用於表示一各自執行緒之程式狀態之一組各自暫存器。
在圖2中示意性地繪示組成內文暫存器檔案26之各者之暫存器之一實例。內文暫存器檔案26之各者包括各自一或多個控制暫存器28,一或多個控制暫存器28包括用於各自執行緒之至少一程式計數器(PC) (用於追蹤當前執行執行緒之指令位址),且在實施例中亦包括記錄各自執行緒之一當前狀態(諸如該執行緒當前是否正運行或(例如)因為其遇到一錯誤而暫停)之一組一或多個狀態暫存器(SR)。內文暫存器檔案26之各者亦包括用於暫時保存藉由各自執行緒執行之指令之運算元(即,在執行時由各自執行緒之指令之操作碼定義之操作所操作或由該等操作所引起之值)之一組各自運算元暫存器(OP) 32。將瞭解,內文暫存器檔案26之各者可視需要包括各自一或多個其他類型之暫存器(未展示)。亦應注意,雖然術語「暫存器檔案」有時用於指代一共同位址空間中之一暫存器群組,然在本發明中未必如此且硬體內文26之各者(暫存器組26之各者表示各內文)可更一般地包括一或多個此等暫存器檔案。
如稍後將更詳細論述,所揭示之配置具有用於可同時執行之數目M個(在所繪示之實例中M=3,但此並不具限制性)執行緒之各者之一個工作者內文暫存器檔案CX0、… 、CX(M-1),及一個額外監督器內文暫存器檔案CXS。該等工作者內文暫存器檔案經保留以用於儲存工作者執行緒之內文,且該監督器內文暫存器檔案經保留以用於儲存一監督器執行緒之內文。應注意,在實施例中,監督器內文係專用的,因為其具有與工作者之各者不同之數目個暫存器。工作者內文之各者較佳具有彼此相同數目個狀態暫存器及運算元暫存器。在實施例中,監督器內文可具有少於工作者之各者之運算元暫存器。工作者內文可具有而監督器不具有之運算元暫存器之實例包含:浮點暫存器、累積暫存器及/或專用權重暫存器(用於保存一神經網路之權重)。在實施例中,監督器亦可具有不同數目個狀態暫存器。此外,在實施例中,處理器4之指令集架構可經組態使得工作者執行緒及(若干)監督器執行緒執行一些不同類型之指令但亦共用一些指令類型。
提取級14經連接以便在排程器24之控制下自指令記憶體12提取待執行之指令。排程器24經組態以控制提取級14在時槽之一重複序列中自一組同時執行之執行緒之各者依序提取一指令,從而將管線13之資源劃分至複數個時間上交錯之時槽中,如稍後將更詳細論述。例如,排程方案可循環或加權循環的。以此一方式操作之一處理器之另一術語係一桶形執行緒處理器。
在一些實施例中,排程器24可存取各執行緒之狀態暫存器SR之一者以指示該執行緒是否暫停,使得排程器24實際上控制提取級14以僅提取當前在作用中之該等執行緒之指令。在實施例中,較佳的是,各時槽(及對應內文暫存器檔案)始終由一執行緒或另一執行緒所擁有,即,各時槽始終由某一執行緒佔用,且各時槽始終包含於排程器24之序列中;但佔用任何給定時槽之執行緒可能恰好在該時間暫停,在此情況中在序列到達該時槽時,忽略針對各自執行緒之指令提取。替代性地,例如,不排除在替代較不佳實施方案中,一些時槽可暫時空置且自經排程序列排除。在引用執行單元可操作以交錯之時槽之數目或此類似者之情況下,此係指執行單元能夠同時執行之時槽之最大數目,即,執行單元之硬體支援之並行時槽之數目。
提取級14存取內文之各者之程式計數器(PC)。對於每一各自執行緒,提取級14自程式記憶體12中之下一位址提取該執行緒之下一指令,如藉由程式計數器指示。程式計數器遞增各執行循環,除非藉由一分支指令分支。提取級14接著將經提取指令傳遞至解碼級16以待解碼,且解碼級16接著將經解碼指令之一指示連同該指令中所指定之任何運算元暫存器32之經解碼位址一起傳遞至執行單元18,以執行該指令。執行單元18存取運算元暫存器32及控制暫存器28,其可在執行指令時基於經解碼之暫存器位址使用運算元暫存器32及控制暫存器28,諸如在一算術指令之情況中(例如,藉由使兩個運算元暫存器中之值相加、相乘、相減或相除且將結果輸出至各自執行緒之另一運算元暫存器)。或若指令定義一記憶體存取(載入或儲存),則執行單元18之載入/儲存邏輯根據該指令將來自資料記憶體之一值載入至各自執行緒之一運算元暫存器中,或將來自各自執行緒之一運算元暫存器之一值儲存至資料記憶體22中。或若指令定義一分支或一狀態改變,則執行單元相應地改變程式計數器PC或狀態暫存器SR之一者中之值。應注意,在藉由執行單元18執行一個執行緒之指令時,可藉由解碼級16解碼來自交錯序列中之下一時槽中之執行緒之一指令;及/或在藉由解碼級16解碼一個指令時,可藉由提取級14提取來自此後之下一時槽中之執行緒之指令(但一般而言,本發明之範疇並不限於每時槽一個指令,例如,在替代案例中,可每時槽自一給定執行緒發出一批兩個或兩個以上指令)。因此,根據已知桶形執行緒處理技術,交錯有利地隱藏管線13中之延時。
在圖3中繪示藉由排程器24實施之交錯方案之一實例。此處並行執行緒係根據一循環方案交錯,藉此在該方案之各遍次內,該遍次被劃分成各用於執行一各自執行緒之一時槽序列S0、S1、S2、…。通常各時槽係一個處理器循環長且不同時槽之大小係均勻的,但在所有可能實施例中不一定如此,例如,一加權循環方案亦可行,藉此一些執行緒在每執行遍次獲得比其他執行緒更多之循環。一般而言,桶形執行緒可採用一均勻循環或一加權循環排程,其中在加權循環排程情況中,加權可為固定或適應性的。
無論每執行遍次之序列如何,此型樣接著重複,各遍次包括時槽之各者之一各自例項。因此應注意,如本文中所引用之一時槽意謂序列中之重複分配位置,而非序列之一給定重複中之時槽之一特定例項。換言之,排程器24將管線13之執行循環分派至複數個時間上交錯(分時多工化)之執行通道中,其中各執行通道包括時槽之一重複序列中之一各自時槽之一復現。在所繪示之實施例中,存在四個時槽,但此僅用於闡釋性目的且其他數目亦可行。例如,在一項較佳實施例中,實際上存在六個時槽。
無論循環方案被劃分成之時槽之數目如何,根據本發明,處理單元10包括比所存在之時槽多一個之內文暫存器檔案26,即,其支援比其能夠桶形執行緒之交錯時槽之數目多一個之內文。
此係藉由實例繪示於圖2中:若如圖3中所展示存在四個時槽S0、…、S3,則存在此處標記為CX0、CX1、CX2、CX3及CXS之五個內文暫存器檔案。即,儘管在桶形執行緒方案中僅存在四個執行時槽S0、…、S3且因此僅可同時執行四個執行緒,然本文中揭示添加一第五內文暫存器檔案CXS,其包括一第五程式計數器(PC)、一第五組運算元暫存器32且在實施例中亦包括一第五組一或多個狀態暫存器(SR)。雖然應注意,如所提及在實施例中監督器內文可不同於其他內文CX0、…、CX3,且監督器執行緒可支援用於操作執行管線13之一不同指令集。
前四個內文CX0、…、CX3之各者係用於表示當前指派給四個執行時槽S0、…、S3之一者以用於執行程式設計員所需之任何特定應用運算任務之複數個「工作者執行緒」(應再次注意,此僅可為如儲存於指令記憶體12中之程式之工作者執行緒之總數目之子集)之一各自者之狀態。然而,第五內文CXS經保留以用於一特殊功能,以表示「監督器執行緒」(SV)之狀態,SV之作用係協調工作者執行緒之執行(至少在整個程式中之哪一點處指派將在時槽S0、S1、S2、…之哪一者中執行工作者執行緒W之哪一者之意義上)。視需要,監督器執行緒可具有其他「督導程式(overseer)」或協調責任。例如,監督器執行緒可負責執行屏障同步化以確保一特定執行順序。例如,在其中一或多個第二執行緒取決於待藉由運行於相同處理器模組4上之一或多個第一執行緒輸出之資料之情況下,監督器可執行一屏障同步化以確保直至第一執行緒已完成才開始第二執行緒。及/或,監督器可執行一屏障同步化以確保直至一特定外部資料源(諸如另一微磚或處理器晶片)已完成使該資料可用所需之處理才開始處理器模組4上之一或多個執行緒。監督器執行緒亦可用於執行與多個工作者執行緒有關之其他功能性。例如,監督器執行緒可負責將外部資料傳達至處理器4 (以接收待藉由該等執行緒之一或多者所作用之外部資料,及/或傳輸藉由工作者執行緒之一或多者輸出之資料)。一般而言,監督器執行緒可用於提供程式設計員所需之任何種類之督導或協調功能。例如,作為另一實例,監督器可督導微磚本端記憶體12與(陣列6外部之)更廣泛系統(諸如一儲存磁碟或網路卡)中之一或多個資源之間的傳送。
當然應注意,四個時槽僅為一實例,且通常在其他實施例中可存在其他數目,使得若每遍次存在最大M個時槽0、…M-1,則處理器4包括M+1個內文CX、…、CX(M-1) & CXS (即,一個內文用於可在任何給定時間交錯之各工作者執行緒)及用於監督器之一額外內文。例如,在一個例示性實施方案中存在六個時槽及七個內文。
參考圖4,根據本文中之教示,在經交錯執行時槽之方案中,監督器執行緒SV本身不具有其自身時槽。工作者亦不具有其自身時槽,因為可靈活定義時槽至工作者執行緒之分配。實情係,各時槽具有用於儲存工作者內文之其自身專用內文暫存器檔案(CX0、…、CXM-1),該工作者內文在時槽分配給工作者時藉由工作者使用,但在時槽分配給監督器時不使用。當一給定時槽分配給監督器時,該時槽代替性地使用監督器之內文暫存器檔案CXS。應注意,監督器始終存取其自身內文且工作者無法佔用監督器內文暫存器檔案CXS。
監督器執行緒SV具有在時槽S0、…、S3 (或更一般而言S0、…、SM-1)之任一者及所有者中運行之能力。排程器24經組態以便在程式作為一整體開始時,藉由將監督器執行緒分配給所有時槽而開始,即,因此監督器SV開始在S0、…、S3之所有者中運行。然而,監督器執行緒具有用於在某一後續時間點(立即或在執行一或多個監督器任務之後)將運行該監督器執行緒之時槽之各者暫時轉交給工作者執行緒(例如,最初在圖4中所展示之實例中之工作者W0、…、W3)之一各自者之一機制。此係藉由監督器執行緒執行一轉交指令(在本文中藉由實例被稱為「RUN」)而達成。在實施例中,此指令採用兩個運算元:指令記憶體12中之一工作者執行緒之一位址及資料記憶體22中之用於該工作者執行緒之一些資料之一位址: RUN task_addr、data_addr
工作者執行緒係可彼此同時運行之程式碼之部分,各部分表示待執行之一或多個各自運算任務。資料位址可指定待藉由工作者執行緒作用之一些資料。替代性地,轉交指令可僅採用指定工作者執行緒之位址之一單個運算元,且資料位址可包含於工作者執行緒之程式碼中;或在另一實例中,該單個運算元可指向指定工作者執行緒及資料之位址之一資料結構。如所提及,在實施例中,至少一些工作者可採用標碼串之形式,即,可同時執行之程式碼之原子單元。替代性地或此外,一些工作者不需要為標碼串且可代替性地能夠彼此通信。
轉交指令(「RUN」)作用於排程器24以便將其中執行此指令自身之當前時槽轉交給藉由運算元指定之工作者執行緒。應注意,在轉交指令中暗示正轉交其中執行此指令之時槽(在機器碼指令之內文中隱式意謂不需要一運算元來指定此,應自操作碼本身隱式地理解)。因此被分送之時槽係其中監督器執行轉交指令之時槽。或換言之,監督器在其分送之相同空間中執行。監督器說「在此位置處運行此段程式碼」,且接著自該時起由相關工作者執行緒(暫時)擁有復現時槽。
監督器執行緒SV在時槽之一或多個其他者之各者中執行一類似操作,以將一些或所有其時槽分送給工作者執行緒W0、…、W3 (選自指令記憶體12中之一較大集合W0、…、Wj)之不同各自者。一旦其針對最後時槽如此做,便中止監督器(接著稍後將在一工作者W交還時槽之一者時在其中斷之處繼續)。
監督器執行緒SV因此能夠將各執行一或多個任務之不同工作者執行緒分配給經交錯執行時槽S0、…S3之不同者。當監督器執行緒判定是時候要運行一工作者執行緒時,其使用轉交指令(「RUN」)以將此工作者分配給其中執行該RUN指令之時槽。
在一些實施例中,指令集亦包括運行指令之一變體RUNALL (「運行全部」)。此指令係用於一起啟動全部執行相同程式碼之一組一個以上工作者。在實施例中,此在處理單元之時槽S0、…、S3 (或更一般而言S0、…、S(M-1))之每一者中啟動一工作者。
作為RUNALL指令之一替代或除了RUNALL指令之外,在一些實施例中,指令集亦可包含一「多運行」指令MULTIRUN。此指令亦啟動多個工作者執行緒,各工作者執行緒在時槽之一各自者中。在較佳實施例中,其在所有時槽S0、…、S(M-1)之各者中啟動一各自工作者執行緒W (即,經啟動之工作者執行緒之總數目等於硬體工作者內文之數目M)。然而,MULTIRUN與RUNALL指令不同之處在於,多個經啟動執行緒並非皆由自相同任務位址獲取之相同程式碼組成。實情係,MULTIRUN採用至少兩個運算元:一第一、顯式任務位址;及一步幅值: MULTIRUN task_addr、stride
多個經啟動執行緒之一第一者係自藉由MULTIRUN指令之位址運算元指定之位址task_addr獲取。多個經啟動執行緒之各其他者係自等於該第一執行緒之位址加上步幅值的各自、增量整數倍之一位址獲取,該倍數為自1開始且每時槽增量1之正整數序列。換言之,經啟動工作者執行緒係相對於第一位址以步幅值之步長跨步分開。即,因此執行緒之一第二者係自一位址= task_addr +步幅獲取,執行緒之一第三者係自一位址= task_addr + 2*步幅獲取,且執行緒之一第四者係自一位址= task_addr + 3*步幅獲取(等等,取決於經啟動執行緒之數目,在實施例中該數目等於時槽S之數目)。MULTIRUN指令之執行觸發在時槽S0、…、S(M-1)之一各自者中啟動之M多個工作者之各者,各工作者以藉由如上文所指定般判定之各自位址值所定義之一程式計數器開始。
此外,在一些實施例中,RUN、RUNALL及/或MULTIRUN指令在經執行時亦將來自監督器狀態暫存器CXS (SR)之一或多者之一些狀態自動複製至藉由RUN或RUNALL啟動之(若干)工作者執行緒之對應一或多個狀態暫存器。例如,該經複製狀態可包括一或多個模式,諸如一浮點捨入模式(例如,四捨五入為最近或四捨五入為零)及/或一溢出模式(例如,飽和或使用表示無窮大之一單獨值)。經複製狀態或模式接著控制討論中之工作者以根據該經複製狀態或模式操作。在實施例中,工作者可稍後將此覆寫於其自身狀態暫存器中(但不能改變監督器之狀態)。在進一步替代或額外實施例中,工作者可選擇自監督器之一或多個狀態暫存器讀取一些狀態(且又可稍後改變其等自身狀態)。例如,又,此可採用來自監督器狀態暫存器之一模式,諸如一浮點模式或一捨入模式。然而,在實施例中,監督器無法讀取工作者之內文暫存器CX0、…之任一者。
一旦經啟動,當前分配之工作者執行緒W0、…、W3之各者進行以執行藉由各自轉交指令中所指定之程式碼中所定義之一或多個運算任務。在此結束時,各自工作者執行緒接著將其中運行該工作者執行緒之時槽交還給監督器執行緒。此係藉由執行一退出指令(「EXIT」)而達成。在一些實施例中,此不採用任何運算元: EXIT
替代性地,在其他實施例中,該EXIT指令採用一單個運算元exit_state (例如,二元值),以用於程式設計員所需之任何目的以指示在結束之後各自小標碼串之一狀態(例如,指示是否滿足一特定終止條件或已發生一錯誤): EXIT exit_state
不管怎樣,EXIT指令作用於排程器24使得其中執行該指令之時槽返回至監督器執行緒。監督器執行緒可接著執行一或多個後續監督器任務(例如,屏障同步化及/或資料之交換),及/或繼續執行另一轉交指令以將一新的工作者執行緒(W4等)分配給討論中之時槽。因此又應注意,指令記憶體12中之工作者執行緒之總數目可大於桶形執行緒處理單元10在任一時間可交錯之數目。監督器執行緒SV之作用係排程來自指令記憶體12之工作者執行緒W0、…、Wj之哪些工作者在整個程式中之哪一階段將被指派給排程器24之循環排程中之交錯時槽S0、…、SM之哪些時槽。
在實施例中,亦存在其中一工作者執行緒可將其時槽返回至監督器執行緒之另一方式。即,執行單元18包括一例外狀況機制,該例外狀況機制經組態以便在一工作者執行緒遇到一例外狀況時其可將其時槽自動返回至監督器。在此情況中,個別退出狀態可設定為一預設值或可保持不變。
此外,在實施例中,處理單元10可經組態使得指令集之一或多個指令經保留以供監督器執行緒而非工作者執行緒使用,及/或指令集之一或多個指令經保留以供工作者執行緒而非監督器執行緒使用。例如,此可在執行級18、解碼級16或提取級14中強制執行,假定轉交(RUN)及退出(EXIT)指令作用於相關級以告知其哪一類型之執行緒當前正佔用討論中之時槽。在此等情況中,監督器特定指令至少包含轉交指令,但亦可包含其他指令(諸如一或多個屏障同步化指令),若處理單元10含有用於執行屏障同步化之專用邏輯。又,工作者特定指令至少包含退出指令,但亦可包含其他指令,諸如浮點操作(其等易於出現錯誤)。
上文所描述之處理器4可用作包括處理單元10及記憶體11之一單個例項之一單個、獨立處理器。然而,替代性地,如圖5中所繪示,在一些實施例中,處理器4可為整合於相同晶片上或跨越多個晶片之一陣列6中之多個處理器之一者。在此情況中,處理器4經由一合適互連件34連接在一起以使其等能夠彼此傳達資料(包含藉由跨該陣列之不同工作者執行緒之一者、一些或所有者執行之一或多個運算之結果)。例如,處理器4可為實施於一單個晶片上之一較廣、多微磚處理器中之多個微磚之一者,各微磚包括其自身之桶形執行緒處理單元10及相關聯記憶體11 (各如上文關於圖1至圖4所描述般組態)之各自例項。為完整性,亦應注意,如本文中所引用之「陣列」並不一定暗示微磚或處理器4之任何特定數目個尺寸或實體佈局。在一些此類實施例中,監督器可負責執行微磚之間的交換。
在一些實施例中,EXIT指令被給予一進一步特殊功能,即,引起EXIT指令之運算元中所指定之退出狀態與透過相同管線13運行之複數個其他工作者執行緒之退出狀態自動彙總(藉由專用硬體邏輯),各此工作者具有如其自身之EXIT指令之例項之運算元所指定之一各自退出狀態。此可彙總該經指定之退出狀態與藉由相同處理器模組4 (即,透過一給定處理單元10之相同管線13)運行之所有工作者執行緒或一指定階段中之至少所有工作者執行緒之退出狀態彙總。在一些實施例中,可執行進一步指令以與運行於一陣列6中之一或多個其他處理器(其等可為相同晶片或甚至其他晶片上之其他微磚)上之工作者執行緒之退出狀態彙總。不管怎樣,處理器4包括特定經配置以儲存處理器4之局部彙總之退出狀態之至少一暫存器38。在實施例中,此係監督器之內文暫存器檔案CXS中之監督器之狀態暫存器之一者。當藉由各自執行緒執行各EXIT指令時,專用彙總邏輯引起EXIT指令之運算元中所指定之退出狀態促成儲存於退出狀態暫存器38中之經彙總退出狀態。在任何時候,例如,一旦所關注之所有工作者已藉助於一各自退出指令終止,監督器執行緒便可接著自退出狀態暫存器38存取退出狀態。此可包括存取其自身狀態暫存器SR。
彙總邏輯係實施於執行單元18中之專用硬體電路中。因此一額外、隱式附加功能係包含於用於終止一工作者執行緒之指令中。專用電路或硬體意謂具有一硬接線功能之電路,而非使用通用程式碼程式化於軟體中。局部彙總之退出狀態(在暫存器38中)之更新係藉由執行特殊EXIT指令之運算元而觸發,此特殊EXIT指令係處理器4之指令集中之基本機器碼指令之一者,具有彙總退出狀態之固有功能性。又,局部彙總之退出狀態係儲存於一暫存器38中,暫存器38意謂其之值可藉由運行於管線上之程式碼存取之一專用儲存件(在實施例中一單個儲存位元)。較佳地,退出狀態暫存器38形成監督器之狀態暫存器之一者。
作為一實例,個別執行緒之退出狀態及經彙總退出狀態各採用一單位元(即,0或1)之形式,且彙總邏輯可經組態以採用個別工作者退出狀態之一邏輯AND。此意謂任何輸入為0導致一彙總0,但若所有輸入係1,則彙總係1。即,若1係用於表示一真或成功結果,此意謂若工作者執行緒之任一者之局部退出狀態之任一者係假或不成功,則整體經彙總退出狀態亦將為假或表示一不成功結果。例如,此可用於判定工作者是否已全部滿足一終止條件。因此,監督器子程式可查詢一單個暫存器(在實施例中,一單位元)以詢問「是否出錯?是或否?」,而非必須檢查各個別微磚上之個別工作者執行緒之個別狀態。實際上,在實施例中,監督器無法在任意點查詢一工作者且並不存取工作者之狀態,從而使退出狀態暫存器38成為判定一工作者執行緒之結果之唯一方式。監督器不知道哪一內文暫存器檔案對應於哪一工作者執行緒,且在工作者EXIT之後,工作者狀態消失。使監督器判定一工作者執行緒之一輸出之唯一其他方法將為使該工作者在通用資料記憶體22中留下一訊息。
上文邏輯之一等效物將係用一OR閘取代AND且反轉退出狀態0及1在軟體中之解譯,即,0→真,1→假。等效地,若用OR閘取代AND閘但不反轉退出狀態之解譯,亦不反轉重設值,則$GC中之經彙總狀態將記錄任何(而非所有)微磚是否以狀態1退出。在其他實例中,退出狀態不需要為單位元。例如,各個別工作者之退出狀態可為一單位元,但經彙總退出狀態可包括表示如下之一三元狀態之兩個位元:所有工作者以狀態1退出,所有工作者以狀態0退出,或工作者之退出狀態係混合的。作為用於實施此之邏輯之一實例,編碼該三元值之該兩個位元之一者可為個別退出狀態之一布林AND,且三元值之另一位元可為個別退出狀態之一布林OR。指示工作者之退出狀態係混合之第三經編碼情況可接著形成為此兩個位元之XOR。
退出狀態可用於表示程式設計員想要之任何內容,但一個特別設想之實例係使用一退出狀態1以指示各自工作者執行緒已在一「成功」或「真」狀態中退出,而一退出狀態0指示各自工作者執行緒在一「不成功」或「假」狀態中退出(或若彙總電路執行一OR而非一AND且暫存器$LC 38最初重設至0,則反之亦然)。例如,考量其中各工作者執行緒執行具有一相關聯條件(諸如指示一機器智慧演算法之圖表中之一各自節點之一或多個參數中之(若干)錯誤是否落在根據一預定度量之一可接受位準內之一條件)之一運算之一應用。在此情況中,一邏輯位準(例如,1)之一個別退出狀態可用於指示滿足條件(例如,節點之一或多個參數中之錯誤或若干錯誤係在根據某一度量之一可接受位準內);而相反邏輯位準(例如,0)之一個別退出狀態可用於指示未滿足條件(例如,錯誤或若干錯誤不在根據討論中之度量之一可接受位準內)。例如,條件可為放置於一單個參數或各參數上之一錯誤臨限值,或可為與藉由工作者執行緒執行之各自運算相關聯之複數個參數之一更複雜函數。
作為另一更複雜實例,工作者之個別退出狀態及經彙總退出狀態可各包括可用於(例如)表示工作者執行緒之結果中之一置信度之兩個或兩個以上位元。例如,各個別工作者執行緒之退出狀態可表示在該各自工作者執行緒之一結果中之置信度之一概率量測,且彙總邏輯可用用於執行硬體中之個別置信度位準之一概率彙總之更複雜電路取代。
無論程式設計員賦予退出狀態之含義為何,監督器執行緒SV可接著自退出狀態暫存器38存取經彙總值以判定自上次重設起(例如,在最後同步化點)退出之所有工作者執行緒之經彙總退出狀態,例如,以判定是否所有工作者在一成功或真狀態中退出。取決於此經彙總值,監督器執行緒可接著根據程式設計員之設計作出一決策。程式設計員可選擇任意使用他或她想要之局部彙總之退出狀態,例如以判定是否提出一例外狀況或執行取決於經彙總退出狀態之一分支決策。例如,監督器執行緒可咨詢局部彙總之退出狀態以便判定由複數個工作者執行緒組成之程式之一特定部分是否已如預期或視需要完成。若否(例如,工作者執行緒之至少一者在一不成功或假狀態中退出),則可向一主機處理器報告,或可執行包括相同工作者執行緒之程式之部分之另一反覆;但若是(例如,所有工作者執行緒在一成功或真狀態中退出),則可代替性地分支至包括一或多個新工作者之程式之另一部分。
較佳地,監督器子程式不應存取退出狀態暫存器38中之值直至討論中之所有工作者執行緒已退出,使得儲存於局部共識暫存器($LC) 38中之值表示全部所要執行緒之正確、最新彙總狀態。等待此可藉由憑藉監督器執行緒執行之一屏障同步化強制執行以等待所有當前運行之局部工作者執行緒(即,相同處理器模組4上之透過相同管線13運行之局部工作者執行緒)退出。即,監督器執行緒重設退出狀態暫存器38,啟動複數個工作者執行緒,且接著在容許監督器繼續進行以自退出狀態暫存器38獲取經彙總退出狀態之前起始一屏障同步化以便等待所有未處理工作者執行緒退出。
圖6繪示本文中所揭示之處理器架構之一例示性應用,即,機器智慧之一應用。
如熟習機器智慧技術者將熟知,機器智慧以其中機器智慧演算法學習一知識模型之一學習階段開始。該模型包括互連節點(即,頂點) 102及邊緣(即,鏈路) 104之一圖表。該圖表中之各節點102具有一或多個輸入邊緣及一或多個輸出邊緣。一些節點102之一些輸入邊緣係一些其他節點之輸出邊緣,藉此將該等節點連接在一起以形成圖表。此外,節點102之一或多者之輸入邊緣之一或多者作為一整體形成圖表之輸入,且節點102之一或多者之輸出邊緣之一或多者作為一整體形成圖表之輸出。有時一給定節點可甚至具有以下所有此等:圖表之輸入、來自圖表之輸出及至其他節點之連接。各邊緣104傳送一值或更通常一張量(n維矩陣),此等形成分別在節點102之輸入及輸出邊緣上提供至節點102及自節點102提供之輸入及輸出。
各節點102表示如在其(若干)輸入邊緣上接收之其一或多個輸入之一函數,其中此函數之結果係提供於(若干)輸出邊緣上之(若干)輸出。各函數係藉由一或多個各自參數(有時被稱為權重,但其等不一定為乘法權重)參數化。一般而言,藉由不同節點102表示之函數可為不同形式之函數及/或可藉由不同參數參數化。
此外,各節點之函數之一或多個參數之各者藉由一各自錯誤值特性化。此外,一各自條件可與各節點102之該(等)參數中之該(等)錯誤相關聯。對於表示藉由一單個參數參數化之一函數之一節點102,該條件可為一簡單臨限值,即,若錯誤在該指定臨限值內則滿足條件,但若錯誤超出該臨限值則不滿足條件。對於藉由一個以上各自參數參數化之一節點102,節點102已達到一可接受錯誤位準之條件可更複雜。例如,僅在該節點102之參數之各者落在各自臨限值內時可滿足條件。作為另一實例,可定義組合用於相同節點102之不同參數中之錯誤之一組合度量,且在該組合度量之值落在一指定臨限值內之條件下可滿足條件,但在其他方面若該組合度量之值超出該臨限值,則不滿足條件(或反之亦然,取決於該度量之定義)。無論條件如何,此給予節點之(若干)參數中之錯誤是否降至低於一特定可接受位準或度之一度量。一般而言,可使用任何合適度量。條件或度量針對所有節點可相同,或針對節點之不同各自者可不同。
在學習階段中,演算法接收經驗資料,即,表示圖表之輸入之不同可能組合之多個資料點。隨著接收愈來愈多之經驗資料,演算法基於經驗資料逐步調諧圖表中之各種節點102之參數以便試圖最小化參數中之錯誤。目標係找出參數之值使得圖表之輸出儘可能接近用於一給定輸入之一所要輸出。在圖表作為一整體傾向於此一狀態時,圖表被稱作收斂。在一合適收斂度之後,圖表可接著用於執行預測或或推斷,即,預測某一給定輸入之一結果或推斷某一給定輸出之一原因。
學習階段可採用許多不同可能形式。例如,在一監督方法中,輸入經驗資料採用訓練資料(即,對應於已知輸出之輸入)之形式。運用各資料點,演算法可調諧參數使得輸出緊密匹配用於給定輸入之已知輸出。在後續預測階段中,圖表可接著用於將一輸入查詢映射至一近似經預測輸出(或若進行一推斷則反之亦然)。其他方法亦係可行的。例如,在一非監督方法中,每輸入基準不存在一參考結果之概念,且代替性地由機器智慧演算法來識別輸出資料中之其自身結構。或在一強化方法中,演算法針對輸入經驗資料中之各資料點嘗試至少一個可能輸出,且被告知此輸出是否為正或負(及可能其為正或負之一程度),例如,贏或輸、或獎勵或懲罰,或此類似者。在多次試驗中,演算法可逐步調諧圖表之參數以能夠預測將導致一正結果之輸入。熟習機器學習技術者將知道用於學習一圖表之各種方法及演算法。
根據本文中所揭示之技術之一例示性應用,各工作者執行緒經程式化以執行與一機器智慧圖表中之節點102之一各自個別者相關聯之運算。在此情況中,節點102之間的至少一些邊緣104對應於執行緒之間的資料交換,且一些邊緣104可涉及微磚之間的交換。此外,工作者執行緒之個別退出狀態係由程式設計員用於表示各自節點102是否已滿足其用於收斂該節點之(若干)參數之各自條件,即,是否具有落在錯誤空間中之可接受位準或區域內之(若干)參數中之錯誤。例如,此係實施例之一個例示性使用,其中個別退出狀態之各者係一個別位元且經彙總退出狀態係該等個別退出狀態之一AND (或等效地若將0視為正,則為一OR);或其中經彙總退出狀態係表示個別退出狀態是否全部真、全部假或混合之一個三元值。因此,藉由檢查退出狀態暫存器38中之一單個暫存器值,程式可判定圖表整體或圖表之至少一子區域是否已收斂於一可接受程度。
作為此之另一變體,可使用其中彙總採用個別置信度值之一統計彙總之形式之實施例。在此情況中,各個別退出狀態表示藉由各自執行緒表示之節點之參數已達到一可接受錯誤程度之一置信度(例如,作為一百分比)。經彙總退出狀態可接著用於判定關於圖表或圖表之一子區域是否已收斂於一可接受程度之一整體置信度。
在一多微磚配置6之情況中,各微磚運行圖表之一子圖表。各子圖表包括一監督器子程式,該監督器子程式包括一或多個監督器執行緒及其中一些或所有工作者可採用標碼串之形式之一組工作者執行緒。
在此等應用,或實際上其中各工作者執行緒用於表示一圖表中之一各自節點之任何基於圖表之應用中,各工作者所包括之「標碼串」可定義為在持久狀態及一個頂點之輸入及/或輸出上操作之一軟體程序,其中標碼串: · 在一個工作者執行緒暫存器內文上啟動,以藉由執行一「運行」指令之監督器執行緒而在一桶形時槽中運行; · 運行以在無需與其他標碼串或監督器通信之情況下完成(惟在標碼串退出時返回至監督器除外); · 經由藉由該「運行」指令提供之一記憶體指標存取一頂點之持久狀態,及存取記憶體中為該桶形時槽私有之一非持久性工作區;及 · 執行「EXIT」作為其最後指令,因此將其使用之桶形時槽返回至監督器,且將藉由該退出指令指定之退出狀態與監督器可見之微磚之局部退出狀態彙總。
更新一圖表(或子圖表)意謂以與由邊緣定義之因果關係一致之任何順序更新各構成頂點一次。更新一頂點意謂在頂點狀態上運行一標碼串。一標碼串係用於頂點之一更新程序,一個標碼串通常與許多頂點相關聯。監督器每頂點執行一個RUN指令,各此指令指定一頂點狀態位址及一標碼串位址。
將瞭解,僅藉由實例描述上文實施例。
例如,本發明之適用性並不限於關於圖2及圖3所概述之特定處理器架構,且一般而言本文中所揭示之概念可藉由添加比可能存在之時槽至少多一個之內文而應用於具有複數個執行時槽之任何處理器架構。
亦應注意,不排除可出於其他目的包含超過時槽之數目之又進一步內文。例如,一些處理器包含除錯內文,該除錯內文從未表示一實際運行執行緒,但藉由一執行緒在其遇到一錯誤時使用以儲存稍後將藉由程式開發者分析以用於除錯目的之錯誤執行緒之程式狀態。
此外,監督器執行緒之角色並不僅限於屏障同步化及/或在執行緒之間交換資料,且在其他實施例中,其可代替性地或另外負責涉及工作者執行緒之兩者或兩者以上之可見性之任何其他功能性。例如,在其中程式包括一圖表之多個反覆之實施例中,監督器執行緒可負責判定執行該圖表之反覆之數目,此可取決於一先前反覆之一結果。
鑑於本文中之揭示內容,熟習此項技術者可明白所揭示技術之其他變體或應用。本發明之範疇並不受限於上文所論述之例示性實施例而僅受限於隨附發明申請專利範圍。
4‧‧‧處理器/處理器模組 6‧‧‧陣列 10‧‧‧多執行緒處理單元/處理單元/桶形執行緒處理單元 11‧‧‧本端記憶體/記憶體 12‧‧‧指令記憶體/記憶體/共用指令記憶體/程式記憶體 13‧‧‧執行管線/管線 14‧‧‧提取級 16‧‧‧解碼級 18‧‧‧執行級/執行單元 22‧‧‧資料記憶體/共用資料記憶體/通用資料記憶體 24‧‧‧排程器 26‧‧‧內文暫存器檔案/硬體內文/暫存器組 28‧‧‧控制暫存器 32‧‧‧運算元暫存器(OP) 34‧‧‧互連件 38‧‧‧暫存器/退出狀態暫存器/暫存器$LC 102‧‧‧互連節點/節點 104‧‧‧邊緣 CX0至CX3‧‧‧工作者內文暫存器檔案 CXS‧‧‧監督器內文暫存器檔案
為幫助理解本發明及展示可如何實施實施例,藉由實例參考隨附圖式,其中: 圖1係多執行緒處理器之一示意性方塊圖, 圖2係複數個執行緒內文之一示意性方塊圖, 圖3示意性地繪示交錯時槽之一方案, 圖4示意性地繪示在複數個交錯時槽中運行之一監督器執行緒及複數個工作者執行緒, 圖5係包括一構成處理器陣列之一處理器之一示意性方塊圖,及 圖6係一機器智慧演算法中所使用之一圖表之一示意性圖解。

Claims (20)

  1. 一種處理器,其包括: 一執行單元,其經配置以在不同時槽之一重複序列之各者中執行一各自執行緒,該序列係由其中執行邏輯可操作以使該等各自執行緒之執行交錯之複數個時槽組成;及 複數個內文暫存器組,其等各包括用於表示一各自執行緒之一各自狀態之一組各自暫存器,其中該等內文暫存器組包括用於該執行單元可操作以在該序列中交錯之該數個時槽之各者之一各自工作者內文暫存器組及至少一額外內文暫存器組,使得內文暫存器組之數目比該執行單元可操作以交錯之時槽之數目至少大1,該等工作者內文暫存器組經配置以表示執行運算任務之各自工作者執行緒之該等各自狀態,且該額外內文暫存器組經配置以表示排程藉由該等工作者執行緒執行之該等任務之執行之一監督器執行緒之狀態; 其中該處理器經組態以在該等時槽之各者中開始運行該監督器執行緒,且使該監督器執行緒能夠接著將其中運行該監督器執行緒之該等時槽之各者個別地轉交給該等工作者執行緒之一各自者。
  2. 如請求項1之處理器,其中該處理器經組態以使該監督器執行緒能夠藉由在其中運行該監督器執行緒之該時槽中執行一或多個轉交指令而執行該轉交。
  3. 如請求項2之處理器,其中該一或多個轉交指令係一單個轉交指令。
  4. 如請求項2或3之處理器,其中該執行單元經組態以根據定義藉由該處理器辨識之機器碼指令之類型之一指令集操作,各機器碼指令藉由一各自操作碼定義;且其中該一或多個轉交指令之至少一者係該指令集之具有在經執行時觸發該轉交之一操作碼之一專用指令。
  5. 如請求項4之處理器,其中在該至少一轉交指令之該操作碼中暗示經轉交之該時槽係其中執行該至少一轉交指令之該時槽。
  6. 如請求項4之處理器,其中至少包含該一或多個轉交指令之該指令集之一或多個指令經保留以供該監督器執行緒使用且不可藉由該等工作者執行緒執行。
  7. 如請求項1、2或3之處理器,其中該一或多個轉交指令將該經轉交時槽經轉交給之該工作者執行緒之一位址指定為一運算元。
  8. 如請求項1、2或3之處理器,其中該處理器經組態以使該等時槽之一者已經轉交給之該工作者執行緒能夠藉由在其中運行該工作者執行緒之該時槽中執行一退出指令而將其中運行該退出指令之該時槽返回至該監督器執行緒。
  9. 如請求項1、2或3之處理器,其中該執行單元經組態以根據定義藉由該處理器辨識之機器碼指令之類型之一指令集操作,各機器碼指令藉由一各自操作碼定義;且其中該退出指令係該指令集之具有在經執行時執行該經轉交時槽回至該監督器執行緒之該返回之一操作碼之一專用指令。
  10. 如請求項9之處理器,其中在該退出指令之該操作碼中暗示經返回之該時槽係其中執行該退出指令之該時槽。
  11. 如請求項9之處理器,其中在該退出指令之該操作碼中暗示該經返回時槽所返回至之該執行緒係該監督器執行緒。
  12. 如請求項8之處理器,其中至少包含該退出指令之該指令集之一或多個指令經保留以供該等工作者執行緒使用且不可藉由該監督器執行緒執行。
  13. 如請求項1、2或3之處理器,其中該監督器執行緒經組態以執行一屏障同步化以用於同步化該等工作者執行緒。
  14. 如請求項1、2或3之處理器,其中該監督器執行緒經組態以執行與代表該等工作者執行緒之一或多者之一外部資源之通信。
  15. 如請求項2或3之處理器,其中該轉交指令進一步將來自監督器內文暫存器組之一或多個狀態暫存器之一或多個模式複製到藉由該轉交指令啟動之工作者之對應一或多個狀態暫存器,藉此控制該工作者採用該一或多個模式。
  16. 如請求項1、2或3之處理器,其中該處理器進一步經組態以執行在該等時槽之各自者中同時啟動一組一個以上工作者執行緒之一指令,所有該等工作者執行緒執行相同程式碼。
  17. 如請求項4之處理器,其中該處理器經組態以執行之該指令集進一步包含在該等時槽之各自者中同時啟動複數個工作者執行緒之一多運行指令,該複數個工作者執行緒係三個或三個以上;其中該等工作者執行緒之一者包括自藉由該多運行指令之一運算元指定之一第一位址提取之程式碼,且其中該複數個工作者執行緒之其他者包括自相對於該第一位址以一步幅值之步長跨步分開之各自位址提取之程式碼,其中該步幅值係藉由該多運行指令之另一運算元指定。
  18. 如請求項17之處理器,其中工作者執行緒之該數目等於時槽之該數目。
  19. 一種操作一處理器之方法,該方法包括: 使用一執行單元以在不同時槽之一重複序列之各者中執行一各自執行緒,該序列係由其中執行邏輯可操作以使該等各自執行緒之執行交錯之複數個時槽組成; 其中該處理器包括複數個內文暫存器組,各內文暫存器組包括用於表示一各自執行緒之一各自狀態之一組各自暫存器,其中該等內文暫存器組包括用於該執行單元可操作以在該序列中交錯之該數個時槽之各者之一各自工作者內文暫存器組及至少一額外內文暫存器組,使得內文暫存器組之數目比該執行單元可操作以交錯之時槽之數目至少大1,該等工作者內文暫存器組用於表示執行運算任務之各自工作者執行緒之該等各自狀態,且該額外內文暫存器組用於表示排程藉由該等工作者執行緒執行之該等任務之執行之一監督器執行緒之狀態;且 該方法進一步包括在該等時槽之各者中開始運行該監督器執行緒,且該監督器執行緒接著將其中運行該監督器執行緒之該等時槽之各者個別地轉交給該等工作者執行緒之一各自者。
  20. 一種電腦程式產品,其包括體現於電腦可讀儲存器上且經組態以執行於如請求項1至18中任一項之處理器上之程式碼,其中該程式碼包括該監督器執行緒及該等工作者執行緒。
TW107137040A 2017-10-20 2018-10-19 在多執行緒處理器中之排程任務 TWI687866B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
GB1717303.0 2017-10-20
GBGB1717303.0A GB201717303D0 (en) 2017-10-20 2017-10-20 Scheduling tasks in a multi-threaded processor
??1717303.0 2017-10-20
US15/885,925 US10956165B2 (en) 2017-10-20 2018-02-01 Scheduling tasks in a multi-threaded processor
US15/885,925 2018-02-01
GB1816891.4A GB2569843B (en) 2017-10-20 2018-10-17 Scheduling tasks in a multi-threaded processor
GB1816891.4 2018-10-17
??1816891.4 2018-10-17

Publications (2)

Publication Number Publication Date
TW201923561A TW201923561A (zh) 2019-06-16
TWI687866B true TWI687866B (zh) 2020-03-11

Family

ID=60481909

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107137040A TWI687866B (zh) 2017-10-20 2018-10-19 在多執行緒處理器中之排程任務

Country Status (8)

Country Link
US (2) US10956165B2 (zh)
JP (1) JP6660991B2 (zh)
KR (1) KR102159730B1 (zh)
CN (1) CN109697111B (zh)
CA (1) CA3021447C (zh)
FR (1) FR3072798B1 (zh)
GB (2) GB201717303D0 (zh)
TW (1) TWI687866B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201819616D0 (en) * 2018-11-30 2019-01-16 Graphcore Ltd Virtualised gateways
GB2580316B (en) * 2018-12-27 2021-02-24 Graphcore Ltd Instruction cache in a multi-threaded processor
US10943323B2 (en) * 2018-12-28 2021-03-09 Arm Limited Data processing systems
GB201904265D0 (en) 2019-03-27 2019-05-08 Graphcore Ltd A partitionable networked computer
GB201904266D0 (en) 2019-03-27 2019-05-08 Graphcore Ltd A networked computer with embedded rings
GB201904267D0 (en) 2019-03-27 2019-05-08 Graphcore Ltd A networked computer with multiple embedded rings
GB201904263D0 (en) 2019-03-27 2019-05-08 Graphcore Ltd A networked computer
CN112084122B (zh) * 2019-09-30 2021-09-28 成都海光微电子技术有限公司 计算机存储器中对区域预取器的置信度和侵略性控制
US11327690B2 (en) * 2019-11-13 2022-05-10 Google Llc Enhanced input of machine-learning accelerator activations
KR20220003621A (ko) 2020-03-26 2022-01-10 그래프코어 리미티드 2개의 내장된 링을 구비한 네트워크 컴퓨터
GB2596872B (en) * 2020-07-10 2022-12-14 Graphcore Ltd Handling injected instructions in a processor
GB2597078B (en) * 2020-07-14 2022-07-13 Graphcore Ltd Communication between host and accelerator over network
CN112463327B (zh) * 2020-11-25 2023-01-31 海光信息技术股份有限公司 逻辑线程快速切换的方法、装置、cpu芯片及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6085215A (en) * 1993-03-26 2000-07-04 Cabletron Systems, Inc. Scheduling mechanism using predetermined limited execution time processing threads in a communication network
US20060146864A1 (en) * 2004-12-30 2006-07-06 Rosenbluth Mark B Flexible use of compute allocation in a multi-threaded compute engines
TW200842757A (en) * 2007-02-21 2008-11-01 Qualcomm Inc On-demand multi-thread multimedia processor
TWI566174B (zh) * 2012-05-01 2017-01-11 瑞薩電子股份有限公司 半導體裝置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233599B1 (en) 1997-07-10 2001-05-15 International Business Machines Corporation Apparatus and method for retrofitting multi-threaded operations on a computer by partitioning and overlapping registers
US6986141B1 (en) * 1998-03-10 2006-01-10 Agere Systems Inc. Context controller having instruction-based time slice task switching capability and processor employing the same
US6401155B1 (en) * 1998-12-22 2002-06-04 Philips Electronics North America Corporation Interrupt/software-controlled thread processing
US6957432B2 (en) 2000-03-21 2005-10-18 Microsoft Corporation Real-time scheduler
EP1317832B1 (en) * 2000-07-31 2016-12-14 Intel Deutschland GmbH Method and apparatus for time-sliced and multi-threaded data processing in a communication system
US20030126416A1 (en) * 2001-12-31 2003-07-03 Marr Deborah T. Suspending execution of a thread in a multi-threaded processor
CN1842770A (zh) * 2003-08-28 2006-10-04 美普思科技有限公司 一种在处理器中挂起和释放执行过程中计算线程的整体机制
US8099110B2 (en) 2004-07-29 2012-01-17 Samsung Electronics Co., Ltd. Apparatus and method for efficient determination of mobile station location in a wireless network
US7203822B2 (en) 2004-07-31 2007-04-10 Hewlett-Packard Development Company, L.P. Unprivileged context management
US7810083B2 (en) 2004-12-30 2010-10-05 Intel Corporation Mechanism to emulate user-level multithreading on an OS-sequestered sequencer
CN101051266A (zh) * 2005-03-02 2007-10-10 英特尔公司 具有虚拟多线程的处理器
US8195922B2 (en) * 2005-03-18 2012-06-05 Marvell World Trade, Ltd. System for dynamically allocating processing time to multiple threads
US7743233B2 (en) 2005-04-05 2010-06-22 Intel Corporation Sequencer address management
US7849466B2 (en) 2005-07-12 2010-12-07 Qualcomm Incorporated Controlling execution mode of program threads by applying a mask to a control register in a multi-threaded processor
US7958333B2 (en) * 2007-05-30 2011-06-07 XMOS Ltd. Processor with memory access stage adapted to fetch an instruction of a thread when no memory access operation is detected
US20090260013A1 (en) * 2008-04-14 2009-10-15 International Business Machines Corporation Computer Processors With Plural, Pipelined Hardware Threads Of Execution
JP2010176403A (ja) * 2009-01-29 2010-08-12 Toyota Motor Corp マルチスレッドプロセッサ装置
US8214831B2 (en) * 2009-05-05 2012-07-03 International Business Machines Corporation Runtime dependence-aware scheduling using assist thread
GB2489708B (en) 2011-04-05 2020-04-15 Advanced Risc Mach Ltd Thread selection for multithreaded processing
US20150205614A1 (en) 2012-03-21 2015-07-23 Mika Lähteenmäki Method in a processor, an apparatus and a computer program product
JP2014153860A (ja) 2013-02-07 2014-08-25 Renesas Electronics Corp マルチスレッドプロセッサ
US20150074353A1 (en) * 2013-09-06 2015-03-12 Futurewei Technologies, Inc. System and Method for an Asynchronous Processor with Multiple Threading
US9558000B2 (en) * 2014-02-06 2017-01-31 Optimum Semiconductor Technologies, Inc. Multithreading using an ordered list of hardware contexts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6085215A (en) * 1993-03-26 2000-07-04 Cabletron Systems, Inc. Scheduling mechanism using predetermined limited execution time processing threads in a communication network
US20060146864A1 (en) * 2004-12-30 2006-07-06 Rosenbluth Mark B Flexible use of compute allocation in a multi-threaded compute engines
TW200842757A (en) * 2007-02-21 2008-11-01 Qualcomm Inc On-demand multi-thread multimedia processor
TWI566174B (zh) * 2012-05-01 2017-01-11 瑞薩電子股份有限公司 半導體裝置

Also Published As

Publication number Publication date
GB2569843B (en) 2020-06-10
CA3021447A1 (en) 2019-04-20
JP6660991B2 (ja) 2020-03-11
FR3072798B1 (fr) 2021-04-30
FR3072798A1 (fr) 2019-04-26
CA3021447C (en) 2021-12-14
CN109697111B (zh) 2023-05-02
GB2569843A (en) 2019-07-03
US10956165B2 (en) 2021-03-23
KR102159730B1 (ko) 2020-09-24
TW201923561A (zh) 2019-06-16
US11550591B2 (en) 2023-01-10
CN109697111A (zh) 2019-04-30
KR20190044551A (ko) 2019-04-30
JP2019079530A (ja) 2019-05-23
GB201717303D0 (en) 2017-12-06
GB201816891D0 (en) 2018-11-28
US20190121668A1 (en) 2019-04-25
US20210165660A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
TWI687866B (zh) 在多執行緒處理器中之排程任務
US11113060B2 (en) Combining states of multiple threads in a multi threaded processor
CN110214317B (zh) 多瓦片处理布置中的同步
US11893390B2 (en) Method of debugging a processor that executes vertices of an application, each vertex being assigned to a programming thread of the processor
US10606641B2 (en) Scheduling tasks in a multi-threaded processor
US11645081B2 (en) Handling exceptions in a multi-tile processing arrangement
US11449338B2 (en) Handling exceptions in a multi-tile processing arrangement
CN111381883B (zh) 多线程处理器中的指令高速缓存
GB2583574A (en) Handling exceptions in a multi-tile processing arrangement