KR20160033768A - 캐시 점유도 결정 및 명령어 스케줄링을 위한 방법 및 장치 - Google Patents

캐시 점유도 결정 및 명령어 스케줄링을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160033768A
KR20160033768A KR1020167004467A KR20167004467A KR20160033768A KR 20160033768 A KR20160033768 A KR 20160033768A KR 1020167004467 A KR1020167004467 A KR 1020167004467A KR 20167004467 A KR20167004467 A KR 20167004467A KR 20160033768 A KR20160033768 A KR 20160033768A
Authority
KR
South Korea
Prior art keywords
cache
data
stored
subsequent operations
processor
Prior art date
Application number
KR1020167004467A
Other languages
English (en)
Other versions
KR101804908B1 (ko
Inventor
아얄 작스
로버트 발렌틴
아리에 나르키스
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160033768A publication Critical patent/KR20160033768A/ko
Application granted granted Critical
Publication of KR101804908B1 publication Critical patent/KR101804908B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0842—Multiuser, multiprocessor or multiprocessing cache systems for multiprocessing or multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0844—Multiple simultaneous or quasi-simultaneous cache accessing
    • G06F12/0855—Overlapped cache accessing, e.g. pipeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0875—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with dedicated cache, e.g. instruction or stack
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30047—Prefetch instructions; cache control instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3824—Operand accessing
    • G06F9/383—Operand prefetching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0888—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using selective caching, e.g. bypass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/50—Control mechanisms for virtual memory, cache or TLB
    • G06F2212/502—Control mechanisms for virtual memory, cache or TLB using adaptive policy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Advance Control (AREA)
  • Executing Machine-Instructions (AREA)

Abstract

하나 이상의 연산에 필요한 데이터가 캐시에 저장되어 있는지 여부를 결정하고, 이러한 결정에 기초하여 실행할 연산들을 스케줄링하기 위한 장치 및 방법이 기재되어 있다. 예를 들어, 프로세서의 일 실시예는, 레벨 1(L1) 캐시를 적어도 포함하는, 데이터를 캐싱하기 위한 캐시 레벨들의 계층구조; 하나 이상의 후속 연산과 연관된 데이터가 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하기 위한 캐시 점유도 결정 로직; 및 후속 연산들과 연관된 데이터가 캐시 레벨들에 저장되어 있는지 여부의 결정에 기초하여, 후속 연산들의 실행을 스케줄링하기 위한 스케줄링 로직을 포함한다.

Description

캐시 점유도 결정 및 명령어 스케줄링을 위한 방법 및 장치{METHOD AND APPARATUS FOR CACHE OCCUPANCY DETERMINATION AND INSTRUCTION SCHEDULING}
본 발명은 일반적으로 컴퓨터 프로세서 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 캐시 점유도 결정 및 명령어 스케줄링을 위한 장치 및 방법에 관한 것이다.
데이터 캐시 부적중(data cache misses)은 프로그램 코드의 비효율적인 실행을 초래하는데, 그 이유는 연산을 실행하는데 필요한 데이터가 캐시에 저장되어 있지 않은 경우, 메모리로부터 데이터를 검색하기 위해서 상당량의 시간(예를 들어, 마이크로프로세서 사이클들)이 소비되어야 하기 때문이다. 이러한 문제점에 대한 이전의 하나의 해결책은, 명시적인 아키텍처 지원이 제공되어, 필요할 데이터를 예상하고 그 데이터를 캐시에 프리페칭하는 데이터 프리페칭이다. 다른 해결책은, 임의의 특별 아키텍처 지원이나 상호작용을 이용하지 않고, 메모리에서 데이터 구조들의 레이아웃을 최적화하는 방법을 결정하는 캐시-불확정 및 캐시-인식 알고리즘들(cache-oblivious and cache-aware algorithms)을 이용하는 것이다.
다음의 도면들과 함께 다음의 상세한 설명으로부터 본 발명의 양호한 이해가 획득될 수 있다.
도 1a는 본 발명의 실시예들에 따른 예시적인 순차 파이프라인 및 예시적인 레지스터 리네이밍, 비순차 발행/실행 파이프라인(register renaming, out-of-order issue/execution pipeline)의 양쪽 모두를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들에 따른 프로세서에 포함될 순차 아키텍처 코어의 예시적인 실시예 및 예시적인 레지스터 리네이밍, 비순차 발행/실행 아키텍처 코어의 양쪽 모두를 도시하는 블록도이다.
도 2는 본 발명의 실시예들에 따른 통합된 메모리 제어기 및 그래픽스(graphics)를 구비한 단일 코어 프로세서 및 멀티 코어 프로세서의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 시스템의 블록도를 도시한다.
도 4는 본 발명의 실시예에 따른 제2 시스템의 블록도를 도시한다.
도 5는 본 발명의 실시예에 따른 제3 시스템의 블록도를 도시한다.
도 6은 본 발명의 실시예에 따른 시스템 온 칩(SoC: system on a chip)의 블록도를 도시한다.
도 7은 본 발명의 실시예들에 따른 소스 명령어 세트에서의 바이너리 명령어들을 타깃 명령어 세트에서의 바이너리 명령어들로 변환하기 위한 소프트웨어 명령어 변환기의 이용을 대조하는 블록도를 도시한다.
도 8은 캐시 점유도를 결정하기 위한 로직을 갖는 아키텍처의 일 실시예를 도시한다.
도 9는 캐시 점유도를 결정하고 이러한 결정에 기초하여 후속 연산들을 실행하기 위한 방법의 일 실시예를 도시한다.
도 10은 캐시 점유도를 결정하고 이러한 결정에 기초하여 작업 큐로부터의 작업 항목들을 실행하기 위한 방법의 일 실시예를 도시한다.
다음의 설명에서, 설명을 목적으로, 후술되는 본 발명의 실시예들의 철저한 이해를 제공하기 위해서 다수의 특정 상세가 제시된다. 그러나, 본 발명의 실시예들이 이들 특정 상세의 일부 없이 실시될 수 있다는 것은 관련 기술분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 본 발명의 실시예들의 기반 원리들을 모호하게 하는 것을 회피하기 위해서 잘 알려진 구조들 및 디바이스들은 블록도 형태로 도시된다.
예시적인 프로세서 아키텍처들 및 데이터 타입들
도 1a는 본 발명의 실시예들에 따른 예시적인 순차 파이프라인 및 예시적인 레지스터 리네이밍, 비순차 발행/실행 파이프라인의 양쪽 모두를 도시하는 블록도이다. 도 1b는 본 발명의 실시예들에 따른 프로세서에 포함될 순차 아키텍처 코어의 예시적인 실시예 및 예시적인 레지스터 리네이밍, 비순차 발행/실행 아키텍처 코어의 양쪽 모두를 도시하는 블록도이다. 도 1a 및 도 1b에서의 실선 박스들은 순차 파이프라인 및 순차 코어를 예시하는 한편, 파선 박스들의 선택적인 추가는 레지스터 리네이밍, 비순차 발행/실행 파이프라인 및 코어를 예시한다. 순차 양태가 비순차 양태의 서브세트라는 것을 고려하여, 비순차 양태가 설명될 것이다.
도 1a에서, 프로세서 파이프라인(100)은 페치 스테이지(102), 길이 디코드 스테이지(104), 디코드 스테이지(106), 할당 스테이지(108), 리네이밍 스테이지(110), 스케줄링(디스패치 또는 발행으로도 알려져 있음) 스테이지(112), 레지스터 판독/메모리 판독 스테이지(114), 실행 스테이지(116), 후기입(write back)/메모리 기입 스테이지(118), 예외 핸들링 스테이지(122) 및 커미트 스테이지(124)를 포함한다.
도 1b는 실행 엔진 유닛(150)에 연결된 프론트 엔드 유닛(130) - 이들 양자는 메모리 유닛(170)에 연결됨 - 을 포함하는 프로세서 코어(190)를 도시한다. 코어(190)는 RISC(reduced instruction set computing) 코어, CISC(complex instruction set computing) 코어, VLIW(very long instruction word) 코어, 또는 하이브리드 또는 대안적인 코어 타입일 수 있다. 다른 옵션으로서, 코어(190)는, 예를 들어, 네트워크 또는 통신 코어, 압축 엔진, 코프로세서 코어, 범용 컴퓨팅 그래픽스 처리 유닛(GPGPU: general purpose computing graphics processing unit) 코어, 그래픽스 코어 등과 같은 특수 목적 코어일 수 있다.
프론트 엔드 유닛(130)은 명령어 캐시 유닛(134)에 연결된 분기 예측 유닛(132)을 포함하고, 이 명령어 캐시 유닛은 명령어 변환 색인 버퍼(TLB: translation lookaside buffer)(136)에 연결되고, 이 명령어 변환 색인 버퍼는 명령어 페치 유닛(138)에 연결되고, 이 명령어 페치 유닛은 디코드 유닛(140)에 연결된다. 디코드 유닛(140)(또는 디코더)은 명령어들을 디코딩하고, 출력으로서 하나 이상의 마이크로연산들, 마이크로코드 엔트리 포인트들, 마이크로명령어들, 다른 명령어들, 또는 다른 제어 신호들을 생성할 수 있는데, 이들은 오리지널 명령어들로부터 디코딩되거나, 또는 다른 방식으로 오리지널 명령어들을 반영하거나 오리지널 명령어들로부터 도출된다. 디코드 유닛(140)은 다양한 상이한 메커니즘들을 이용하여 구현될 수 있다. 적합한 메커니즘들의 예들은 룩업 테이블들, 하드웨어 구현들, 프로그램가능 로직 어레이들(PLA들), 마이크로코드 판독 전용 메모리들(ROM들) 등을 포함하지만, 이에 제한되지는 않는다. 일 실시예에서, 코어(190)는 (예를 들어, 디코드 유닛(140)에서 또는 다른 방식으로 프론트 엔드 유닛(130) 내에) 특정 매크로명령어들을 위한 마이크로코드를 저장하는 마이크로코드 ROM 또는 다른 매체를 포함한다. 디코드 유닛(140)은 실행 엔진 유닛(150)에서의 리네임/할당자 유닛(152)에 연결된다.
실행 엔진 유닛(150)은, 하나 이상의 스케줄러 유닛(들)(156)의 세트 및 리타이어먼트 유닛(154)에 연결된 리네임/할당자 유닛(152)을 포함한다. 스케줄러 유닛(들)(156)은, 예약 스테이션들, 중앙 명령어 윈도우 등을 비롯한 임의의 개수의 상이한 스케줄러들을 나타낸다. 스케줄러 유닛(들)(156)은 물리적 레지스터 파일(들) 유닛(들)(158)에 연결된다. 물리적 레지스터 파일(들) 유닛들(158) 각각은 하나 이상의 물리적 레지스터 파일을 나타내고, 이들 중 상이한 물리적 레지스터 파일들은 스칼라 정수, 스칼라 부동 소수점, 패킹된 정수, 패킹된 부동 소수점, 벡터 정수, 벡터 부동 소수점, 상태(예를 들어, 실행될 다음 명령어의 어드레스인 명령어 포인터) 등과 같은 하나 이상의 상이한 데이터 타입을 저장한다. 일 실시예에서, 물리적 레지스터 파일(들) 유닛(158)은 벡터 레지스터 유닛, 기입 마스크 레지스터 유닛 및 스칼라 레지스터 유닛을 포함한다. 이들 레지스터 유닛들은 아키텍처 벡터 레지스터들, 벡터 마스크 레지스터들 및 범용 레지스터들을 제공할 수 있다. 물리적 레지스터 파일(들) 유닛(들)(158)은, (예를 들어, 재정렬 버퍼(들) 및 리타이어먼트 레지스터 파일(들)을 이용하여; 미래 파일(들), 이력 버퍼(들) 및 리타이어먼트 레지스터 파일(들)을 이용하여; 레지스터 맵들 및 레지스터들의 풀을 이용하거나 하여) 레지스터 리네이밍 및 비순차 실행이 구현될 수 있는 다양한 방식들을 예시하기 위해서 리타이어먼트 유닛(154)에 의해 중첩된다. 리타이어먼트 유닛(154) 및 물리적 레지스터 파일(들) 유닛(들)(158)은 실행 클러스터(들)(160)에 연결된다. 실행 클러스터(들)(160)는 하나 이상의 실행 유닛들(162)의 세트 및 하나 이상의 메모리 액세스 유닛들(164)의 세트를 포함한다. 실행 유닛들(162)은 다양한 타입의 데이터(예를 들어, 스칼라 부동 소수점, 패킹된 정수, 패킹된 부동 소수점, 벡터 정수, 벡터 부동 소수점)에 대해 다양한 연산들(예를 들어, 시프트, 가산, 감산, 승산)을 수행할 수 있다. 일부 실시예들은 특정 기능들이나 기능들의 세트들에 전용인 다수의 실행 유닛을 포함할 수 있지만, 다른 실시예들은 단 하나의 실행 유닛, 또는 모두가 모든 기능을 수행하는 다수의 실행 유닛을 포함할 수 있다. 스케줄러 유닛(들)(156), 물리적 레지스터 파일(들) 유닛(들)(158) 및 실행 클러스터(들)(160)는 가능하게는 복수개인 것으로 도시되어 있는데, 그 이유는 특정 실시예들이 특정 타입의 데이터/연산들에 대해 별개의 파이프라인들(예를 들어, 스칼라 정수 파이프라인, 스칼라 부동 소수점/패킹된 정수/패킹된 부동 소수점/벡터 정수/벡터 부동 소수점 파이프라인, 및/또는 자신의 스케줄러 유닛, 물리적 레지스터 파일(들) 유닛 및/또는 실행 클러스터를 각각 갖는 메모리 액세스 파이프라인 - 별개의 메모리 액세스 파이프라인의 경우에, 이 파이프라인의 실행 클러스터만이 메모리 액세스 유닛(들)(164)을 갖는 특정 실시예들이 구현됨)을 생성하기 때문이다. 또한, 별개의 파이프라인들이 이용되는 경우, 이들 파이프라인들 중 하나 이상은 비순차 발행/실행일 수 있고, 나머지는 순차적일 수 있다는 것이 이해되어야 한다.
메모리 액세스 유닛들(164)의 세트는 메모리 유닛(170)에 연결되고, 이 메모리 유닛은 레벨 2(L2) 캐시 유닛(176)에 연결되는 데이터 캐시 유닛(174)에 연결된 데이터 TLB 유닛(172)을 포함한다. 하나의 예시적인 실시예에서, 메모리 액세스 유닛들(164)은 로드 유닛(load unit), 어드레스 스토어 유닛(store address unit) 및 데이터 스토어 유닛(store data unit)을 포함할 수 있으며, 이들 각각은 메모리 유닛(170)에서의 데이터 TLB 유닛(172)에 연결된다. 명령어 캐시 유닛(134)은 메모리 유닛(170)에서의 레벨 2(L2) 캐시 유닛(176)에 또한 연결된다. L2 캐시 유닛(176)은 하나 이상의 다른 레벨의 캐시에 그리고 궁극적으로는 메인 메모리에 연결된다.
예로서, 예시적인 레지스터 리네이밍, 비순차 발행/실행 코어 아키텍처는 다음과 같이 파이프라인(100)을 구현할 수 있다: 1) 명령어 페치(138)는 페치 및 길이 디코딩 스테이지들(102 및 104)을 수행하고; 2) 디코드 유닛(140)은 디코드 스테이지(106)를 수행하고; 3) 리네임/할당자 유닛(152)은 할당 스테이지(108) 및 리네이밍 스테이지(110)를 수행하고; 4) 스케줄러 유닛(들)(156)은 스케줄 스테이지(112)를 수행하고; 5) 물리적 레지스터 파일(들) 유닛(들)(158) 및 메모리 유닛(170)은 레지스터 판독/메모리 판독 스테이지(114)를 수행하고; 실행 클러스터(160)는 실행 스테이지(116)를 수행하고; 6) 메모리 유닛(170) 및 물리적 레지스터 파일(들) 유닛(들)(158)은 후기입/메모리 기입 스테이지(118)를 수행하고; 7) 다양한 유닛들이 예외 핸들링 스테이지(122)에 수반될 수 있고; 8) 리타이어먼트 유닛(154) 및 물리적 레지스터 파일(들) 유닛(들)(158)은 커미트 스테이지(124)를 수행한다.
코어(190)는, 본 명세서에 설명된 명령어(들)를 비롯하여, 하나 이상의 명령어 세트들(예를 들어, (더 새로운 버전들이 추가된 소정의 확장들을 갖는) x86 명령어 세트; 캘리포니아주 서니베일에 있는 MIPS Technologies의 MIPS 명령어 세트; 캘리포니아주 서니베일에 있는 ARM Holdings의 (NEON과 같은 선택적인 부가 확장을 갖는) ARM 명령어 세트)을 지원할 수 있다. 일 실시예에서, 코어(190)는 패킹된 데이터 명령어 세트 확장(예를 들어, AVX1, AVX2, 및/또는 소정의 형태의 일반 벡터 친화형 명령어 포맷(generic vector friendly instruction format)(U=0 및/또는 U=1)(후술됨))을 지원하는 로직을 포함하며, 그에 따라 많은 멀티미디어 애플리케이션들에 의해 이용되는 연산들이 패킹된 데이터를 이용하여 수행되는 것을 허용한다.
코어는 (스레드들 또는 연산들의 2개 이상의 병렬 세트를 실행하는) 멀티스레딩을 지원할 수 있고, 시간 분할 멀티스레딩(time sliced multithreading), 동시적 멀티스레딩(단일의 물리적 코어는, 물리적 코어가 동시에 멀티스레딩하는 스레드들 각각에 대한 논리적 코어를 제공함), 또는 이들의 조합(예를 들어, 인텔® Hyperthreading 기술에서와 같이 시간 분할 페칭과 디코딩 및 그 이후의 동시적 멀티스레딩)을 비롯한 각종 방식들로 그렇게 할 수 있다는 것이 이해되어야 한다.
레지스터 리네이밍이 비순차 실행의 콘텍스트에서 설명되지만, 레지스터 리네이밍은 순차 아키텍처에서 이용될 수 있다는 것이 이해되어야 한다. 프로세서의 예시된 실시예가 별개의 명령어 및 데이터 캐시 유닛들(134/174) 및 공유 L2 캐시 유닛(176)을 또한 포함하지만, 대안적인 실시예들은, 예를 들어 레벨 1(L1) 내부 캐시 또는 다중 레벨의 내부 캐시와 같이, 명령어들 및 데이터 양쪽 모두에 대한 단일의 내부 캐시를 가질 수 있다. 일부 실시예들에서, 시스템은, 코어 및/또는 프로세서의 외부에 있는 외부 캐시와 내부 캐시의 조합을 포함할 수 있다. 대안적으로, 모든 캐시는 코어 및/또는 프로세서의 외부에 있을 수 있다.
도 2는 본 발명의 실시예들에 따른 하나보다 많은 코어를 가질 수 있고 통합된 메모리 제어기를 가질 수 있으며 통합된 그래픽스를 가질 수 있는 프로세서(200)의 블록도이다. 도 2의 실선 박스들은, 단일 코어(202A), 시스템 에이전트(210), 하나 이상의 버스 제어기 유닛들(216)의 세트를 갖는 프로세서(200)를 예시하는 한편, 파선 박스들의 선택적인 추가는, 다수의 코어들(202A 내지 202N), 시스템 에이전트 유닛(210)에서의 하나 이상의 통합된 메모리 제어기 유닛(들)(214)의 세트 및 특수 목적 로직(208)을 갖는 대안적인 프로세서(200)를 예시한다.
따라서, 프로세서(200)의 상이한 구현들은, 1) (하나 이상의 코어를 포함할 수 있는) 통합된 그래픽스 및/또는 과학(스루풋) 로직인 특수 목적 로직(208), 및 하나 이상의 범용 코어들(예를 들어, 범용 순차 코어들, 범용 비순차 코어들, 이 둘의 조합)인 코어들(202A 내지 202N)을 갖는 CPU; 2) 주로 그래픽스 및/또는 과학(스루풋)을 위해 의도된 다수의 특수 목적 코어들인 코어들(202A 내지 202N)을 갖는 코프로세서; 및 3) 다수의 범용 순차 코어들인 코어들(202A 내지 202N)을 갖는 코프로세서를 포함할 수 있다. 따라서, 프로세서(200)는 범용 프로세서, 코프로세서 또는 특수 목적 프로세서, 예를 들어, 네트워크 또는 통신 프로세서, 압축 엔진, 그래픽스 프로세서, GPGPU(general purpose graphics processing unit), 고스루풋 MIC(many integrated core) 코프로세서(30개 이상의 코어를 포함함), 임베디드 프로세서 등일 수 있다. 프로세서는 하나 이상의 칩 상에 구현될 수 있다. 프로세서(200)는, 예를 들어 BiCMOS, CMOS 또는 NMOS와 같은 다수의 프로세스 기술 중 임의의 것을 이용하여 하나 이상의 기판 상에 구현될 수 있고/있거나 그 일부일 수 있다.
메모리 계층구조는, 코어들 내의 하나 이상의 레벨의 캐시, 하나 이상의 공유 캐시 유닛들(206)의 세트, 및 통합된 메모리 제어기 유닛들(214)의 세트에 연결된 외부 메모리(도시되지 않음)를 포함한다. 공유 캐시 유닛들(206)의 세트는, 레벨 2(L2), 레벨 3(L3), 레벨 4(L4) 또는 다른 레벨 캐시와 같은 하나 이상의 중간 레벨 캐시, 최종 레벨 캐시(LLC: last level cache) 및/또는 이들의 조합을 포함할 수 있다. 일 실시예에서 링 기반 상호접속 유닛(212)은 통합된 그래픽스 로직(208), 공유 캐시 유닛들(206)의 세트 및 시스템 에이전트 유닛(210)/통합된 메모리 제어기 유닛(들)(214)을 상호접속하지만, 대안적인 실시예들은 이러한 유닛들을 상호접속하기 위해 임의의 개수의 잘 알려진 기술을 이용할 수 있다. 일 실시예에서, 하나 이상의 캐시 유닛들(206)과 코어들(202A 내지 202N) 사이에 일관성(coherency)이 유지된다.
일부 실시예들에서, 코어들(202A 내지 202N) 중 하나 이상은 멀티스레딩을 할 수 있다. 시스템 에이전트(210)는 코어들(202A 내지 202N)을 조정하며 동작시키는 이러한 컴포넌트들을 포함한다. 시스템 에이전트 유닛(210)은 예를 들어 전력 제어 유닛(PCU) 및 디스플레이 유닛을 포함할 수 있다. PCU는, 코어들(202A 내지 202N) 및 통합된 그래픽스 로직(208)의 전력 상태를 조절하기 위해 필요한 로직 및 컴포넌트들일 수 있거나 이들을 포함할 수 있다. 디스플레이 유닛은 하나 이상의 외부 접속된 디스플레이를 구동시키기 위한 것이다.
코어들(202A 내지 202N)은 아키텍처 명령어 세트에 관하여 동질적일 수도 있고 이질적일 수도 있는데; 즉, 코어들(202A 내지 202N) 중 2개 이상은 동일한 명령어 세트를 실행가능할 수 있는 한편, 다른 것들은 그 명령어 세트의 서브세트만을 또는 상이한 명령어 세트를 실행가능할 수 있다. 일 실시예에서, 코어들(202A 내지 202N)은 이질적이며, 후술되는 "작은" 코어들 및 "큰" 코어들 양쪽 모두를 포함한다.
도 3 내지 도 6은 예시적인 컴퓨터 아키텍처들의 블록도들이다. 랩톱들, 데스크톱들, 핸드헬드 PC들, 개인용 정보 단말기들, 엔지니어링 워크스테이션들, 서버들, 네트워크 디바이스들, 네트워크 허브들, 스위치들, 임베디드 프로세서들, 디지털 신호 프로세서들(DSP들), 그래픽스 디바이스들, 비디오 게임 디바이스들, 셋톱 박스들, 마이크로컨트롤러들, 셀 폰들, 휴대용 미디어 플레이어들, 핸드헬드 디바이스들 및 다양한 다른 전자 디바이스들에 대하여 관련 기술분야에 알려진 다른 시스템 설계들 및 구성들도 또한 적합하다. 일반적으로, 본 명세서에 개시된 바와 같은 프로세서 및/또는 다른 실행 로직을 통합할 수 있는 매우 다양한 시스템들 또는 전자 디바이스들이 일반적으로 적합하다.
이하 도 3을 참조하면, 본 발명의 일 실시예에 따른 시스템(300)의 블록도가 도시되어 있다. 시스템(300)은 제어기 허브(320)에 연결된 하나 이상의 프로세서(310, 315)를 포함할 수 있다. 일 실시예에서, 제어기 허브(320)는 그래픽스 메모리 제어기 허브(GMCH)(390) 및 입/출력 허브(IOH)(350)(이들은 별개의 칩들 상에 있을 수 있음)를 포함하고; GMCH(390)는, 메모리(340) 및 코프로세서(345)에 연결되는 메모리 및 그래픽스 제어기들을 포함하고; IOH(350)는 입/출력(I/O) 디바이스들(360)을 GMCH(390)에 연결한다. 대안적으로, 메모리 및 그래픽스 제어기들 중 하나 또는 양쪽 모두는 (본 명세서에 설명되는 바와 같이) 프로세서 내에 통합되고, 메모리(340) 및 코프로세서(345)는 IOH(350)와 단일 칩에 있는 제어기 허브(320) 및 프로세서(310)에 직접 연결된다.
부가적인 프로세서들(315)의 선택적인 속성은 도 3에서 파선들로 표시되어 있다. 각각의 프로세서(310, 315)는 본 명세서에 설명된 처리 코어들 중 하나 이상을 포함할 수 있으며, 프로세서(200)의 소정의 버전일 수 있다.
메모리(340)는 예를 들어 DRAM(dynamic random access memory), 상변화 메모리(PCM: phase change memory) 또는 이 둘의 조합일 수 있다. 적어도 하나의 실시예에 있어서, 제어기 허브(320)는, FSB(frontside bus)와 같은 다분기 버스(multi-drop bus), QPI(QuickPath Interconnect)와 같은 점대점 인터페이스, 또는 유사한 접속(395)을 통해, 프로세서(들)(310, 315)와 통신한다.
일 실시예에서, 코프로세서(345)는, 예를 들어, 고스루풋 MIC 프로세서, 네트워크 또는 통신 프로세서, 압축 엔진, 그래픽스 프로세서, GPGPU, 임베디드 프로세서 등과 같은 특수 목적 프로세서이다. 일 실시예에서, 제어기 허브(320)는 통합된 그래픽스 가속기를 포함할 수 있다.
아키텍처, 마이크로아키텍처, 열, 전력 소모 특성 등을 포함하는 다양한 성능 메트릭(metrics of merit)에 관하여 물리적 자원들(310, 315) 사이에 각종 차이가 존재할 수 있다.
일 실시예에서, 프로세서(310)는 일반 타입의 데이터 처리 연산들을 제어하는 명령어들을 실행한다. 명령어들 내에는 코프로세서 명령어들이 임베딩될 수 있다. 프로세서(310)는 부착된 코프로세서(345)에 의해 실행되어야 하는 타입인 것으로서 이들 코프로세서 명령어들을 인식한다. 따라서, 프로세서(310)는, 코프로세서(345)에 대해, 코프로세서 버스 또는 다른 상호접속부 상에서 이들 코프로세서 명령어들(또는 코프로세서 명령어들을 나타내는 제어 신호들)을 발행한다. 코프로세서(들)(345)는 수신된 코프로세서 명령어들을 수락하여 실행한다.
이하 도 4를 참조하면, 본 발명의 실시예에 따른 제1의 보다 구체적인 예시적인 시스템(400)의 블록도가 도시되어 있다. 도 4에 도시된 바와 같이, 멀티프로세서 시스템(400)은 점대점 상호접속 시스템이고, 점대점 상호접속부(450)를 통해 연결되는 제1 프로세서(470) 및 제2 프로세서(480)를 포함한다. 프로세서들(470 및 480) 각각은 프로세서(200)의 소정의 버전일 수 있다. 본 발명의 일 실시예에서, 프로세서들(470 및 480)은 각각 프로세서들(310 및 315)인 한편, 코프로세서(438)는 코프로세서(345)이다. 다른 실시예에서, 프로세서들(470 및 480)은 각각 프로세서(310) 및 코프로세서(345)이다.
프로세서들(470 및 480)은 각각 통합된 메모리 제어기(IMC) 유닛들(472 및 482)을 포함하는 것으로 도시되어 있다. 또한, 프로세서(470)는 그 버스 제어기 유닛들의 일부로서 점대점(P-P) 인터페이스들(476 및 478)을 포함하고; 유사하게, 제2 프로세서(480)는 P-P 인터페이스들(486 및 488)을 포함한다. 프로세서들(470, 480)은 점대점(P-P) 인터페이스 회로들(478, 488)을 이용하여 P-P 인터페이스(450)를 통해 정보를 교환할 수 있다. 도 4에 도시된 바와 같이, IMC들(472 및 482)은 프로세서들을 각각의 메모리들, 즉 각각의 프로세서들에 로컬로 부착된 메인 메모리의 부분들일 수 있는 메모리(432) 및 메모리(434)에 연결한다.
프로세서들(470, 480) 각각은 점대점 인터페이스 회로들(476, 494, 486, 498)을 이용하여 개별적인 P-P 인터페이스들(452, 454)을 통해 칩셋(490)과 정보를 교환할 수 있다. 선택적으로, 칩셋(490)은 고성능 인터페이스(439)를 통해 코프로세서(438)와 정보를 교환할 수 있다. 일 실시예에서, 코프로세서(438)는, 예를 들어, 고스루풋 MIC 프로세서, 네트워크 또는 통신 프로세서, 압축 엔진, 그래픽스 프로세서, GPGPU, 임베디드 프로세서 등과 같은 특수 목적 프로세서이다.
공유 캐시(도시되지 않음)가 양쪽 프로세서들의 외부에 또는 어느 하나의 프로세서에 포함될 수 있지만, P-P 상호접속부를 통해 프로세서들과 접속되어, 프로세서가 저전력 모드에 들어가는 경우에 어느 하나의 프로세서 또는 양쪽 프로세서의 로컬 캐시 정보가 공유 캐시에 저장될 수 있게 된다.
칩셋(490)은 인터페이스(496)를 통해 제1 버스(416)에 연결될 수 있다. 일 실시예에서, 제1 버스(416)는 PCI(Peripheral Component Interconnect) 버스이거나, 또는 PCI Express 버스 또는 다른 제3세대 I/O 상호접속 버스와 같은 버스일 수 있지만, 본 발명의 범위는 이에 제한되지는 않는다.
도 4에 도시된 바와 같이, 제1 버스(416)를 제2 버스(420)에 연결하는 버스 브리지(418)와 함께, 다양한 I/O 디바이스들(414)이 제1 버스(416)에 연결될 수 있다. 일 실시예에서, 코프로세서, 고스루풋 MIC 프로세서, GPGPU, (예를 들어, 그래픽스 가속기 또는 디지털 신호 처리(DSP) 유닛과 같은) 가속기, 필드 프로그램가능 게이트 어레이 또는 임의의 다른 프로세서와 같은 하나 이상의 부가적인 프로세서(들)(415)가 제1 버스(416)에 연결된다. 일 실시예에서, 제2 버스(420)는 LPC(low pin count) 버스일 수 있다. 일 실시예에서, 예를 들어, 키보드 및/또는 마우스(422), 통신 디바이스들(427), 및 명령어들/코드 및 데이터(430)를 포함할 수 있는 디스크 드라이브나 다른 대용량 저장 디바이스와 같은 저장 유닛(428)을 포함하는 다양한 디바이스들이 제2 버스(420)에 연결될 수 있다. 또한, 오디오 I/O(424)가 제2 버스(420)에 연결될 수 있다. 다른 아키텍처들도 가능하다는 점에 유의한다. 예를 들어, 도 4의 점대점 아키텍처 대신에, 시스템은 다분기 버스 또는 다른 이러한 아키텍처를 구현할 수 있다.
이하 도 5를 참조하면, 본 발명의 실시예에 따른 제2의 보다 구체적인 예시적인 시스템(500)의 블록도가 도시되어 있다. 도 4 및 도 5에서의 유사한 요소들은 유사한 참조 번호들을 지니며, 도 5의 다른 양태들을 모호하게 하는 것을 회피하기 위해서 도 5로부터 도 4의 특정 양태들이 생략되었다.
도 5는 프로세서들(470, 480)이 각각 통합된 메모리 및 I/O 제어 로직("CL")(472 및 482)을 포함할 수 있는 것을 도시한다. 따라서, CL(472, 482)은 통합된 메모리 제어기 유닛들을 포함하며, I/O 제어 로직을 포함한다. 도 5는 메모리들(432, 434)이 CL(472, 482)에 연결될 뿐만 아니라 I/O 디바이스들(514)도 제어 로직(472, 482)에 연결되는 것을 도시한다. 레거시 I/O 디바이스들(515)이 칩셋(490)에 연결된다.
이하 도 6을 참조하면, 본 발명의 실시예에 따른 SoC(600)의 블록도가 도시되어 있다. 도 2에서의 유사한 요소들은 유사한 참조 번호들을 지닌다. 또한, 파선 박스들은 더 진보된 SoC들에 대한 선택적인 특징들이다. 도 6에서, 상호접속 유닛(들)(602)은, 하나 이상의 코어들(202A 내지 202N)의 세트 및 공유 캐시 유닛(들)(206)을 포함하는 애플리케이션 프로세서(610); 시스템 에이전트 유닛(210); 버스 제어기 유닛(들)(216); 통합된 메모리 제어기 유닛(들)(214); 통합된 그래픽스 로직, 이미지 프로세서, 오디오 프로세서 및 비디오 프로세서를 포함할 수 있는 하나 이상의 코프로세서들(620)의 세트; SRAM(static random access memory) 유닛(630); DMA(direct memory access) 유닛(632); 및 하나 이상의 외부 디스플레이에 연결하기 위한 디스플레이 유닛(640)에 연결된다. 일 실시예에서, 코프로세서(들)(620)는, 예를 들어, 네트워크 또는 통신 프로세서, 압축 엔진, GPGPU, 고스루풋 MIC 프로세서, 임베디드 프로세서 등과 같은 특수 목적 프로세서를 포함한다.
본 명세서에 개시된 메커니즘들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 또는 이러한 구현 접근법들의 조합으로 구현될 수 있다. 본 발명의 실시예들은, 적어도 하나의 프로세서, 저장 시스템(휘발성 및 비휘발성 메모리 및/또는 저장 요소들을 포함함), 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스를 포함하는 프로그램가능 시스템들 상에서 실행되는 컴퓨터 프로그램들 또는 프로그램 코드로서 구현될 수 있다.
도 4에 도시된 코드(430)와 같은 프로그램 코드는 입력 명령어들에 적용되어, 본 명세서에 설명된 기능들을 수행하고 출력 정보를 생성할 수 있다. 출력 정보는 알려진 방식으로 하나 이상의 출력 디바이스에 적용될 수 있다. 이 애플리케이션을 위해, 처리 시스템은, 예를 들어, 디지털 신호 프로세서(DSP), 마이크로컨트롤러, 주문형 집적 회로(ASIC) 또는 마이크로프로세서와 같은 프로세서를 갖는 임의의 시스템을 포함한다.
프로그램 코드는 처리 시스템과 통신하기 위해 하이 레벨 절차형 또는 객체 지향형 프로그래밍 언어로 구현될 수 있다. 또한, 프로그램 코드는 요구되는 경우에 어셈블리 또는 머신 언어로 구현될 수 있다. 사실상, 본 명세서에 설명된 메커니즘들은 임의의 특정 프로그래밍 언어로 범위가 제한되지는 않는다. 임의의 경우에, 이 언어는 컴파일형 또는 해석형 언어일 수 있다.
적어도 하나의 실시예의 하나 이상의 양태는, 머신에 의해 판독될 때에 이 머신으로 하여금 본 명세서에 설명된 기술들을 수행하는 로직을 제조하게 하는, 프로세서 내의 다양한 로직을 표현하는 머신 판독가능 매체 상에 저장된 대표적인 명령어들에 의해 구현될 수 있다. "IP 코어들"로서 알려진 이러한 표현들은 유형의(tangible) 머신 판독가능 매체 상에 저장되고, 다양한 고객들 또는 제조 설비들에 공급되어, 로직 또는 프로세서를 실제로 제조하는 제조 머신들로 로딩될 수 있다.
이러한 머신 판독가능 저장 매체는, 하드 디스크들, 플로피 디스크들, 광학 디스크들, CD-ROM들(compact disk read-only memories), CD-RW들(compact disk rewritable's) 및 광자기 디스크들을 포함하는 임의의 다른 타입의 디스크, ROM들(read-only memories), RAM들(random access memories), 예컨대 DRAM들(dynamic random access memories), SRAM들(static random access memories), EPROM들(erasable programmable read-only memories), 플래시 메모리들, EEPROM들(electrically erasable programmable read-only memories), 상변화 메모리(PCM)와 같은 반도체 디바이스들, 자기 또는 광학 카드들, 또는 전자 명령어들을 저장하기에 적합한 임의의 다른 타입의 매체와 같은 저장 매체를 비롯하여, 머신 또는 디바이스에 의해 제조되거나 형성되는 제조물들의 비일시적인 유형의 배열들을 포함할 수 있지만, 이에 제한되지는 않는다.
따라서, 본 발명의 실시예들은, 명령어들을 포함하거나, 또는 본 명세서에 설명된 구조들, 회로들, 장치들, 프로세서들 및/또는 시스템 피처들을 정의하는 HDL(Hardware Description Language)과 같은 설계 데이터를 포함하는 비일시적인 유형의 머신 판독가능 매체를 또한 포함한다. 이러한 실시예들은 프로그램 제품들로 또한 언급될 수 있다.
일부 경우에, 소스 명령어 세트로부터 타깃 명령어 세트로 명령어를 변환하기 위해 명령어 변환기가 이용될 수 있다. 예를 들어, 명령어 변환기는 명령어를 코어에 의해 처리될 하나 이상의 다른 명령어로 (예를 들어, 정적 바이너리 번역, 동적 번역(dynamic compilation)을 포함하는 동적 바이너리 번역을 이용하여) 번역하거나, 모핑하거나, 에뮬레이트하거나, 또는 다른 방식으로 변환할 수 있다. 명령어 변환기는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 명령어 변환기는 온 프로세서(on processor), 오프 프로세서(off processor), 또는 부분 온 및 부분 오프 프로세서(part on and part off processor)일 수 있다.
도 7은 본 발명의 실시예들에 따른 소스 명령어 세트에서의 바이너리 명령어들을 타깃 명령어 세트에서의 바이너리 명령어들로 변환하기 위한 소프트웨어 명령어 변환기의 이용을 대조하는 블록도이다. 도시된 실시예에서, 명령어 변환기는 소프트웨어 명령어 변환기이지만, 대안적으로 명령어 변환기는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 다양한 조합으로 구현될 수 있다. 도 7은 하이 레벨 언어(702)로 된 프로그램이 x86 컴파일러(704)를 이용하여 컴파일링되어, 적어도 하나의 x86 명령어 세트 코어를 갖는 프로세서(716)에 의해 본래 실행될 수 있는 x86 바이너리 코드(706)를 생성할 수 있는 것을 도시한다. 적어도 하나의 x86 명령어 세트 코어를 갖는 프로세서(716)는, 적어도 하나의 x86 명령어 세트 코어를 갖는 인텔 프로세서와 실질적으로 동일한 결과를 달성하기 위해서, (1) 인텔 x86 명령어 세트 코어의 명령어 세트의 상당부 또는 (2) 적어도 하나의 x86 명령어 세트 코어를 갖는 인텔 프로세서 상에서 실행되도록 되어 있는 오브젝트 코드 버전의 애플리케이션들 또는 다른 소프트웨어를 호환가능하게 실행하거나 또는 다른 방식으로 처리함으로써, 적어도 하나의 x86 명령어 세트 코어를 갖는 인텔 프로세서와 실질적으로 동일한 기능을 수행할 수 있는 임의의 프로세서를 나타낸다. x86 컴파일러(704)는, 부가적인 링크 처리(linkage processing)를 갖거나 갖지 않고서 적어도 하나의 x86 명령어 세트 코어를 갖는 프로세서(716) 상에서 실행될 수 있는 x86 바이너리 코드(706)(예를 들어, 오브젝트 코드)를 생성하도록 동작가능한 컴파일러를 나타낸다. 유사하게, 도 7는 하이 레벨 언어(702)로 된 프로그램이 대안적인 명령어 세트 컴파일러(708)를 이용하여 컴파일링되어, 적어도 하나의 x86 명령어 세트 코어를 갖지 않는 프로세서(714)(예를 들어, 캘리포니아주 서니베일에 있는 MIPS Technologies의 MIPS 명령어 세트를 실행하고/하거나 캘리포니아주 서니베일에 있는 ARM Holdings의 ARM 명령어 세트를 실행하는 코어들을 갖는 프로세서)에 의해 본래 실행될 수 있는 대안적인 명령어 세트 바이너리 코드(710)를 생성할 수 있는 것을 도시한다. 명령어 변환기(712)는, x86 바이너리 코드(706)를, x86 명령어 세트 코어를 갖지 않는 프로세서(714)에 의해 본래 실행될 수 있는 코드로 변환하는데 이용된다. 이러한 변환된 코드는 대안적인 명령어 세트 바이너리 코드(710)와 동일할 가능성이 낮은데, 그 이유는 이것을 할 수 있는 명령어 변환기가 제조되기 어렵기 때문이다; 그러나, 변환된 코드는 일반 연산을 달성할 것이며, 대안적인 명령어 세트로부터의 명령어들로 이루어질 것이다. 따라서, 명령어 변환기(712)는, 에뮬레이션, 시뮬레이션 또는 임의의 다른 프로세스를 통해, x86 명령어 세트 프로세서 또는 코어를 갖지 않는 프로세서 또는 다른 전자 디바이스가 x86 바이너리 코드(706)를 실행하는 것을 허용하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 나타낸다.
캐시 점유도 결정 및 명령어 스케줄링을 위한 장치 및 방법
본 발명의 일 실시예는, 데이터와 연관된 어드레스를 이용하여 이 데이터의 항목이 캐시에 현재 저장되어 있는지 여부를 결정하고, 이러한 결정에 기초하여 하나 이상의 후속 연산(예를 들어, 매크로명령어들, 마이크로연산들 등)을 스케줄링한다. "스케줄링"이라는 용어는, 작업의 특정 부분이 하나의 스레드로부터 다른 스레드로 재할당될 수 있는지 여부(예를 들어, 이하의 예에 설명된 바와 같이 스레드가 다른 스레드들의 작업 큐들로부터의 작업을 스틸(steal)하려고 할 때)에 관한 결정을 포함하여, 특정 명령어, 마이크로연산이 실행되어야 하는지 여부 그리고/또는 이러한 때에 관련된 임의의 결정을 지칭하기 위해서 본 명세서에서 광범위하게 이용된다.
데이터가 캐시에 있는지 여부를 결정하는 것에 부가하여, 일 실시예는 이 데이터가 저장되어 있는 특정 캐시 레벨(들)(예를 들어, 레벨 1(L1), 레벨 2(L2), 하위 레벨 캐시(LLC) 등)의 표시; 데이터에 액세스하는데 요구되는 예상 "시간"의 양(예를 들어, 프로세서 사이클들 단위(in processor cycles))의 표시; 및/또는 특정된 검색 레벨에 따라(예를 들어, 프로세서 사이클들의 임계 개수를 이용하여) 어드레스가 "너무 멀리 떨어져" 있는지 여부에 관한 표시를 또한 제공할 수 있다.
본 발명의 일 실시예는, 입력으로서 어드레스를 취하고, 이러한 어드레스에 의해 식별된 데이터 항목이 현재 캐싱되어 있는지 여부에 관한 표시를 제공하는 명령어로서 구현될 수 있다. 이하에 상세하게 논의되는 바와 같이, 이러한 명령어의 결과들은 다음에 실행할 후속 명령어들을 스케줄링(예를 들어, 어드레스들이 캐싱되어 있는 명령어들을 선택할) 때에 이용될 수 있다.
예로서, 이러한 "캐시 점유도 결정" 명령어는
Figure pct00001
과 같은 형태를 취할 수 있고, 여기서 데이터의 어드레스는 소스 레지스터 SRC1에 저장되고, 결정의 결과들(즉, 데이터가 캐싱되어 있는지 여부, 어느 레벨, 액세스할 예상 "시간", 어드레스가 "너무 멀리 떨어져" 있다는 표시 등)은 목적지 레지스터 DST1에 기입된다.
일 실시예에서, 캐시 점유도 결정 명령어는, 하나 이상의 벡터 소스 레지스터(예를 들어, 단일의 벡터 레지스터가 다수의 어드레스 피연산자를 저장할 수 있음)로부터 다수의 어드레스를 판독하고 하나 이상의 벡터 목적지 레지스터(예를 들어, 단일의 벡터 목적지 레지스터가 다수의 결과를 저장함)에 다수의 결과를 기입하는 AVX(advanced vector extension) 또는 AVX2 명령어와 같은 벡터 명령어이다. 그러나, 본 발명의 기반 원리들은 벡터 구현에 제한되지는 않는다는 점에 유의해야 한다.
도 8에 도시된 바와 같이, 프로세서 내의 실행 로직(830)은 본 명세서에 설명된 캐시 점유도 결정 연산들을 수행하기 위한 캐시 점유도 결정 로직(800)을 포함한다. 예를 들어, INCACHE 명령어를 실행하는 것에 응답하여, 캐시 점유도 결정 로직(800)은 하나 이상의 어드레스(801)가 캐시 레벨들(810-812) 중 하나에 현재 저장되어 있는 데이터와 연관되는지 여부를 결정할 수 있다. 위에서 언급된 바와 같이, 결과들(802)은 이러한 정보뿐만 아니라, 특정 캐시 레벨(들)의 표시, 액세스할 예상 시간(예를 들어, 프로세서 사이클들 단위), 및/또는 (예를 들어 프로세서 사이클들의 특정된 임계치에 기초하여) 어드레스가 너무 멀리 떨어져 있는지 여부의 표시를 포함할 수 있다. 일 실시예에서, 이러한 결정은 어드레스(들)를 이용하여 캐시 룩업 연산(cache lookup operation)을 수행하는 것(예를 들어, 기존의 캐시 태그들과 어드레스 또는 어드레스의 부분을 비교하는 것)에 의해 행해진다.
일 실시예에서, 일단 결과들(802)이 결정되면, 이러한 결과들은 후속 연산들의 실행을 스케줄링하기 위해 스케줄링 로직(820)에 의해 이용될 수 있다. 예를 들어, L1 캐시에 저장된 데이터를 갖는 연산들이 먼저 실행되고, 다음에 L2 캐시에 저장된 데이터를 갖는 연산들이 실행되고, 다음에 캐시 계층구조에서 더 아래에 있는(예를 들어, 하위 레벨 캐시(LLC) 또는 다른 하위 캐시 레벨(들)에 저장된) 연산들이 실행될 수 있다. 도 8에 구체적으로 도시되어 있지는 않지만, 스케줄링 로직(820)은 프로세서 또는 코어의 명령어 디코드 스테이지 내에(예를 들어, 예약 스테이션 또는 다른 스케줄링 유닛 내에) 구현될 수 있다.
일 실시예에서, 명령어는 후속 연산들에 대한 힌트의 역할을 한다. 어드레스와 연관된 캐시 라인은 명령어의 리턴 이후에(예를 들어, 후속 연산이 데이터를 필요로 하는 시간까지) 캐시로부터 축출되어, 그것의 결과를 쓸모없게(obsolete) 할 수 있다. 이러한 경우에, 성능만이 영향을 받을 것이고, 어드레스는 알려진 기술들을 이용하여 단순히 캐시로 다시 이동될 것이다.
명령어의 일 실시예는 캐시(810-812)에 캐시 라인을 유지하려고 할 수 있다. 예를 들어, 점유도 결정 로직(800)에 의해 수행되는 룩업은, 후속 명령어에 의해 이용될 정도로 오래 캐시 라인이 캐시에 유지될 가능성을 향상시키기 위해 캐시 라인을 이용하는 것으로서 취급될 수 있다(예를 들어, LRU(least recently used) 또는 다른 축출 정책에 대해, 캐시 라인이 얼마나 오래 캐시에 머무를 수 있는지/얼마나 최근에 캐시 라인이 이용되었는지의 표시를 제공함).
언급된 바와 같이, 캐시 점유도 명령어에 의해 제공되는 정보(예를 들어, 캐시에 있는지 여부, 캐시 레벨 등)는 다음에 후속 명령어들 및/또는 스레드들의 실행을 스케줄링하기 위해서 이용될 수 있다. 예를 들어, 캐시 점유도 명령어는, 작업 큐를 통하여 순환하는 작업 큐 알고리즘들, 반복마다 작업의 항목을 추출하고 처리하는 것, 및 가능하게는 그렇게 할 때에 부가적인 항목들로 작업 큐를 증대시키는 것을 포함하여(이에 제한되지는 않음), 보다 효율적인 캐시-인식 방식으로 다양한 타입의 프로세스들이 실행되는 것을 가능하게 할 수 있다. 병행성(concurrency)이 존재하는 경우, 임의의 항목이 작업 큐로부터 뽑혀 실행될 수 있다. 병렬성(parallelism)이 존재할 수도 있고 존재하지 않을 수도 있다. 임의의 경우에, 항목들은 하나씩 처리될 필요가 있을 수 있고(싱글 스레드(single threaded)); 다른 시나리오들에서는, 수개의 작업자가 별개의 항목들을 병렬로 처리할 수 있다(이하의 "작업-스틸(work-stealing)" 논의 참조).
본 발명의 일 실시예는 작업 큐로부터 처리할 다음 항목을 선택하기 위해 이용된다. 모든 조건이 동일하면(그리고 공정성 이슈들을 무시하면), 캐시들 중 하나(특히 L1 캐시(810)와 같이 캐시 계층구조에서 더 위에 있는 캐시)에 이미 있는 데이터를 갖는 항목을 선택하는 것이 성능에 유익할 것이다. 이것은, 실행 중인 프로세스가 메모리 한정적(memory bound)인 경우에 - 어느 어드레스들이 다음에 필요할 것인지를 예측하기 어려움 - 특히 유익할 수 있다.
본 발명의 일 실시예에서, 본 발명의 실시예들을 이용하는 프로세스는 (예를 들어, 본 명세서에 설명된 바와 같이 캐시 점유도 명령어를 이용하여) "캐싱" 항목을 찾아 작업 큐를 스캔하고, 발견된 첫번째 것을 처리한다. 대안적으로 또는 부가적으로, 이 프로세스는 캐싱되는 다수의 항목을 식별하고, 캐시 계층구조에서 상대적으로 더 상위에 있는(예를 들어, L1 캐시에 있는) 하나 이상의 작업 항목을 선택할 수 있다. 캐시에서 어떠한 항목도 발견되지 않는 경우, (예를 들어, 표준 기술들을 이용하여) 작업 큐 상의 첫번째 항목이 뽑혀 처리된다.
본 발명의 실시예들은 메모리에 분산되어 있는 노드들을 갖는 트리를 스캔할 때에 특히 적용가능할 수 있다. 이러한 구현에서, 작업 큐 상의 각각의 항목은 노드에 대한 포인터를 특정한다. 수개의 이러한 노드는 동일한 캐시 라인에서 임의의 순서 또는 위치에 존재할 수 있다. 종종, 예를 들어, 예상 캐시 거동에만 기초하여 트리의 너비 우선 검색(BFS: breadth first search) 또는 깊이 우선 검색(DFS: depth first search) 중에서 선택이 이루어져, 공간적 집약성(spatial locality)에 대한 최적화를 기대할 수 있다.
본 발명의 실시예들을 이용하면, (위에서 논의된 바와 같이) 캐시가 스캔을 가이드하게 함으로써 더 높은 정밀도가 획득될 수 있다. 이러한 스캔의 인스턴스들은, 예를 들어, 쿼드/옥트-트리(quad/oct-tree)를 가로질러 그것의 리프들을 임의의 순서로 처리하는 것, 및 마크-앤-스위프 가비지 컬렉터들(mark-and-sweep garbage collectors)(즉, 프로그램에 의해 더 이상 이용되지 않는 메모리의 부분들을 회수하는(reclaim) 프로세스들)을 포함한다.
다른 예는, 멀티코어 프로세서를 이용하는 소프트웨어 프로그램들을 작성하기 위해 본 출원의 양수인에 의해 개발된 TBB(Thread Building Blocks), C++ 템플릿 라이브러리와 같은 병렬 실행 프레임워크들에서의 작업-스틸을 수반한다. 스레드가 다른 스레드들의 작업 큐들로부터의 작업을 스틸하려고 할 때, 스틸하는 스레드의 캐시에 이미 있는 작업을 스틸하는 것이 선호될 것이다. 작업이 캐시에 이미 있는지 여부의 결정은 본 명세서에 설명된 기술들을 이용하여 달성될 수 있다.
구체적인 예로서, 본 발명의 일 실시예는 (위키피디아로부터의) BFS 스캔의 다음의 전형적인 구현의 콘텍스트 내에서 설명될 것이다:
Figure pct00002
일 실시예는, 캐시에 존재하는 엔트리를 찾아 Q 또는 Q의 제한된 부분을 가로지르는 루프에 의해 라인 6("
Figure pct00003
")을 구현한다(예를 들어, 전술한 캐시 점유도 명령어를 실행함). 하나가 발견되는 경우, 그것은 (가능하게는 Q의 중간으로부터) "큐잉해제되고(dequeued)" 리턴된다. 이러한 엔트리가 발견되지 않는 경우, Q의 첫번째 요소가 큐잉해제된다. 검색은 더 이상 너비-우선적이 아닐 수 있다는 점에 유의한다.
다른 애플리케이션은, u가 캐시에 있는지 여부를 결정하기 위해서 라인 13에서 체크하는 것이다. 캐시에 있는 경우, 계속해서 그것의 마크를 체크하고, 그것을 "캐싱" 큐에 큐잉한다. u가 캐시에 있지 않은 경우, 그것을 "넌-캐싱(non-cached)" 큐에 큐잉한다. 일 실시예에서, "캐싱" 큐로부터의 작업 항목들이 먼저 실행되고, 캐싱 큐가 빌 때, "넌-캐싱" 큐로부터의 작업 항목들이 실행된다.
데이터가 캐시에 저장되어 있는지 여부를 결정하기 위한 방법의 일 실시예가 도 9에 도시되어 있다. 901에서, (예를 들어, 실행을 기다리는 하나 이상의 명령어로부터 결정되는 바와 같이) 처리될 데이터와 연관된 하나 이상의 어드레스가 식별된다. 이전에 언급된 바와 같이, 일 실시예에서, 다수의 어드레스가 병행하여 판독되고 처리될 수 있다(예를 들어, 벡터 명령어에 의해 벡터 레지스터로부터 판독됨). 902에서, 각각의 어드레스와 연관된 데이터가 캐시 레벨들 중 하나에 저장되어 있는지 여부에 관한 결정이 이루어진다. 저장되어 있지 않은 경우, 904에서, 데이터가 캐시에 있지 않다는 것을 표시하는 결과가 (예를 들어, 목적지/결과 레지스터에) 저장된다. 저장되어 있는 경우, 903에서, 잠재적으로는 캐시 레벨의 ID(identity) 및/또는 다른 관련 정보(예를 들어, 액세스할 예상 "시간", 어드레스가 "너무 멀리 떨어져" 있다는 표시 등)와 함께, 데이터가 캐시 레벨들 중 하나에 저장되어 있다는 것을 표시하는 결과가 저장된다.
905에서, 결과들에 기초하여 하나 이상의 후속 연산이 스케줄링된다. 예를 들어, 어떠한 데이터도 캐시 레벨에 저장되어 있지 않은 경우, 후속 연산들은 기존의 스케줄링 기술들을 이용하여 스케줄링될 수 있다. 그러나, 대기 중인 연산들 중 하나 이상에 대한 데이터가 캐시에 저장되어 있는 경우, 이러한 연산들은 캐시에 저장된 데이터를 갖지 않는 연산들에 앞서 실행되도록 스케줄링될 수 있다. 일 실시예에서, 데이터가 저장되어 있는 캐시 레벨(들)의 ID가 스케줄링을 위해 이용될 수 있다. 예를 들어, L1 캐시에 저장된 데이터를 갖는 연산들이 먼저 실행되고, 다음에 L2 캐시에 저장된 데이터를 갖는 연산들이 실행되고, 다음에 캐시 계층구조에서 더 아래에 있는(예를 들어, 하위 레벨 캐시(LLC) 또는 다른 하위 캐시 레벨(들)에 저장된) 연산들이 실행될 수 있다.
본 명세서에 설명된 기술들을 이용하여 스케줄링되는 "연산들"은 예를 들어 매크로명령어들 또는 마이크로연산들을 포함한 임의의 형태의 연산들을 포함할 수 있다는 점에 유의해야 한다. 또한, 본 발명의 기반 원리들은 CISC(complex instruction set computer) 아키텍처들 및 RISC(reduced instruction set computer) 아키텍처들을 포함한 임의의 타입의 명령어 세트 아키텍처 상에 구현될 수 있다.
각각의 작업 항목에 대한 데이터가 캐시에 저장되어 있는지 여부에 기초하여 작업 큐로부터의 작업 항목들을 스케줄링하기 위한 방법의 일 실시예가 도 10에 도시되어 있다. 1001에서, 평가를 위해 하나 이상의 작업 항목이 선택된다. 언급된 바와 같이, 각각의 작업 항목은 실행을 기다리는 동안 작업 큐에 저장될 수 있고, 다수의 작업 항목은 병렬로 평가될 수 있다. 1002에서, (예를 들어, 위에서 논의된 바와 같이 데이터에 대한 어드레스들을 이용하여) 하나 이상의 작업 항목을 실행하는데 필요한 데이터가 캐시에 저장되어 있는지 여부에 관한 결정이 이루어진다. 저장되어 있지 않은 경우, 1004에서, 데이터가 캐시에 있지 않다는 것을 표시하는 결과가 저장되고, 1005에서, 기존의 기술들을 이용하여(예를 들어, BFS 스캔을 이용하여) 작업 항목들이 스케줄링된다.
그러나, 하나 이상의 작업 항목에 데이터가 캐싱되어 있다고 1002에서 결정되는 경우, 1003에서, 잠재적으로는 캐시 레벨의 ID 및/또는 다른 관련 정보(예를 들어, 액세스할 예상 "시간", 어드레스가 "너무 멀리 떨어져" 있다는 표시 등)와 함께, 데이터가 캐시 레벨들 중 하나에 저장되어 있다는 것을 표시하는 결과가 저장된다. 1005에서, 데이터가 캐싱되어 있는 작업 항목들은 캐시에 저장된 데이터를 갖지 않는 작업 항목들에 앞서 실행되도록 스케줄링될 수 있다. 일 실시예에서, 데이터가 저장되어 있는 캐시 레벨(들)의 ID가 스케줄링을 위해 이용될 수 있다. 예를 들어, 도 9에 도시된 실시예에서와 같이, L1 캐시에 저장된 데이터를 갖는 작업 항목들이 먼저 실행되고, 다음에 L2 캐시에 저장된 데이터를 갖는 작업 항목들이 실행되고, 다음에 캐시 계층구조에서 더 아래에 있는(예를 들어, 하위 레벨 캐시(LLC) 또는 다른 하위 캐시 레벨(들)에 저장된) 작업 항목들이 실행될 수 있다.
본 발명의 실시예들은 전술한 다양한 단계들을 포함할 수 있다. 이들 단계들은, 범용 또는 특수 목적 프로세서가 이들 단계들을 수행하게 하는데 이용될 수 있는 머신 실행가능 명령어들로 구현될 수 있다. 대안적으로, 이들 단계들은, 이들 단계들을 수행하기 위한 하드와이어드 로직을 포함하는 특정 하드웨어 컴포넌트들에 의해, 또는 프로그램된 컴퓨터 컴포넌트들과 맞춤형 하드웨어 컴포넌트들의 임의의 조합에 의해 수행될 수 있다.
본 명세서에 설명된 바와 같이, 명령어들은, 비일시적인 컴퓨터 판독가능 매체로 구현된 메모리에 저장되는 소프트웨어 명령어들, 또는 미리 결정된 기능성을 갖거나 특정 연산들을 수행하도록 구성된 주문형 집적 회로들(ASIC들)과 같은 하드웨어의 특정 구성들을 지칭할 수 있다. 따라서, 도면들에 도시된 기술들은, 하나 이상의 전자 디바이스(예를 들어, 종단국, 네트워크 요소 등) 상에 저장되어 실행되는 데이터 및 코드를 이용하여 구현될 수 있다. 이러한 전자 디바이스들은, 비일시적인 컴퓨터 머신 판독가능 저장 매체(예를 들어, 자기 디스크; 광학 디스크; 랜덤 액세스 메모리; 판독 전용 메모리; 플래시 메모리 디바이스; 상변화 메모리) 및 일시적인 컴퓨터 머신 판독가능 통신 매체(예를 들어, 전기, 광학, 음향 또는 다른 형태의 전파 신호 - 예컨대, 반송파, 적외선 신호, 디지털 신호 등)와 같은 컴퓨터 머신 판독가능 매체를 이용하여 코드 및 데이터를 (내부적으로 그리고/또는 네트워크를 통해 다른 전자 디바이스들과) 통신하고 저장한다. 또한, 이러한 전자 디바이스들은, 하나 이상의 저장 디바이스(비일시적인 머신 판독가능 저장 매체), 사용자 입/출력 디바이스(예를 들어, 키보드, 터치스크린 및/또는 디스플레이) 및 네트워크 접속과 같은 하나 이상의 다른 컴포넌트에 연결된 하나 이상의 프로세서의 세트를 통상적으로 포함한다. 프로세서들의 세트와 다른 컴포넌트들의 연결은 통상적으로 하나 이상의 버스 및 브리지(버스 제어기로 또한 지칭됨)를 통해 이루어진다. 저장 디바이스, 및 네트워크 트래픽을 반송하는 신호들은 하나 이상의 머신 판독가능 저장 매체 및 머신 판독가능 통신 매체를 각각 나타낸다. 따라서, 주어진 전자 디바이스의 저장 디바이스는 통상적으로 그 전자 디바이스의 하나 이상의 프로세서의 세트 상에서 실행될 코드 및/또는 데이터를 저장한다. 물론, 본 발명의 실시예의 하나 이상의 부분은 소프트웨어, 펌웨어 및/또는 하드웨어의 상이한 조합들을 이용하여 구현될 수 있다. 본 상세한 설명 전체에 걸쳐, 설명의 목적으로, 본 발명의 철저한 이해를 제공하기 위해서 다수의 특정 상세가 제시되었다. 그러나, 본 발명은 이들 특정 상세 중 일부 없이 실시될 수 있다는 것이 관련 기술분야의 통상의 기술자에게 명백할 것이다. 특정 경우에, 본 발명의 대상을 모호하게 하는 것을 회피하기 위해서 잘 알려진 구조들 및 기능들은 상세하게 설명되지 않았다. 따라서, 본 발명의 범위 및 사상은 이하의 청구항들에 관하여 판단되어야 한다.

Claims (21)

  1. 프로세서로서,
    레벨 1(L1) 캐시를 적어도 포함하는, 데이터를 캐싱하기 위한 캐시 레벨들의 계층구조;
    하나 이상의 후속 연산과 연관된 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하기 위한 캐시 점유도 결정 로직(cache occupancy determination logic); 및
    상기 후속 연산들과 연관된 데이터가 상기 캐시 레벨들에 저장되어 있는지 여부의 결정에 기초하여, 상기 후속 연산들의 실행을 스케줄링하기 위한 스케줄링 로직
    을 포함하는 프로세서.
  2. 제1항에 있어서,
    상기 캐시 점유도 결정 로직은, 하나 이상의 후속 명령어와 연관된 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하기 위해 캐시 점유도 명령어를 실행하기 위한 실행 로직을 포함하는 프로세서.
  3. 제2항에 있어서,
    상기 캐시 점유도 명령어는 상기 하나 이상의 후속 명령어에 대한 데이터와 연관된 하나 이상의 어드레스를 판독하고, 상기 어드레스들을 이용하여, 상기 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하는 프로세서.
  4. 제3항에 있어서,
    상기 어드레스들을 이용하는 것은 상기 어드레스들을 이용하여 캐시 룩업 연산(cache lookup operation)을 수행하는 것을 포함하는 프로세서.
  5. 제1항에 있어서,
    상기 캐시 점유도 결정 로직은, 상기 하나 이상의 후속 연산과 연관된 데이터가 저장되어 있는 특정 캐시 레벨들을 또한 결정하는 프로세서.
  6. 제5항에 있어서,
    상기 스케줄링 로직은, 상기 후속 연산들에 대한 데이터가 저장되어 있는 특정 캐시 레벨들의 결정에 기초하여, 상기 후속 연산들의 실행을 스케줄링하는 프로세서.
  7. 제6항에 있어서,
    상기 스케줄링 로직은, 캐시 계층구조에서 상대적으로 상위에 있는 데이터를 갖는 연산들을, 상기 캐시 계층구조에서 상대적으로 하위에 있는 데이터 및/또는 캐시 레벨에 있지 않은 데이터를 갖는 연산들에 앞서 스케줄링하는 프로세서.
  8. 제1항에 있어서,
    상기 캐시 점유도 결정 로직은, 특정된 임계치에 기초하여 상기 데이터가 너무 멀리 떨어져 있는지 여부의 표시, 및/또는 상기 데이터에 액세스할 예상 시간을 또한 결정하는 프로세서.
  9. 제8항에 있어서,
    상기 스케줄링 로직은, 특정된 임계치에 기초하여 상기 데이터가 너무 멀리 떨어져 있는지 여부의 표시, 및/또는 상기 데이터에 액세스할 예상 시간의 결정에 기초하여, 상기 후속 연산들을 스케줄링하는 프로세서.
  10. 제1항에 있어서,
    상기 캐시 레벨들은 레벨 2(L2) 캐시 및 하위 레벨 캐시(LLC)를 더 포함하는 프로세서.
  11. 방법으로서,
    레벨 1(L1) 캐시를 적어도 포함하는 캐시 레벨들의 계층구조 내에 데이터를 캐싱하는 단계;
    하나 이상의 후속 연산과 연관된 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하는 단계; 및
    상기 후속 연산들과 연관된 데이터가 상기 캐시 레벨들에 저장되어 있는지 여부의 결정에 기초하여, 상기 후속 연산들의 실행을 스케줄링하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    하나 이상의 후속 명령어와 연관된 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하기 위해 캐시 점유도 명령어를 실행하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서,
    상기 캐시 점유도 명령어는 상기 하나 이상의 후속 명령어에 대한 데이터와 연관된 하나 이상의 어드레스를 판독하고, 상기 어드레스들을 이용하여, 상기 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하는 방법.
  14. 제13항에 있어서,
    상기 어드레스들을 이용하는 것은 상기 어드레스들을 이용하여 캐시 룩업 연산을 수행하는 것을 포함하는 방법.
  15. 제11항에 있어서,
    상기 하나 이상의 후속 연산과 연관된 데이터가 저장되어 있는 특정 캐시 레벨들을 결정하는 단계를 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 후속 연산들에 대한 데이터가 저장되어 있는 특정 캐시 레벨들의 결정에 기초하여, 상기 후속 연산들의 실행을 스케줄링하는 단계를 더 포함하는 방법.
  17. 제16항에 있어서,
    캐시 계층구조에서 상대적으로 상위에 있는 데이터를 갖는 연산들을, 상기 캐시 계층구조에서 상대적으로 하위에 있는 데이터 및/또는 캐시 레벨에 있지 않은 데이터를 갖는 연산들에 앞서 스케줄링하는 단계를 더 포함하는 방법.
  18. 제11항에 있어서,
    특정된 임계치에 기초하여 상기 데이터가 너무 멀리 떨어져 있는지 여부의 표시, 및/또는 상기 데이터에 액세스할 예상 시간을 결정하는 단계를 더 포함하는 방법.
  19. 제18항에 있어서,
    특정된 임계치에 기초하여 상기 데이터가 너무 멀리 떨어져 있는지 여부의 표시, 및/또는 상기 데이터에 액세스할 예상 시간의 결정에 기초하여, 상기 후속 연산들을 스케줄링하는 단계를 더 포함하는 방법.
  20. 제11항에 있어서,
    상기 캐시 레벨들은 레벨 2(L2) 캐시 및 하위 레벨 캐시(LLC)를 더 포함하는 방법.
  21. 시스템으로서,
    프로그램 코드 및 데이터를 저장하기 위한 메모리;
    하나 이상의 주변 디바이스와 통신하기 위한 입/출력(IO) 통신 인터페이스;
    상기 시스템을 네트워크에 통신가능하게 연결하기 위한 네트워크 통신 인터페이스; 및
    프로세서
    를 포함하고,
    상기 프로세서는,
    레벨 1(L1) 캐시를 적어도 포함하는, 데이터를 캐싱하기 위한 캐시 레벨들의 계층구조;
    하나 이상의 후속 연산과 연관된 데이터가 상기 캐시 레벨들 중 하나에 저장되어 있는지 여부를 결정하기 위한 캐시 점유도 결정 로직; 및
    상기 후속 연산들과 연관된 데이터가 상기 캐시 레벨들에 저장되어 있는지 여부의 결정에 기초하여, 상기 후속 연산들의 실행을 스케줄링하기 위한 스케줄링 로직
    을 포함하는 시스템.
KR1020167004467A 2013-09-24 2014-09-08 캐시 점유도 결정 및 명령어 스케줄링을 위한 방법 및 장치 KR101804908B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/035,231 2013-09-24
US14/035,231 US10140210B2 (en) 2013-09-24 2013-09-24 Method and apparatus for cache occupancy determination and instruction scheduling
PCT/US2014/054491 WO2015047700A1 (en) 2013-09-24 2014-09-08 Method and apparatus for cache occupancy determination and instruction scheduling

Publications (2)

Publication Number Publication Date
KR20160033768A true KR20160033768A (ko) 2016-03-28
KR101804908B1 KR101804908B1 (ko) 2017-12-07

Family

ID=52692054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004467A KR101804908B1 (ko) 2013-09-24 2014-09-08 캐시 점유도 결정 및 명령어 스케줄링을 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US10140210B2 (ko)
EP (1) EP3049924B1 (ko)
JP (1) JP6375379B2 (ko)
KR (1) KR101804908B1 (ko)
CN (1) CN105453041B (ko)
TW (1) TWI536165B (ko)
WO (1) WO2015047700A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105061A (ko) * 2017-03-14 2018-09-27 삼성전자주식회사 메모리 로드-투-로드 융합

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI588652B (zh) * 2015-09-01 2017-06-21 慧榮科技股份有限公司 讀取及寫入命令排程方法以及使用該方法的裝置
TWI621015B (zh) * 2015-09-01 2018-04-11 慧榮科技股份有限公司 讀取及寫入命令排程方法以及使用該方法的裝置
US10169239B2 (en) 2016-07-20 2019-01-01 International Business Machines Corporation Managing a prefetch queue based on priority indications of prefetch requests
US10452395B2 (en) * 2016-07-20 2019-10-22 International Business Machines Corporation Instruction to query cache residency
US10621095B2 (en) 2016-07-20 2020-04-14 International Business Machines Corporation Processing data based on cache residency
US10521350B2 (en) 2016-07-20 2019-12-31 International Business Machines Corporation Determining the effectiveness of prefetch instructions
US9946646B2 (en) * 2016-09-06 2018-04-17 Advanced Micro Devices, Inc. Systems and method for delayed cache utilization
US10235190B2 (en) 2016-12-14 2019-03-19 International Business Machines Corporation Executing instructions to store context information based on routine to be executed
US10180827B2 (en) 2016-12-14 2019-01-15 International Business Machines Corporation Suppressing storing of context information
US10095493B2 (en) 2016-12-14 2018-10-09 International Business Machines Corporation Call sequence generation based on type of routine
US20180165073A1 (en) 2016-12-14 2018-06-14 International Business Machines Corporation Context information based on type of routine being called
US10241769B2 (en) 2016-12-14 2019-03-26 International Business Machines Corporation Marking sibling caller routines
US10152338B2 (en) 2016-12-14 2018-12-11 International Business Machines Corporation Marking external sibling caller routines
CN108279928B (zh) * 2018-01-30 2021-03-19 上海兆芯集成电路有限公司 微指令调度方法及使用此方法的装置
CN111752868B (zh) * 2019-03-27 2024-06-18 北京沃东天骏信息技术有限公司 Lru缓存的实现方法、装置、计算机可读存储介质及设备
CN113138798A (zh) * 2020-01-18 2021-07-20 佛山市云米电器科技有限公司 多场景下的指令执行方法、装置、设备及存储介质
CN116755782B (zh) * 2023-08-18 2023-10-20 腾讯科技（深圳）有限公司 一种指令调度的方法、装置、设备、存储介质及程序产品

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943691A (en) * 1995-12-27 1999-08-24 Sun Microsystems, Inc. Determination of array padding using collision vectors
US5761515A (en) 1996-03-14 1998-06-02 International Business Machines Corporation Branch on cache hit/miss for compiler-assisted miss delay tolerance
US5724586A (en) * 1996-09-30 1998-03-03 Nec Research Institute, Inc. Method for improving cache locality of a computer program
US6073230A (en) * 1997-06-11 2000-06-06 Advanced Micro Devices, Inc. Instruction fetch unit configured to provide sequential way prediction for sequential instruction fetches
US6237059B1 (en) 1997-11-26 2001-05-22 Compaq Computer Corporation Method for estimating statistics of properties of memory system interactions among contexts in a computer system
US6308261B1 (en) 1998-01-30 2001-10-23 Hewlett-Packard Company Computer system having an instruction for probing memory latency
GB2348306B (en) 1999-03-25 2003-07-30 Ibm Data processing systems and method for processing tasks in such systems
KR20030088031A (ko) 2001-02-27 2003-11-15 인터내셔널 비지네스 머신즈 코포레이션 마이크로 프로세서 및 명령실행순서 스케쥴링 방법
JP2006516168A (ja) 2002-11-22 2006-06-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ストライド予測テーブルにアドレスするためにキャッシュミスパターンを使用する方法
US8069336B2 (en) 2003-12-03 2011-11-29 Globalfoundries Inc. Transitioning from instruction cache to trace cache on label boundaries
JP4520788B2 (ja) 2004-07-29 2010-08-11 富士通株式会社 マルチスレッドプロセッサ
US7392340B1 (en) * 2005-03-21 2008-06-24 Western Digital Technologies, Inc. Disk drive employing stream detection engine to enhance cache management policy
US7430642B2 (en) * 2005-06-10 2008-09-30 Freescale Semiconductor, Inc. System and method for unified cache access using sequential instruction information
EP1914632B1 (en) 2005-08-09 2012-06-27 Fujitsu Ltd. Schedule control program and schedule control method
US20070180158A1 (en) 2006-02-01 2007-08-02 International Business Machines Corporation Method for command list ordering after multiple cache misses
US20070186049A1 (en) 2006-02-03 2007-08-09 International Business Machines Corporation Self prefetching L2 cache mechanism for instruction lines
US7447879B2 (en) 2006-02-09 2008-11-04 International Business Machines Corporation Scheduling instructions in a cascaded delayed execution pipeline to minimize pipeline stalls caused by a cache miss
US7689773B2 (en) * 2006-11-30 2010-03-30 Sun Microsystems, Inc. Methods and apparatus for estimating fair cache miss rates on a chip multiprocessor
US8397236B2 (en) * 2007-08-24 2013-03-12 Virtualmetrix, Inc. Credit based performance managment of computer systems
US7890702B2 (en) * 2007-11-26 2011-02-15 Advanced Micro Devices, Inc. Prefetch instruction extensions
JP4759026B2 (ja) 2008-07-15 2011-08-31 公立大学法人広島市立大学 プロセッサ
US8392651B2 (en) * 2008-08-20 2013-03-05 Mips Technologies, Inc. Data cache way prediction
US9396024B2 (en) * 2008-10-14 2016-07-19 Vmware, Inc. Online computation of cache occupancy and performance
US8429665B2 (en) 2010-03-19 2013-04-23 Vmware, Inc. Cache performance prediction, partitioning and scheduling based on cache pressure of threads
US9244732B2 (en) * 2009-08-28 2016-01-26 Vmware, Inc. Compensating threads for microarchitectural resource contentions by prioritizing scheduling and execution
US9639479B2 (en) 2009-09-23 2017-05-02 Nvidia Corporation Instructions for managing a parallel cache hierarchy
US20110072218A1 (en) * 2009-09-24 2011-03-24 Srilatha Manne Prefetch promotion mechanism to reduce cache pollution
JP5625809B2 (ja) 2009-12-25 2014-11-19 富士通株式会社 演算処理装置、情報処理装置及び制御方法
US8677071B2 (en) * 2010-03-26 2014-03-18 Virtualmetrix, Inc. Control of processor cache memory occupancy
US9110810B2 (en) 2011-12-06 2015-08-18 Nvidia Corporation Multi-level instruction cache prefetching
US9311098B2 (en) * 2013-05-07 2016-04-12 Apple Inc. Mechanism for reducing cache power consumption using cache way prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105061A (ko) * 2017-03-14 2018-09-27 삼성전자주식회사 메모리 로드-투-로드 융합

Also Published As

Publication number Publication date
JP6375379B2 (ja) 2018-08-15
EP3049924A1 (en) 2016-08-03
TWI536165B (zh) 2016-06-01
US20150089139A1 (en) 2015-03-26
US10140210B2 (en) 2018-11-27
CN105453041A (zh) 2016-03-30
EP3049924B1 (en) 2020-12-23
EP3049924A4 (en) 2017-06-28
TW201516681A (zh) 2015-05-01
WO2015047700A1 (en) 2015-04-02
KR101804908B1 (ko) 2017-12-07
JP2016534476A (ja) 2016-11-04
CN105453041B (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
KR101804908B1 (ko) 캐시 점유도 결정 및 명령어 스케줄링을 위한 방법 및 장치
JP6143872B2 (ja) 装置、方法、およびシステム
US9619750B2 (en) Method and apparatus for store dependence prediction
JP6006247B2 (ja) 共有メモリへのアクセスの同期を緩和するプロセッサ、方法、システム、及びプログラム
US9361233B2 (en) Method and apparatus for shared line unified cache
US9904553B2 (en) Method and apparatus for implementing dynamic portbinding within a reservation station
CN108885586B (zh) 用于以有保证的完成将数据取出到所指示的高速缓存层级的处理器、方法、***和指令
US20130254486A1 (en) Speculative cache modification
US11182298B2 (en) System, apparatus and method for dynamic profiling in a processor
US20200012514A1 (en) Systems, Methods, and Apparatuses for Resource Monitoring
US9405545B2 (en) Method and apparatus for cutting senior store latency using store prefetching
US10083033B2 (en) Apparatus and method for efficient register allocation and reclamation
JP7046087B2 (ja) キャッシュ・ミス・スレッド・バランシング
CN114661434A (zh) 用于难以预测的分支的替代路径解码
US20180165200A1 (en) System, apparatus and method for dynamic profiling in a processor
US20170031827A1 (en) Speculative cache modification
US11693780B2 (en) System, method, and apparatus for enhanced pointer identification and prefetching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)