KR20170012201A - 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능 - Google Patents

다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능 Download PDF

Info

Publication number
KR20170012201A
KR20170012201A KR1020167027635A KR20167027635A KR20170012201A KR 20170012201 A KR20170012201 A KR 20170012201A KR 1020167027635 A KR1020167027635 A KR 1020167027635A KR 20167027635 A KR20167027635 A KR 20167027635A KR 20170012201 A KR20170012201 A KR 20170012201A
Authority
KR
South Korea
Prior art keywords
pixel
screen
active
samples
metadata
Prior art date
Application number
KR1020167027635A
Other languages
English (en)
Other versions
KR101922482B1 (ko
Inventor
토비아스 베르고프
Original Assignee
소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
소니 인터랙티브 엔터테인먼트 유럽 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨, 소니 인터랙티브 엔터테인먼트 유럽 리미티드 filed Critical 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Publication of KR20170012201A publication Critical patent/KR20170012201A/ko
Application granted granted Critical
Publication of KR101922482B1 publication Critical patent/KR101922482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

그래픽스 프로세싱 유닛(GPU)은 디스플레이 디바이스의 복수의 영역 중 디스플레이 디바이스의 특정한 영역에 대한 활성 샘플 구성을 명시하는 메타데이터를 수신하며 특정한 영역에서의 하나 이상의 픽셀에 대한 픽셀 데이터를 수신하도록 구성된다. 픽셀 데이터는 각각의 픽셀에 대해 동일한 수의 컬러 샘플을 명시한다. 특정한 영역에서의 각각의 픽셀에 대해, GPU는 단지 구성에 의해 활성 샘플들인 것으로 명시되는 컬러 샘플들을 위해 픽셀 쉐이더를 호출한다.

Description

다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능{VARYING EFFECTIVE RESOLUTION BY SCREEN LOCATION BY CHANGING ACTIVE COLOR SAMPLE COUNT WITHIN MULTIPLE RENDER TARGETS}
관련 출원들에 대한 상호 참조
본 출원은 본 출원과 동일한 날에 출원된, "고 분해능 디스플레이 버퍼들의 효율적인 구성을 위한 방법"이라는 제목의, Tobias Berghoff에, 공동으로-양도된, 공동-계류 중인 미국 특허 출원 번호 제14/246,064호, (대리인 문서 번호 SCEA13055US00)에 관련되며, 그 전체 내용들은 여기에서 참조로서 통합된다.
본 출원은, 2014년 4월 5일에 출원된, "오브젝트 및/또는 프리미티브 식별자들을 추적하는 것에 의한 그래픽스 프로세싱 강화"라는 제목의, Tobias Berghoff에, 공동으로-양도된, 공동-계류 중인 미국 특허 출원 번호 제14/246,067호, (대리인 문서 번호 SCEA13056US00)에 관련되며, 그 전체 내용들은 여기에서 참조로서 통합된다.
본 출원은 2014년 4월 5일에 출원된, "비-정규 직교 그리드로의 텍스처 매핑을 위한 그라디언트 조정"이라는 제목의, Mark Evan Cerny에, 공동으로-양도된, 공동-계류 중인 미국 특허 출원 번호 제14/246,068호, (대리인 문서 번호 SCEA13057US00)에 관련되며, 그 전체 내용들은 여기에서 참조로서 통합된다.
본 출원은, 2014년 4월 5일에 출원된, "래스터화 파라미터들을 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능"이라는 제목의, Mark Evan Cerny에, 공동으로-양도된, 공동-계류 중인 미국 특허 출원 번호 제14/246,063호, (대리인 문서 번호 SCEA13059US00)에 관련되며, 그 전체 내용들은 여기에서 참조로서 통합된다.
본 출원은 2014년 4월 5일에 출원된, "곡선 뷰포트로의 버텍스들의 사영을 근사함으로써 그래픽스 프로세싱에서의 스크린 위치에 의한 변화하는 유효 분해능"이라는 제목의, Mark Evan Cerny에, 공동으로-양도된, 공동-계류 중인 미국 특허 출원 번호 제14/246,066호, (대리인 문서 번호 SCEA13060US00)에 관련되며, 그 전체 내용들은 여기에서 참조로서 통합된다.
본 출원은, 2014년 4월 5일에 출원된, "스크린 위치에 따라 달라지는 분해능을 갖고 다수의 렌더 타겟들을 위한 텍스처 매핑을 위한 그라디언트 조정"이라는 제목의, Mark Evan Cerny에, 공동으로-양도된, 공동-계류 중인 미국 특허 출원 번호 제14/246,062호, (대리인 문서 번호 SCEA13061US00)에 관련되며, 그 전체 내용들은 여기에서 참조로서 통합된다.
기술분야
본 개시의 양상들은 컴퓨터 그래픽스에 관련된다. 특히, 본 개시는 스크린 위치에 의해 변화하는 분해능을에 관련된다.
그래픽스 프로세싱은 통상적으로 두 개의 프로세서들, 중앙 프로세싱 유닛(CPU) 및 그래픽스 프로세싱 유닛(GPU)의 조정을 수반한다. GPU는 디스플레이로의 출력을 위해 의도된 프레임 버퍼에서 이미지들의 생성을 가속화하도록 설계된 전문화된 전자 회로이다. GPU들은 내장 시스템들, 이동 전화들, 개인용 컴퓨터들, 태블릿 컴퓨터들, 휴대용 게임 디바이스들, 워크스테이션들, 및 게임 콘솔들에서 사용된다. GPU는 통상적으로 컴퓨터 그래픽들을 조작할 때 효율적이도록 설계된다. GPU들은 종종 데이터의 큰 블록들의 프로세싱이 병렬로 행해지는 알고리즘들을 위해 GPU를 범용 CPU보다 더 효과적이게 하는 고도 병렬 프로세싱 아키텍처를 가진다.
CPU는 특정한 그래픽스 프로세싱 태스크를 구현하도록, 예를 들어 이미지에서의 이전 프레임에 대해 변경된 특정한 텍스처를 렌더링하도록 GPU에 지시하는, 흔히 드로우(draw) 명령들로서 불리우는, GPU 지시들을 전송할 수 있다. 이들 드로우 명령들은 특정한 애플리케이션의 가상 환경의 상태에 대응하는 그래픽스 렌더링 명령들을 발행하기 위해 그래픽스 애플리케이션 프로그래밍 인터페이스(API)를 갖고 CPU에 의해 조정될 수 있다.
특정한 프로그램에 대한 텍스처들을 렌더링하기 위해, GPU는 가상 환경에서의 시각 자료들을 디스플레이 상에 렌더링될 수 있는 이미지들로 변환하기 위해 "그래픽스 파이프라인(graphics pipeline)"에서 일련의 프로세싱 태스크들을 수행할 수 있다. 통상적인 그래픽스 파이프라인은 가상 공간에서 가상 오브젝트들에 대한 특정한 렌더링 또는 쉐이딩 동작들, 출력 디스플레이에 적합한 픽셀 데이터를 생성하기 위해 장면에서 가상 오브젝트들의 변형 및 래스터화, 및 렌더링된 이미지를 디스플레이상에 출력하기 전에 픽셀들(또는 단편들)에 대한 부가적인 렌더링 태스크들을 수행하는 것을 포함할 수 있다.
이미지의 가상 오브젝트들은 종종 프리미티브들(primitives)로서 알려진 형태들에 관하여 가상 공간에서 설명되며, 이것들은 가상 장면에서 오브젝트들의 형태들을 함께 만든다. 예를 들면, 렌더링될 3-차원 가상 세계에서의 오브젝트들은 3-차원 공간에서 그것들의 좌표들에 관하여 정의된 버텍스들(vertices )을 가진 일련의 별개의 삼각형 프리미티브들로 감소될 수 있으며, 이에 의해 이들 다각형들은 오브젝트들의 표면들을 이룬다. 각각의 다각형은 주어진 다각형을 다른 다각형들과 구별하기 위해 그래픽스 프로세싱 시스템에 의해 사용될 수 있는 연관된 인덱스를 가질 수 있다. 마찬가지로, 각각의 버텍스는 주어진 버텍스를 다른 버텍스들과 구별하기 위해 사용될 수 있는 연관된 인덱스를 가질 수 있다. 그래픽스 파이프라인은 가상 장면을 위한 시각 자료들을 생성하며 이 데이터를 디스플레이의 픽셀들에 의한 재생에 적합한 2-차원 포맷으로 변형시키기 위해 이들 프리미티브들에 대한 특정한 동작들을 수행할 수 있다. 용어(그래픽스 프리미티브 정보(또는 간단히 "프리미티브 정보"))는, 여기에서 사용된 바와 같이, 그래픽스 프리미티브를 대표하는 데이터를 나타내기 위해 사용된다. 이러한 데이터는, 이에 제한되지 않지만, 버텍스 정보(예를 들어, 버텍스 위치들 또는 버텍스 인덱스들을 표현한 데이터) 및 다각형 정보, 예를 들어 다각형 인덱스들 및 특정한 다각형들과 특정한 버텍스들을 연관시키는 정보를 포함한다.
그래픽스 파이프라인의 부분으로서, GPU는 흔히 쉐이더들(shaders)로서 알려진 프로그램들을 구현함으로써 렌더링 태스크들을 수행할 수 있다. 통상적인 그래픽스 파이프라인은 버텍스 쉐이더들을 포함할 수 있으며, 이것은 버텍스-단위 기반으로 프리미티브들의 특정한 속성들, 뿐만 아니라 픽셀 쉐이더들(또한 "단편 쉐이더들"로서 알려진)을 조작할 수 있으며, 이것은 그래픽스 파이프라인에서 버텍스 쉐이더들로부터 아래로 동작하며 픽셀 데이터를 디스플레이로 송신하기 전에 픽셀-단위 기반으로 특정한 값들을 조작할 수 있다. 단편 쉐이더들은 텍스처들을 프리미티브들에 적용하는 것에 관련된 값들을 조작할 수 있다. 파이프라인은 또한 프리미티브들의 새로운 세트를 생성하기 위해 버텍스 쉐이더들의 출력을 사용하는 지오메트리 쉐이더들(geometry shaders), 뿐만 아니라 특정한 다른 일반 계산 태스크들을 수행하기 위해 GPU에 의해 구현될 수 있는 컴퓨트 쉐이더들(CS; compute shaders)과 같은, 파이프라인에서의 다양한 단계들에서 다른 쉐이더들을 포함할 수 있다.
와이드 시야각(FOV; field of view)을 가진 그래픽 디스플레이 디바이스들이 개발되어 왔다. 이러한 디바이스들은 헤드 장착 디스플레이(HMD) 디바이스들을 포함한다. HMD 디바이스에서, 소형 디스플레이 디바이스는 사용자의 머리에 착용된다. 디스플레이 디바이스는 한 눈(단안 HMD) 또는 각각의 눈(쌍안 HMD)의 앞에 디스플레이 광을 가진다. HMD 디바이스는 통상적으로 사용자의 헤드가 이동할 때 디바이스의 방향을 감지하고 디스플레이 광들에 의해 도시되는 장면을 변경할 수 있는 센서들을 포함한다. 종래에, 와이드 FOV 디스플레이들를 위해 장면들을 렌더링하는 대부분의 단계들은 스크린의 모든 부분들이 유닛 영역마다 동일한 수의 픽셀들을 가지는 평면 렌더링(planar rendering)에 의해 수행된다.
현실적인 경험을 제공하기 위해, 와이드 FOV 디스플레이 디바이스에 의해 제시되는 그래픽스가 고 품질을 가지고 효율적으로 렌더링되는 것이 바람직하다.
본 개시가 발달하기 시작한 것은 이러한 맥락에 있다.
본 개시의 교시들은 수반되는 도면들과 함께 다음의 상세한 설명을 고려함으로써 쉽게 이해될 수 있으며, 여기서:
도 1a 및 도 1b는 와이드 시야각(FOV) 디스플레이들의 특정한 파라미터들을 예시하는 간략화된 도해들이다.
도 1c는 와이드 FOV 디스플레이의 상이한 부분들에 대한 상이한 입체각들을 예시한다.
도 2a 내지 도 2c는 본 개시의 양상들에 따른 상이한 와이드 FOV 디스플레이들의 상이한 영역들에서의 픽셀들의 상대적 중요도의 예들을 예시한다.
도 2d는 본 개시의 양상들에 따른 FOV 디스플레이의 스크린의 상이한 영역들에 대한 상이한 픽셀 분해능의 예를 예시한다.
도 3a는 본 개시의 양상들에 따른 그래픽스 프로세싱 시스템의 블록도이다.
도 3b는 본 개시의 양상들에 따른 그래픽스 프로세싱 파이프라인의 블록도이다.
도 4a 내지 도 4c는 본 개시의 양상들에 따른 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능의 예를 개략적으로 예시한다.
도 4d는 본 개시의 양상들에 따른 스크린 위치에 의해 변화하는 픽셀 활성 샘플 카운트를 구현하기 위한 메타데이터 구성의 예를 예시하는 개략도이다.
도 4e는 본 개시의 양상들에 따른 스크린 위치에 의해 변화하는 픽셀 활성 샘플 카운트를 구현하기 위한 메타데이터 구성의 대안적인 예를 예시하는 개략도이다.
다음의 상세한 설명은 예시의 목적들을 위해 많은 특정 상세들을 포함하지만, 이 기술분야의 숙련자는 다음의 상세들에 대한 많은 변형들 및 변경들이 본 발명의 범위 내에 있다는 것을 이해할 것이다. 따라서, 이하에 설명된 본 발명의 대표적인 실시예들은 청구된 발명에 대한 일반성을 잃지 않고, 및 그것에 한계들을 두지 않고 제시된다.
도입
도 1a 내지 도 1c는 대형 FOV 디스플레이들이 갖는 이전에 인정받지 못한 문제를 예시한다. 도 1a는 90도 FOV 디스플레이를 예시하며 도 1b는 114도 FOV 디스플레이를 예시한다. 종래 대형 FOV 디스플레이에서, 3차원 지오메트리는 뷰 평면에 평면 사영을 사용하여 렌더링된다. 그러나, 지오메트리를 높은 FOV 뷰 평면 상에 렌더링하는 것이 매우 비효율적인 것으로 밝혀졌다. 도 1c에서 볼 수 있는 바와 같이, 뷰 평면(101)의 에지 영역들(112) 및 중심 영역들(114)은 동일한 영역이나 뷰어(103)에 의해 볼 수 있는 바와 같이, 매우 상이한 입체각들을 나타낸다. 그 결과, 스크린의 에지 부근 픽셀들은 중심 부근 픽셀들보다 훨씬 덜 의미있는 정보를 보유한다. 종래에 장면을 렌더링할 때, 이들 영역들은 동일한 수의 픽셀들을 가지고 스크린 상의 동일한 크기의 영역들을 렌더링하는 데 소비된 시간이 동일하다.
도 2a 내지 도 2c는 상이한 크기의 시야각들에 대해 2차원들로 대형 FOV 디스플레이의 상이한 부분들의 상대적 중요도를 예시한다. 도 2a는 체커보드가 114도 각도에 대하는 경우, 뷰 방향에 수직인 평면 체커보드의 각각의 정사각형에 대한 입체각의 변화량을 표현한다. 다시 말해서, 그것은 114도 FOV 디스플레이에의 종래 평면 사영 렌더링의 비효율성을 표현한다. 도 2b는 90도 FOV 디스플레이에 대한 동일한 정보를 표현한다. 이러한 평면 사영 렌더링에서, 사영은 에지들에 있는 이미지(201)에서의 타일들(202) 및 코너들에 있는 타일들(203)을 중심에 있는 타일들(204)과 비교하여 보다 작은 입체각들로 압축한다. 이 압축, 및 이미지(201)에서의 각각의 타일이 스크린 공간에서 동일한 수의 픽셀들을 가지는 사실로 인해, 중심 타일들(204)과 비교하여 에지 타일들(202)을 렌더링하기 위해 대략 4X의 비효율 요인이 존재한다. 이에 의해 에지 타일들(202)의 종래 렌더링은 중심 타일들(204)에 대해서보다 단위 입체각마다 대략 4배만큼 많은 프로세싱을 수반함을 의미한다. 코너 타일들(203)에 대해, 비효율 요인은 대략 8X이다. 전체 이미지(201)에 대해 평균할 때, 비효율 요인은 대략 2.5X이다.
비효율성은 FOV의 크기에 따른다. 예를 들어, 도 2b에 도시된 90도 FOV 디스플레이에 대해, 비효율 요인들은 에지 타일들(202)을 렌더링하는 것에 대해 대략 2X, 코너 타일들(203)을 렌더링하는 것에 대해 대략 3X, 및 전체로 이미지(201)를 렌더링하는 것에 대해 대략 1.7X이다.
이 상황을 보는 다른 방법이 도 2c에 도시되며, 여기서 스크린(102)은 대응되는 단위 입체각당 픽셀들에 관하여 거의 동등한 "중요도"의 직사각형들로 분할되었다. 각각의 직사각형은 디스플레이를 통해 볼 수 있는 바와 같이 최종 이미지에 대략 동일한 기여를 한다. 평면 사영이 에지 직사각형들(202) 및 코너 직사각형들(203)의 중요도를 어떻게 왜곡하는지를 볼 수 있다. 사실상, 코너 직사각형(203)은 디스플레이 광들로 인해 중심 직사각형들에 보다 덜 기여할 수 있으며, 이것은 디스플레이의 중심쪽으로 (입체각당 픽셀들로서 표현되는 바와 같은) 픽셀들의 시감 농도를 보다 높게 하도록 선택할 수 있다.
앞서 말한 관찰들에 기초하여, 도 2d에 도시된 바와 같이 이미지(210)에 대해 와이드 FOV 디스플레이가 중심 영역들(215)보다 에지 영역들(212, 214, 216, 218)에서 적고 에지 영역들(212, 214, 216, 218)에서 보다 코너 영역들(211, 213, 217, 및 219)에서 적은 픽셀 밀도들을 가지는 것이 바람직할 수 있다. 근본적인 그래픽 이미지 데이터 또는 데이터 포맷 또는 데이터의 프로세싱을 크게 수정하지 않고 스크린에 걸쳐 픽셀 밀도들을 변경함에 따라 동일한 효과를 얻는 방법으로 종래 그래픽 이미지를 와이드 FOV 디스플레이의 스크린 상에 렌더링하는 것이 또한 바람직할 수 있다.
본 발명의 양상들에 따르면 이들 이점들은 픽셀 쉐이더들이 대형 FOV 디스플레이 디바이스의 스크린의 상이한 영역들을 위해 호출되는 활성 컬러 샘플들의 수를 변경함으로써 그래픽스 파이프라인에서 취득될 수 있다.
이를 구현하기 위해, 그래픽스 파이프라인의 부분은 스크린의 상이한 영역들에서의 픽셀당 활성 컬러 샘플들의 수를 명시하는 메타데이터를 사용한다. 메타데이터는 이미지가 아닌, 스크린과 연관된다. 이미지 데이터는 변경되지 않으나, 그래픽스 파이프라인에서 픽셀 쉐이더 실행은 단지 활성 컬러 샘플들에 걸쳐 행해진다. 예를 들어, 이미지 데이터에서 픽셀당 네 개의 컬러 샘플들이 있을 수 있다. 스크린의 전 분해능 영역에 대해, 메타데이터는 활성 카운트를 4로 명시할 수 있으며, 이 경우, 픽셀 쉐이더는 모든 4개의 컬러 샘플들을 위해 호출된다. ¾ 분해능 영역에서, 활성 카운트는 3일 수 있으며, 이 경우, 픽셀 쉐이더는 4개 중 3개의 컬러 샘플들(예를 들어, 처음 3개)을 위해 호출된다. ½ 분해능 영역에서, 활성 카운트는 2일 수 있으며, 픽셀 쉐이더는 2개의 컬러 샘플들을 위해 호출될 수 있다. ¼ 분해능 영역에서, 활성 카운트는 1일 수 있으며, 픽셀 쉐이더는 단지 4개 중 1개의 컬러 샘플을 위해 호출될 수 있다.
시스템 및 장치
본 개시의 양상들은 가변 픽셀 샘플 분해능을 갖고 그래픽스 프로세싱을 구현하도록 구성되는 그래픽스 프로세싱 시스템들을 포함한다. 제한으로서가 아닌, 예로서, 도 3a는 본 발명의 양상들에 따른 그래픽스 프로세싱을 구현하기 위해 사용될 수 있는 컴퓨터 시스템(300)의 블록도를 예시한다. 본 발명의 양상들에 따르면, 시스템(300)은 내장 시스템, 이동 전화, 개인용 컴퓨터, 태블릿 컴퓨터, 휴대용 게임 디바이스, 워크스테이션, 및 게임 콘솔 등일 수 있다.
시스템(300)은 일반적으로 중앙 프로세서 유닛(CPU)(302), 그래픽스 프로세서 유닛(GPU)(304), 및 CPU 및 GPU 양쪽 모두에 액세스 가능한 메모리(308)를 포함할 수 있다. CPU(302) 및 GPU(304)는 각각 하나 이상의 프로세서 코어들, 예를 들어, 단일 코어, 두 개의 코어들, 4개의 코어들, 8개의 코어들, 또는 그 이상을 포함할 수 있다. 메모리(308)는 어드레싱 가능한 메모리, 예를 들어, RAM, DRAM 등을 제공하는 집적 회로의 형태일 수 있다. 메모리(308)는 그래픽스 리소스들을 저장하며 그래픽스 렌더링 파이프라인을 위한 데이터의 그래픽스 버퍼들(305)을 임시로 저장할 수 있는 그래픽스 메모리(328)를 포함할 수 있다. 그래픽스 버퍼들(305)은 예를 들어, 버텍스 파라미터 값들(vertex parameter values)을 저장하기 위한 버텍스 버퍼들, 버텍스 인덱스들을 유지하기 위한 인덱스 버퍼들, 그래픽스 콘텐트의 깊이 값들을 저장하기 위한 깊이 버퍼들(예를 들어, Z-버퍼들), 스텐실 버퍼들(stencil buffers), 디스플레이로 전송될 완성된 프레임들을 저장하기 위한 프레임 버퍼들, 및 다른 버퍼들을 포함할 수 있다. 도 3a에 도시된 예에서, 그래픽스 메모리(328)는 메인 메모리의 부분으로서 도시된다. 대안적인 구현들에서, 그래픽스 메모리는 가능하게는 GPU(304)로 통합되는, 별개의 구성요소일 수 있다.
제한으로서가 아닌, 예로서, CPU(302) 및 GPU(304)는 데이터 버스(309)를 사용하여 메모리(308)에 액세스할 수 있다. 몇몇 경우들에서, 둘 이상의 상이한 버스들을 포함하는 것이 시스템(300)에 유용할 수 있다. 메모리(308)는 CPU(302) 및 GPU(304)에 의해 액세스될 수 있는 데이터를 포함할 수 있다. GPU(304)는 병렬로 그래픽스 프로세싱 태스크들을 수행하도록 구성된 복수의 컴퓨트 유닛들을 포함할 수 있다. 각각의 컴퓨트 유닛은 로컬 데이터 셰어와 같은, 그 자신의 전용 로컬 메모리 저장소를 포함할 수 있다.
CPU는 CPU 코드(303 C )를 실행하도록 구성될 수 있으며, 이것은 그래픽들을 이용하는 애플리케이션, 컴파일러, 및 그래픽스 API를 포함할 수 있다. 그래픽스 API는 GPU에 의해 구현된 프로그램들로 드로우(draw) 명령들을 발행하도록 구성될 수 있다. CPU 코드(303 C )는 또한 물리 시뮬레이션들 및 다른 기능들을 구현할 수 있다. GPU(304)는 상기에서 논의된 바와 같이 동작하도록 구성될 수 있다. 특히, GPU는 상기 논의된 바와 같이, 컴퓨트 쉐이더들(CS), 버텍스 쉐이더들(VS), 및 픽셀 쉐이더들(PS)과 같은, 쉐이더들을 구현할 수 있는, GPU 코드(303 G )를 실행할 수 있다. 컴퓨트 쉐이더들(CS) 및 버텍스 쉐이더들(VS) 사이에서 데이터의 전달을 용이하게 하기 위해, 시스템은, 프레임 버퍼(FB)를 포함할 수 있는, 하나 이상의 버퍼들(305)을 포함할 수 있다. GPU 코드(303 G )는 또한 임의적으로 픽셀 쉐이더들 또는 지오메트리 쉐이더들과 같은, 다른 유형들의 쉐이더들(도시되지 않음)을 구현할 수 있다. 각각의 컴퓨트 유닛은 로컬 데이터 셰어와 같은, 그 자신의 전용 로컬 메모리 저장소를 포함할 수 있다. GPU(304)는 텍스처들을 그래픽스 파이프라인의 부분으로서 프리미티브들에 적용하기 위한 특정한 동작들을 수행하도록 구성된 텍스처 유닛(306)을 포함할 수 있다.
본 개시의 양상들에 따르면, CPU 코드(303 c ) 및 GPU 코드(303 g ) 및 시스템(300)의 다른 요소들은 그래픽스 파이프라인의 래스터화 단계가 디스플레이 디바이스의 복수의 영역들 중 디스플레이 디바이스(316)의 특정한 영역에 대한 활성 샘플 구성을 명시하는 메타데이터(MD)를 수신하도록 구성된다. 래스터화 단계는 특정한 영역에서의 하나 이상의 픽셀들에 대한 픽셀 데이터를 수신한다. 픽셀 데이터는 전체 표면에 걸쳐 동일한 샘플 카운트(각각의 픽셀에 대한 컬러 샘플들의 수)를 명시한다. 활성 샘플 카운트는 컬러 샘플 카운트 이하이고 컬러 샘플 카운트는 2 이상이다. 특정한 영역에서의 각각의 픽셀에 대해, 래스터화 단계는 단지 활성 샘플들을 위해 픽셀 쉐이더(PS)를 호출한다. 메타데이터(MD)는 상이한 픽셀 샘플 분해능들(디스플레이의 단위 면적당 픽셀 샘플들의 수)을 가질 영역들에 대해 상이한 활성 샘플 구성을 명시한다. 이 방법으로 픽셀 샘플 분해능은 디스플레이 디바이스(316)의 상이한 영역들마다 변화할 수 있고 그래픽스 프로세싱 로드는 고 분해능 영역들에 관하여 이들 영역들에 대한 활성 샘플 카운트를 감소시킴으로써 간단히 디스플레이의 저-분해능 영역들에 대해 감소될 수 있다.
몇몇 구현들에서, 메타데이터(MD)는 각각의 영역에 대한 활성 샘플들의 마스크를 포함한다. GPU(304)는 픽셀 쉐이더가 호출될 프리미티브에 대한 활성 샘플들을 결정하기 위해 프리미티브에 의해 커버되는 샘플들 및 마스크 간 논리 AND를 수행한다.
대안적인 구현에서, 메타데이터(MD)는 디스플레이 디바이스의 복수의 영역들 중 디스플레이 디바이스(316)의 특정한 영역에 대한 활성 샘플 카운트 구성을 명시한다. 활성 샘플 카운트는 컬러 샘플 카운트 이하이고 컬러 샘플 카운트는 2 이상이다. 특정한 영역에서의 각각의 픽셀에 대해, 래스터화 단계는 단지 활성 샘플 카운트와 동일한 픽셀에 대한 다수의 컬러 샘플들, 통상적으로 일정한 일관되게 정의된 샘플 순서에서 첫 번째로 시작해서 순차적 컬러 샘플들을 위해 픽셀 쉐이더(PS)를 호출한다.
몇몇 구현들에서, CPU 코드(303 c ), GPU 코드(303 g ), 및 텍스처 유닛(306)은 스크린 위치 종속 가변 픽셀 분해능과 함께 텍스처 매빙 동작들에 대한 수정들을 구현하기 위한 특정한 텍스처 매핑 동작들을 구현하도록 더 구성될 수 있다. 예를 들어, 픽셀 쉐이더(PS) 및 텍스처 유닛(306)은 하나 이상의 텍스처 매핑 동작들에 좌표 세트를 제공하기 위해 프리미티브에 대해 픽셀 위치(XY)마다 하나 이상의 텍스처 좌표들(UV)을 생성하도록, (가능한 대로 스크린에 걸쳐 샘플 밀도가 상이한 것을 처리하기 위한 보정들을 포함하여) 텍스처 좌표들(UV)로부터 그라디언트 값들(Gr)을 산출하도록 그리고 프리미티브에 적용하기 위한 텍스처에 대한 세부 수준(LOD; level of detail)을 결정하도록 구성될 수 있다.
제한으로서가 아닌, 예로서, GPU의 특정한 구성요소들, 예를 들어, 쉐이더들 또는 텍스처 유닛(306)의 특정한 유형들은, 애플리케이션-특정 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA), 또는 시스템 온 칩(SoC 또는 SOC)과 같은, 특수 목적 하드웨어로서 구현될 수 있다.
여기에서 사용된 바와 같이 및 일반적으로 이 기술분야의 숙련자들에 의해 이해되는 바와 같이, 애플리케이션-특정 집적 회로(ASIC)는 일반-목적 사용을 위해 의도되기보다는, 특정한 사용을 위해 맞춤화되는 집적 회로이다.
여기에서 사용된 바와 같이 및 일반적으로 이 기술분야의 숙련자들에 의해 이해되는 바와 같이, 필드 프로그램 가능한 게이트 어레이(FPGA)는 제조 후 고객 또는 설계자에 의해 구성되도록 설계되는 집적 회로이다 - 그러므로 "필드-프로그램 가능한". FPGA 구성은 일반적으로, ASIC을 위해 사용된 것과 유사한, 하드웨어 디스크립션 언어(HDL)를 사용하여 특정된다.
여기에서 사용된 바와 같이 및 일반적으로 이 기술분야의 숙련자들에 의해 이해되는 바와 같이, 칩 상에서의 시스템 또는 시스템 온 칩(SoC 또는 SOC)은 컴퓨터 또는 다른 전자 시스템의 모든 구성요소들을 단일 칩으로 통합하는 집적 회로(IC)이다. 그것은 디지털, 아날로그, 믹싱-신호, 및 종종 라디오-주파수 기능들 - 모두 단일 칩 기판 상에 있는 - 을 포함할 수 있다. 통상적인 애플리케이션은 내장 시스템들의 영역에 있다.
통상적인 SoC는 다음의 하드웨어 구성요소들을 포함한다:
하나 이상의 프로세서 코어들(예를 들어, 마이크로컨트롤러, 마이크로프로세서 또는 디지털 신호 프로세서(DSP) 코어들).
메모리 블록들, 예를 들어 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 전기적으로 삭제 가능한 프로그램 가능 판독-전용 메모리(EEPROM) 및 플래시 메모리.
발진기들 또는 위상-동기 루프들(phase-locked loops)과 같은, 타이밍 소스들.
카운터-타이머들, 실시간 타이머들, 또는 파워-온 리셋 발생기들과 같은, 주변 장치들.
외부 인터페이스들, 예를 들어, 범용 직렬 버스(USB), 파이어와이어, 이더넷, 범용 비동기식 수신기/송신기(USART), 직렬 주변 인터페이스(SPI) 버스와 같은 산업 표준들.
아날로그 대 디지털 변환기들(ADC들) 및 디지털 대 아날로그 변환기들(DAC들)을 포함하는 아날로그 인터페이스들.
전압 조절기들 및 전력 관리 회로들.
이들 구성요소들은 독점 또는 산업-표준 버스에 의해 연결된다. 직접 메모리 액세스(DMA) 제어기들은 외부 인터페이스들 및 메모리 사이에서 직접 데이터를 라우팅하여, 프로세서 코어를 바이패싱하며 그에 의해 SoC의 데이터 스루풋을 증가시킨다.
통상적인 SoC는 상기에서 설명된 하드웨어 구성요소들, 및 프로세서 코어(들), 주변 장치들 및 인터페이스들을 제어하는 실행 가능한 지시들(예를 들어, 소프트웨어 또는 펌웨어) 양쪽 모두를 포함한다.
본 개시의 양상들에 따르면, 쉐이더들 또는 텍스처 유닛들(306)의 기능들 중 일부 또는 모두는 대안적으로 소프트웨어 프로그램 가능한 범용 컴퓨터 프로세서에 의해 실행되는 적절하게 구성된 소프트웨어 지시들에 의해 구현될 수 있다. 이러한 지시들은 컴퓨터-판독 가능한 매체, 예를 들어, 메모리(308) 또는 저장 디바이스(315)에 구체화될 수 있다.
시스템(300)은 또한 잘-알려진 지원 기능들(310)을 포함할 수 있으며, 이것은 예를 들어 버스(309)를 통해, 시스템의 다른 구성요소들과 통신할 수 있다. 이러한 지원 기능들은 이에 제한되지 않지만, 입력/출력(I/O) 요소들(311), 전원 공급 장치들(P/S)(312), 클록(CLK)(313) 및 캐시(314)를 포함할 수 있다. 캐시(314) 외에, GPU(304)는 그 자신의 GPU 캐시(314 G )를 포함할 수 있으며, GPU는 GPU(304) 상에서 실행하는 프로그램들이 GPU 캐시(314 G )를 통해 판독하거나 또는 그것을 통해 기록할 수 있도록 구성될 수 있다.
시스템(300)은 사용자에게 렌더링된 그래픽스(317)를 제시하기 위해 디스플레이 디바이스(316)를 포함할 수 있다. 대안적인 구현들에서, 디스플레이 디바이스(316)는 시스템(300)과 협력하는 별개의 구성요소이다. 디스플레이 디바이스(316)는 평판 디스플레이, 헤드 장착 디스플레이(HMD), 음극선관(CRT) 스크린, 프로젝터, 또는 시각적 텍스트, 숫자들, 그래픽 심볼들 또는 이미지들을 디스플레이할 수 있는 다른 디바이스의 형태일 수 있다. 특히 유용한 구현들에서, 디스플레이(316)는 곡선형 스크린을 갖는 넓은 시야각(FOV) 디바이스이다. 디스플레이(316)는 여기에 설명된 다양한 기술들에 따라 프로세싱된 렌더링된 그래픽 이미지들(317)을 디스플레이할 수 있다.
시스템(300)은 프로그램들 및/또는 데이터를 저장하기 위해 디스크 드라이브, CD-ROM 드라이브, 플래시 메모리, 테이프 드라이브 등과 같은 대용량 저장 디바이스(315)를 임의적으로 포함할 수 있다. 시스템(300)은 또한 임의적으로 시스템(300) 및 사용자 간 상호작용을 용이하게 하기 위해 사용자 인터페이스 유닛(318)을 포함할 수 있다. 사용자 인터페이스(318)는 키보드, 마우스, 조이스틱, 광 펜, 게임 제어기, 또는 그래픽 사용자 인터페이스(GUI)와 함께 사용될 수 있는 다른 디바이스를 포함할 수 있다. 시스템(300)은 또한 디바이스가 네트워크(322)를 통해 다른 디바이스들과 통신할 수 있게 하기 위해 네트워크 인터페이스(320)를 포함할 수 있다. 네트워크(322)는, 예를 들어 근거리 네트워크(LAN), 인터넷과 같은 광역 네트워크, 블루투스 네트워크와 같은 개인 영역 네트워크 또는 다른 유형의 네트워크일 수 있다. 이들 구성요소들은 하드웨어, 소프트웨어, 또는 펌웨어, 또는 이들 중 둘 이상의 몇몇 조합으로 구현될 수 있다.
그래픽스 파이프라인(Graphics Pipeline)
본 개시의 양상들에 따르면, 시스템(300)은 그래픽스 렌더링 파이프라인의 부분들을 구현하도록 구성된다. 도 3b는 본 개시의 양상들에 따른 그래픽스 렌더링 파이프라인(330)의 예를 예시한다.
렌더링 파이프라인(330)은 2-차원, 또는 바람직하게는 가상 공간(때때로 여기에서 "세계 공간"으로 불리우는)에서의 3-차원 기하학 구조를 가진 장면을 묘사하는 이미지들로서 그래픽들을 렌더링하도록 구성될 수 있다. 파이프라인의 초기 단계들은 장면이 디스플레이 디바이스(316) 상에서의 출력에 적합한 별개의 화상 요소들의 세트로서 래스터화되며 스크린 공간으로 변환되기 전에 가상 공간에서 수행된 동작들을 포함할 수 있다. 파이프라인 전체에 걸쳐, 그래픽스 메모리(328)에 포함된 다양한 리소스들은 파이프라인 단계들에서 이용될 수 있으며 단계들로의 입력들 및 출력들은 이미지들의 최종 값들이 결정되기 전에 그래픽스 메모리에 포함된 버퍼들에서 임시로 저장될 수 있다.
렌더링 파이프라인은 입력 데이터(332)에 대해 동작할 수 있으며, 이것은 가상 공간에서 셋업되며 장면에서의 좌표들에 대해 정의되는 기하학적 구조를 갖는 버텍스들의 세트에 의해 정의된 하나 이상의 가상 오브젝트들을 포함할 수 있다. 파이프라인의 초기 단계들은 도 3b에서 버텍스 프로세싱 단계(334)로서 광범위하게 분류되는 것을 포함할 수 있으며, 이것은 가상 공간에서 오브젝트들의 버텍스들을 프로세싱하기 위해 다양한 계산들을 포함할 수 있다. 이것은 버텍스 쉐이딩 계산들(336)을 포함할 수 있으며, 이것은 위치 값들(예를 들어, X-Y 좌표 및 Z-깊이 값들), 컬러 값들, 조명 값들, 텍스처 좌표들 등과 같은, 장면에서의 버텍스들의 다양한 파라미터 값들을 조작할 수 있다. 바람직하게는, 버텍스 쉐이딩 계산들(336)은 하나 이상의 프로그램 가능한 버텍스 쉐이더들에 의해 수행된다. 버텍스 프로세싱 단계는 가상 공간에서 새로운 버텍스들 및 새로운 기하학적 구조들을 생성하기 위해 선택적으로 사용될 수 있는 테셀레이션(tessellation) 및 지오메트리 쉐이더 계산들(338)과 같은, 부가적인 버텍스 프로세싱 계산들을 선택적으로 포함할 수 있다. 일단 버텍스 프로세싱(334)으로 불리우는 단계가 완료되면, 파이프라인에서의 이러한 단계에서, 장면은 각각이 버텍스 파라미터 값들(339)의 세트를 갖는 버텍스들의 세트에 의해 정의된다.
파이프라인(330)은 그 후 장면 지오메트리를 스크린 공간 및 별개의 화상 요소들, 즉 픽셀들의 세트로 변환하는 것과 연관된 래스터화 프로세싱 단계들(340)로 진행할 수 있다. 가상 공간 기하학적 구조는 근본적으로 가상 공간으로부터 장면의 뷰잉 윈도우(또는 "뷰포트(viewport)")로 오브젝트들 및 버텍스들의 사영를 계산할 수 있는 동작들을 통해 스크린 공간 기하학적 구조로 변형될 수 있다. 버텍스들은 프리미티들의 세트를 정의할 수 있다.
도 3b에 도시된 래스터화 프로세싱 단계(340)는 프리미티브 어셈블리 동작들(342)을 포함할 수 있으며, 이것은 장면에서 버텍스들의 각각의 세트에 의해 정의되는 프리미티브들을 셋업할 수 있다. 각각의 버텍스는 인덱스에 의해 정의될 수 있으며, 각각의 프리미티브는 그래픽스 메모리(328)에서의 인덱스 버퍼들에 저장될 수 있는, 이들 버텍스 인덱스들에 대하여 정의될 수 있다. 프리미티브들은 바람직하게는 3개의 버텍스들 각각에 의해 정의된 적어도 삼각형들을 포함할 수 있지만, 또한 포인트 프리미티브들, 라인 프리미티브들, 및 다른 다각형 형태들을 포함할 수 있다. 프리미티브 어셈블리 단계(342) 동안, 특정한 프리미티브들은 임의적으로 컬링(culling)될 수 있다. 예를 들면, 그것의 인덱스들이 특정한 와인딩 순서를 표시하는 이들 프리미티브들은 배면(back-facing)하는 것으로 고려될 수 있으며 장면으로부터 컬링될 수 있다.
프리미티브들이 어셈블리된 후, 래스터화 프로세싱 단계들은 주사 변환 동작들(344)을 포함할 수 있으며, 이것은 각각의 픽셀에서 프리미티브들을 샘플링하며 샘플들이 프리미티브에 의해 커버될 때 추가 프로세싱을 위해 프리미티브들로부터 단편들(때때로 픽셀들로서 불리우는)을 생성할 수 있다. 임의적으로, 각각의 픽셀에 대한 다수의 샘플들은 주사 변환 동작들(344) 동안 프리미티브들 내에서 취해지며, 이것은 안티-앨리어싱 목적들을 위해 사용될 수 있다. 특정한 구현들에서, 상이한 픽셀들은 상이하게 샘플링될 수 있다. 예를 들면, 몇몇 에지 픽셀들은 헤드 장착 디스플레이들(HMD들)과 같은, 특정한 유형들의 디스플레이 디바이스(316)를 위한 렌더링의 특정한 양상들을 최적화하기 위해 중심 픽셀들보다 낮은 샘플링 밀도를 포함할 수 있다. 주사 변환(344) 동안 프리미티브들로부터 생성된 단편들(또는 "픽셀들")은 그것들을 생성한 프리미티브의 버텍스들의 버텍스 파라미터 값들(339)로부터 픽셀들의 위치들로 보간될 수 있는 파라미터 값들을 가질 수 있다. 래스터화 단계(340)는, 파이프라인의 나중 단계들에서 추가 프로세싱을 위한 입력들로서 사용될 수 있는, 이들 보간된 단편 파라미터 값들(349)을 계산하기 위해 파라미터 보간 동작들(346) 단계를 포함할 수 있다.
본 발명의 양상들에 따르면, 프리미티브 어셈블리(342) 및 주사 변환(344) 사이에서 스크린의 상이한 서브섹션들이 이한 픽셀 분해능들을 갖는다는 사실을 설명하는 특정한 동작들이 발생한다. 특정한 구현들에서, 프리미티브의 버텍스들에 대한 스크린 위치가 알려지면, 프리미티브가 오버랩하는 모든 미리 정의된 스크린 서브섹션들(때때로 여기에서 코어스 래스터화 타일들로서 불리우는)을 찾기 위해 코어스 래스터화(343)가 행해질 수 있다. 프리미티브가 오버랩하는 각각의 서브섹션에 대해, 유효 분해능이 해당 서브섹션에 대해 수정되게 하는 서브-섹션 종속 메타데이터(MD), 예를 들어, 활성 샘플 카운트 또는 다른 파라미터들이 수신된다. 주사 변환(344) 및 후속 프로세싱 단계들은 단지 관련 서브섹션 또는 서브섹션들에 대해 명시된 수의 활성 샘플들에 대한 픽셀 프로세싱을 수행함으로써 최종 픽셀값들을 생성한다.
그래픽스 파이프라인(330)은 보간된 파라미터 값들(349)을 추가로 조작하며 단편들이 어떻게 디스플레이(316)를 위해 최종 픽셀 값들에 기여하는지를 결정하는 추가 동작들을 수행하기 위해, 일반적으로 도 3b에서의 350에서 표시된, 추가 픽셀 프로세싱 동작들을 포함할 수 있다. 이들 픽셀 프로세싱 태스크들의 일부는 단편들의 보간된 파라미터 값들(349)을 추가로 조작하기 위해 사용될 수 있는 픽셀 쉐이딩 계산들(352)을 포함할 수 있다. 픽셀 쉐이딩 계산들은 프로그램 가능한 픽셀 쉐이더에 의해 수행될 수 있으며, 픽셀 쉐이더 호출들(348)은 래스터화 프로세싱 단계들(340) 동안 프리미티브들의 샘플링에 기초하여 개시될 수 있다. 상기에서 언급된 바와 같이, 픽셀 쉐이더 호출들(348)은 또한 프리미티브가 렌더링될 디스플레이 디바이스(316)의 특정한 영역에서의 각각의 픽셀에 대한 활성 샘플 카운트를 명시하는 메타데이터(MD)에 기초하여 표시될 수 있다. 특정한 영역에서의 각각의 픽셀에 대해, 픽셀 쉐이더 호출들(348)은 단지 상기 활성 샘플 카운트와 동일한 픽셀에 대한 다수의 컬러 샘플들을 위해 발생할 수 있다.
도 4a는 메타데이터(MD)가 어떻게 디스플레이 스크린(316)의 상이한 영역들(401)에 대한 상이한 활성 컬러 샘플들을 명시하도록 구성될 수 있는지에 대한 예를 예시한다. 몇몇 구현들에서, 각각의 영역은 디스플레이의 고정된 크기 부분에 대응할 수 있다. 다른 구현들에서, 각각의 영역은 디스플레이의 가변 크기 부분에 대응할 수 있다. 추가 구현들에서, 메타데이터(MD)는 수직 수평 방향들에서 픽셀들의 범위들에 의해 각각의 영역(401)을 정의할 수 있다. 또 추가 구현들에서, 메타데이터(MD)는 상당한 크기, 예를 들어 32 픽셀들 x 32 픽셀들의 코어스 래스터화 타일들에 의해 각각의 영역을 정의할 수 있다. 특정한 영역과 연관된 메타데이터는 해당 영역에 대한 활성 컬러 샘플 카운트를 명시하는 정보를 포함한다. 제한으로서가 아닌 예로서, 메타데이터는 메모리(308)는 및/또는 그래픽스 메모리(328)에 테이블의 형태로 저장될 수 있다.
제한으로서가 아닌, 예로서, 디스플레이 스크린(316)의 각각의 영역(401)의 각각의 픽셀(403)은 8개의 깊이 샘플들 및 4개의 컬러 샘플들을 가지도록 정의될 수 있다. 임의의 특정한 영역에 대한 메타데이터는 해당 영역에 대한 바람직한 분해능에 따라, 해당 영역에 대해 1, 2, 3, 또는 4의 활성 컬러 샘플 카운트를 명시할 수 있다. 도 4a에 예시된 예에서, 스크린(316)의 중앙 영역들은 전 분해능을 갖도록 요구되고, 따라서 메타데이터(MD)는 해당 영역들에 대해 4의 활성 샘플 카운트를 명시한다.
이러한 구현들에서, 많은 그래픽스 파이프라인(330)에서의 프로세싱이 정상적으로 발생한다. 예를 들어, 프리미티브 어셈블리(342) 및 래스터화 프로세싱(340)의 다른 부분들, 이를테면 주사 변환(344) 및 파라미터 보간(346)이 종래와 같이 구현될 수 있다. 스크린은 예를 들어, 컬러 샘플 카운트, 깊이 샘플 카운트, 위치, 및 다른 파라미터들을 명시하는, 단일 픽셀 포맷을 가질 수 있다. 본 개시의 양상들의 신규 특징은 픽셀 쉐이더 호출(348)을 위해 각 영역(401) 메타데이터(MD)가 활성 컬러 샘플 카운트를 명시하고 픽셀 쉐이더들이 활성 컬러 샘플 카운트와 동일한 회수로 호출된다는 것이다.
특정한 구현들에서, 픽셀 쉐이더 호출들(348)은 자동으로 언롤링(unrolling)되고 깊이 샘플들이 항상 기록된다. 호출들이 항상 언롤링된다면, 픽셀 쉐이딩 계산들(352)은 그것들을 다중-샘플링하는 것과는 대조적으로, 각각의 활성 컬러 샘플을 위해 호출되는 것에 의해 픽셀들을 슈퍼-샘플링한다.
예를 들어, 메타데이터(MD)가 중앙 영역(401 C )에 대해 픽셀당 4 컬러 샘플들을 명시하고 에지 영역(401 E )에서의 픽셀당 2 컬러 샘플들을 명시한다면, 그것은 에지 영역(401 E )과 비교하여 중앙 영역(401 C )에서의 수평 및 수직 방향들에서 2x 더 높은 분해능과 같다.
도 4b는 2-픽셀 X 2-픽셀 쿼드(406)가 네 개의 픽셀을 완전히 묘사하는 4 컬러 샘플들 나타내는 픽셀당 단일 샘플 이미지의 예를 예시한다. 깊이 샘플들은 이때 본 예에서 컬러 샘플들과 구별되지 않는다. 삼각형(405)에 대해, 4개 중 3개의 픽셀-위치들이 삼각형에 의해 커버되고, 따라서 이 하나의 쿼드는 3개의 커버된 샘플들을 갖는 단일 단편으로서 픽셀 쉐이딩 계산들(352)을 위해 픽셀 쉐이더(PS)로 전달된다. 픽셀 쉐이더(PS)는 4개의 컬러 샘플들을 쉐이딩하고 프레임-버퍼(FB)에 그것들 중 3개를 저장한다.
도 4c에서는, 대조적으로 픽셀당 네 개의 컬러 샘플들이 있고, 따라서 도시된 16개의 샘플들이 단지 2x2 픽셀들에 대응하나, 도 4b에 예시된 예에서 그것은 4x4 픽셀들이었다. 이 도해는 활성 픽셀들이 픽셀 쉐이더 호출이 각각이 하나의 커버된 샘플을 포함하는, 각각의 커버된 샘플 상에서 발생하도록 언롤링될 때 생성되는 세 개의 단편들을 도시한다.
활성 샘플 카운트는 메타데이터(MD)에 의해 명시되는 샘플들을 선택적으로 디세이블함으로써 변화될 수 있다. 예를 들어, 각각의 픽셀에서의 상부 우측 및 하부 좌측이 비활성으로 렌더링된다면, 단지 하나의 활성 샘플 위치가 커버되고 그에 따라 도 4c에 도시된 세 개의 단편들 중 단지 중간 단편이 픽셀-쉐이더(PS)로 전달될 수 있다.
몇몇 구현들에서, 메타데이터는 디스플레이(316)의 광들 및 FOV에 대해 고정된다. 이러한 메타데이터 구성의 예가 도 4d에 개략적으로 도시된다. 도 4d는 메타데이터(MD)가 어떻게 디스플레이 스크린(316)의 상이한 서브섹션들(401)에 대한 상이한 활성 픽셀 샘플들(또는 활성 컬러 샘플들)을 명시하도록 구성될 수 있는지에 대한 예를 예시한다. 도 4d에 예시된 예에서, 스크린(316)의 중앙 서브섹션들은 전 분해능을 갖도록 요구되고, 따라서 중앙으로부터 멀어지는 서브섹션들은 점진적으로 더 낮은 분해능을 가진다. 제한으로서가 아닌, 예로서, 디스플레이 스크린(316)의 각각의 영역(401)의 각각의 픽셀(403)은 고정된 수의 깊이 및 컬러 샘플들, 예를 들어, 8개의 깊이 샘플들 및 4개의 컬러 샘플들을 가지도록 정의될 수 있다. 임의의 특정한 영역에 대한 메타데이터는 해당 영역에 대한 바람직한 분해능에 따라, 해당 영역에 대한 1, 2, 3, 또는 4의 활성 컬러 샘플 카운트를 명시할 수 있다.
대안적인 구현들에서, 메타데이터는 아이 트래킹(eye tracking)을 위한 포비얼 렌더링(foveal rendering)을 구현하기 위해 변할 수 있다. 이러한 구현들에서, 시스템(300)은 사용자의 시선, 즉, 사용자의 눈이 가리키고 있는 곳을 트래킹하기 위한, 및 이 정보를 사용자가 보고 있는 대응하는 스크린 위치와 관련시키기 위한 하드웨어를 포함한다. 이러한 하드웨어의 일례는 디스플레이 디바이스(316)의 스크린에 대하여 및 사용자의 일반적 방향을 가리키는 알려진 위치에 디지털 카메라를 포함할 수 있다. 디지털 카메라는 사용자 인터페이스(318) 또는 별개의 구성요소의 부분일 수 있다. CPU 코드(303 C )는 (a) 사용자가 이미지 내에 있는지; (b) 사용자가 카메라를 향하고 있는지; (c) 사용자가 스크린을 향하고 있는지; (d) 사용자의 눈이 보이는지; (e) 사용자의 머리에 관한 사용자의 눈들의 동공들의 방향; 및 (f) 카메라에 관한 사용자의 머리의 방향을 결정하기 위해 카메라로부터 이미지들을 분석하는 이미지 분석 소프트웨어를 포함할 수 있다. 알려진 위치 및 스크린에 대한 카메라의 방향, 사용자의 머리에 관한 사용자의 눈들의 동공들의 방향 및 카메라에 관한 사용자의 머리의 방향으로부터 이미지 분석 소프트웨어는 사용자가 스크린을 보고 있는지를 결정할 수 있고, 그렇다면, 스크린 공간은 사용자가 보고 있는 스크린의 부분(401)에 대한 좌표를 표시한다. CPU 코드(303 c )는 그 후 이들 스크린 좌표들을 GPU 코드(303 G )로 전달할 수 있으며, 이것은 부분(401)을 포함하는 서브섹션 또는 서브섹션들을 결정할 수 있다. GPU 코드가 그 후 픽셀 분해능이 도 4e에 도시된 바와 같이, 부분(401)을 포함하는 서브섹션 또는 서브섹션들에서 가장 높고 부분(401)으로부터 멀어지는 서브섹션들에서 점진적으로 낮아지도록 그에 따라 메타데이터(MD)를 수정할 수 있다.
다시 도 3b를 참조하면, 픽셀 쉐이딩 계산들(352)은 때때로 렌더 타겟들로서, 또는 다수이면, 다수의 렌더 타겟들(MRT들)로서 불리우는, 그래픽스 메모리(328)에서의 하나 이상의 버퍼들(305)로 값들을 출력할 수 있다. MRT들은 픽셀 쉐이더들로 하여금, 각각이 동일한 스크린 치수들을 갖지만 잠재적으로 상이한 픽셀 포맷을 갖는, 하나 이상의 렌더 타겟으로 선택적으로 출력하도록 허용한다.　 렌더 타겟 포맷 제한들은 종종 임의의 하나의 렌더 타겟이 단지 4개까지의 독립적인 출력 값들(채널들)을 수용할 수 있으며 이들 4개의 채널들의 포맷들이 서로 단단히 묶여있음을 의미한다. MRT들은 단일 픽셀 쉐이더가 상이한 포맷들의 믹스로 보다 많은 값들을 출력하도록 허용한다.　 렌더 타겟들의 포맷들은, 그것들이 스크린 공간 픽셀마다 값들을 저장하지만, 다양한 성능 이유들로, 렌더 타겟 포맷들이 때때로(항상이 아닌) 그것이 텍스처 유닛들에 의해 판독되는 것과 호환 가능하기 전에 데이터를 재포맷하기 위해 "분해(resolve)"로 불리우는 것을 요구하는, 최근의 하드웨어 생성들에서 보다 전문화되고 있다는 점에서, "텍스처-형"이다.
픽셀 프로세싱(350)은 일반적으로, 흔히 래스터 동작(ROP)으로서 알려져 있는 것을 포함할 수 있는, 렌더 출력 동작들(356)에서 끝날 수 있다. 래스터화 동작들(ROP)은 간단히 다수의 렌더 타겟들(MRT들) 중에서 각각의 렌더 타겟에 대해 한 번, 픽셀 당 다수 회 실행된다. 출력 동작들(356) 동안, 최종 픽셀 값들(359)은 프레임 버퍼에서 결정될 수 있고, 이것은 임의적으로 단편들을 병합하는 것을 포함하여, 스텐실들, 깊이 테스트들, 및 특정한 샘플 단위 프로세싱 태스크들을 적용할 수 있다. 최종 픽셀 값들(359)은 모든 활성 렌더 타겟들(MRT들)로의 수집된 출력을 포함한다. GPU(304)는 완성된 프레임(360)을 형성하기 위해 최종 픽셀 값들(359)을 사용하며, 이것은 실시간으로 디스플레이 디바이스(316)의 픽셀들에 대해 선택적으로 디스플레이될 수 있다.
출력 동작들(350)은 또한 텍스처 매핑 동작들(354)을 포함할 수 있으며, 이것은 하나 이상의 픽셀 쉐이더들(예를 들어, 픽셀 쉐이더들(PS), 컴퓨터 쉐이더들(CS), 버텍스 쉐이더들(VS) 또는 다른 유형들의 쉐이더들)에 의해 어느 정도까지 및 텍스처 유닛들(306)에 의해 어느 정도까지 수행될 수 있다. 픽셀 쉐이더 계산들(352)은 스크린 공간 좌표들(XY)로부터 텍스처 좌표들(UV)을 산출하는 것, 및 텍스처 동작들(354)로 텍스처 좌표들을 전송하는 것, 및 텍스처 데이터(TX)를 수신하는 것을 포함한다.　 텍스처 좌표들(UV)은 임의의 방식으로 스크린 공간 좌표들(XY)로부터 산출될 수 있지만, 통상적으로 보간된 입력 값들로부터 또는 때때로 이전 텍스처 동작들의 결과들로부터 산출된다.　그라디언트들(Gr)은 종종 텍스처 유닛들(306)(텍스처 동작들 하드웨어 유닛들)에 의해 텍스처 좌표들의 쿼드들로부터 직접 산출될 수 있지만, 임의적으로 픽셀 쉐이더 계산들(352)에 의해 명확하게 산출되며 디폴트 산출을 수행하기 위해 텍스처 유닛들(306)에 의존하기보다는 텍스처 동작들(354)로 나아갈 수 있다.
텍스처 동작들(356)은 일반적으로 픽셀 쉐이더(PS) 및 텍스처 유닛(306)의 몇몇 조합에 의해 수행될 수 있는, 다음의 단계들을 포함한다. 첫 번째로, 픽셀 위치(XY) 당 하나 이상의 텍스처 좌표들(UV)은 각각의 텍스처 매핑 동작을 위한 좌표 세트를 제공하기 위해 생성 및 사용된다. 그 후, 그라디언트 값들(Gr)은 텍스처 좌표들(UV)(잠재적으로 샘플 위치들의 비-정규 직교성에 대한 보정들을 갖는)로부터 산출되고 프리미티브에 적용하기 위한 텍스처에 대한 세부 수준(LOD)을 결정하기 위해 사용된다.
부가적인 양상들
본 개시의 부가적인 양상들은 그래픽스 프로세싱 방법을 포함하며, 상기 그래픽스 프로세싱 방법은: 디스플레이 디바이스의 복수의 영역 중 디스플레이 디바이스의 특정한 영역에 대한 활성 샘플 구성을 명시하는 메타데이터를 수신하는 단계;
특정한 영역에서의 하나 이상의 픽셀들에 대한 픽셀 데이터를 수신하는 단계로서, 픽셀 데이터는 각각의 픽셀에 대해 동일한 수의 컬러 샘플을 명시하는, 상기 픽셀 데이터를 수신하는 단계; 및
특정한 영역에서의 각각의 픽셀에 대해, 단지 상기 활성 샘플 구성에 의해 활성 샘플들인 것으로 명시되는 컬러 샘플들을 위해 픽셀 쉐이더를 호출하는 단계를 포함한다.
본 개시의 부가적인 양상은 디스플레이 디바이스의 스크린의 상이한 영역들이 상이한 픽셀 분해능을 가지는 그래픽스 프로세싱 방법을 포함한다.
또 다른 부가적인 양상은 실행될 때, 앞서 말한 방법들 중 하나 또는 양쪽을 구현하는 컴퓨터 실행 가능한 지시들을 구체화한 컴퓨터-판독 가능한 매체이다.
추가 양상은 앞서 말한 방법들 중 하나 또는 양쪽을 수행하기 위한 컴퓨터-판독 가능한 지시들을 운반하는 전자기 또는 다른 신호이다.
부가적인 추가 양상은, 그것이 앞서 말한 방법들 중 하나 또는 양쪽을 구현하기 위한 프로그램 코드 지시들을 포함한다는 점에서 특성화되는, 통신 네트워크로부터 다운로드 가능하고 및/또는 컴퓨터-판독 가능한 및/또는 마이크로프로세서-실행 가능한 매체상에 저장된 컴퓨터 프로그램 제품이다.
또 다른 부가적인 양상은 앞서 말한 방법들 중 하나 또는 양쪽을 구현하도록 구성된 그래픽스 프로세싱 시스템이다.
본 발명의 바람직한 실시예에 대한 완전한 설명이 상기에 있지만, 다양한 변경들, 수정들 및 등가물들을 사용하는 것이 가능하다. 그러므로, 본 발명의 범위는 상기 설명을 참조하지 않고 결정되어야 하며, 대신에 등가물들의 그것들의 전체 범위와 함께, 첨부된 청구항들을 참조하여 결정되어야 한다. 여기에서 설명된 임의의 특징은, 선호되는지 여부에 관계없이, 여기에서 설명된 임의의 다른 특징과, 선호되는지 여부에 관계없이, 조합될 수 있다. 이어지는 청구항들에서, 부정관사(단수 표현)는, 달리 명확하게 서술되는 경우를 제외하고, 관사를 따르는 아이템 중 하나 이상의 수량을 나타낸다. 첨부된 청구항들은 이러한 제한이 구절("~를 위한 수단")을 사용하여 주어진 청구항에서 명확하게 나열되지 않는다면, 수단-더하기-기능 제한들을 포함하는 것으로 해석되지 않을 것이다.

Claims (37)

  1. 디스플레이 디바이스에 결합되는 그래픽스 프로세싱 유닛을 갖는 그래픽스 프로세싱 시스템을 이용하여 그래픽스 프로세싱을 하기 위한 방법으로서,
    상기 디스플레이 디바이스의 스크린의 복수의 영역 중 상기 스크린의 특정한 영역에 대한 활성 샘플 구성을 명시하는 메타데이터를 수신하는 단계;
    상기 특정한 영역에서의 하나 이상의 픽셀에 대한 픽셀 데이터를 수신하는 단계; 및
    상기 특정한 영역에서의 각각의 픽셀에 대해, 단지 상기 활성 샘플 구성에 의해 활성 샘플들인 것으로 명시되는 컬러 샘플들을 위해 픽셀 쉐이더를 호출하는 단계를 포함하고,
    상기 픽셀 데이터는 각각의 픽셀에 대해 동일한 수의 컬러 샘플을 명시하는, 방법.
  2. 청구항 1에 있어서,
    상기 메타데이터는 상기 특정한 영역에 대한 활성 샘플들의 마스크를 명시하고, 단지 활성 샘플들을 위한 상기 픽셀 쉐이더를 호출하는 단계는 상기 픽셀 쉐이더가 호출될 프리미티브에 대한 상기 활성 샘플들을 결정하기 위해 상기 프리미티브에 의해 커버되는 샘플들의 세트 및 상기 마스크 간 논리 AND를 수행하는 단계를 포함하는, 방법.
  3. 청구항 1에 있어서,
    상기 메타데이터는 상기 복수의 영역 중 상기 특정한 영역에 대한 활성 샘플 카운트를 명시하되; 상기 활성 샘플 카운트는 컬러 샘플들의 상기 수 이하이되, 컬러 샘플들의 상기 수는 2 이상이며;
    단지 활성 샘플들을 위한 상기 픽셀 쉐이더를 호출하는 단계는 상기 특정한 영역에서의 각각의 픽셀에 대해, 단지 상기 활성 샘플 카운트와 동일한 상기 픽셀에 대한 다수의 상기 컬러 샘플을 위해 픽셀 쉐이더를 호출하는 단계를 포함하는, 방법.
  4. 청구항 1에 있어서,
    상기 메타데이터는 상기 스크린의 중심 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트가 상기 스크린의 주변부 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트보다 크게 되도록 구성되는, 방법.
  5. 청구항 1에 있어서,
    상기 메타데이터는 상기 스크린의 중심 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트가 상기 스크린의 에지 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트보다 크게 되도록 구성되며, 상기 스크린의 상기 에지 부근에 위치되는 상기 하나 이상의 영역에 대한 상기 활성 카운트는 상기 스크린의 코너 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 카운트보다 큰, 방법.
  6. 청구항 1에 있어서,
    상기 디스플레이 디바이스는 90도 이상의 시야각에 의해 특성화되는, 방법.
  7. 청구항 1에 있어서,
    상기 디스플레이 디바이스는 헤드-장착 디스플레이 디바이스인, 방법.
  8. 청구항 1에 있어서,
    단지 상기 활성 샘플 카운트와 동일한 상기 픽셀에 대한 다수의 상기 컬러 샘플을 위한 픽셀 쉐이더를 호출하는 단계는 자동으로 픽셀 쉐이더 호출들을 언롤링(unrolling)하는 단계를 포함하는, 방법.
  9. 청구항 1에 있어서,
    상기 픽셀 데이터는 각각의 픽셀에 대한 다수의 깊이 샘플을 포함하되, 단지 활성 샘플 카운트와 동일한 상기 픽셀에 대한 다수의 상기 컬러 샘플을 위한 픽셀 쉐이더를 호출하는 단계는 자동으로 각각의 커버된 활성 샘플을 위한 픽셀 쉐이더 호출들을 언롤링하는 단계 및 깊이 샘플을 기록하는 단계를 포함하는, 방법.
  10. 청구항 1에 있어서,
    사용자가 보고 있는 상기 디스플레이 디바이스의 스크린의 부분을 결정하는 단계를 더 포함하며, 상기 메타데이터는 픽셀 분해능이 상기 사용자가 보고 있는 상기 부분을 포함하는 상기 스크린의 하나 이상의 서브섹션에 대해 가장 높도록 상기 픽셀 분해능을 변경하도록 구성되는, 방법.
  11. 청구항 1에 있어서,
    상기 메타데이터는 상기 디스플레이 디바이스의 주어진 광들 및 주어진 시야각에 대해 정적인, 방법.
  12. 청구항 1에 있어서,
    상기 메타데이터는 상기 스크린의 상이한 영역들에 대해 상이한 활성 컬러 샘플들을 명시하도록 구성되는, 방법.
  13. 청구항 1에 있어서,
    상기 복수 중 각각의 영역은 상기 스크린의 고정된 크기 부분에 대응하는, 방법.
  14. 청구항 1에 있어서,
    상기 복수 중 각각의 영역은 상기 스크린의 가변 크기 부분에 대응하는, 방법.
  15. 청구항 1에 있어서,
    상기 메타데이터는 수직 및 수평 방향들에서 픽셀들의 범위들에 의해 상기 복수의 영역의 각각의 영역을 정의하는, 방법.
  16. 청구항 1에 있어서,
    상기 메타데이터는 상당한 크기의 코어스 래스터화 타일들(coarse rasterization tiles)에 의해 상기 복수 중 각각의 영역을 정의하는, 방법.
  17. 청구항 1에 있어서,
    상기 복수 중 특정한 영역과 연관된 상기 메타데이터의 부분은 상기 특정한 영역에 대한 활성 컬러 샘플 카운트를 명시하는 정보를 포함하는, 방법.
  18. 청구항 1에 있어서,
    상기 메타데이터는 메모리 및 그래픽스 메모리 중 적어도 하나에 테이블의 형태로 저장되는, 방법.
  19. 그래픽스 프로세싱을 위한 시스템으로서,
    그래픽스 프로세싱 유닛(GPU)을 포함하며, 상기 그래픽스 프로세싱 유닛은
    디스플레이 디바이스의 스크린의 복수의 영역 중 상기 스크린의 특정한 영역에 대한 활성 샘플 구성을 명시하는 메타데이터를 수신하고;
    상기 특정한 영역에서의 하나 이상의 픽셀에 대한 픽셀 데이터를 수신하며; 그리고
    상기 특정한 영역에서의 각각의 픽셀에 대해, 단지 상기 활성 샘플 구성에 의해 활성 샘플들인 것으로 명시되는 컬러 샘플들을 위해 픽셀 쉐이더를 호출하도록 구성되고,
    상기 픽셀 데이터는 각각의 픽셀에 대해 동일한 수의 컬러 샘플을 명시하는, 시스템.
  20. 청구항 19에 있어서,
    상기 메타데이터는 상기 특정한 영역에 대한 활성 샘플들의 마스크를 명시하고, 상기 그래픽스 프로세싱 유닛은 상기 픽셀 쉐이더가 호출될 프리미티브에 대한 상기 활성 샘플들을 결정하기 위해 상기 프리미티브에 의해 커버되는 샘플들의 세트 및 상기 마스크 간 논리 AND를 수행함으로써 단지 활성 샘플들을 위한 상기 픽셀 쉐이더를 호출하도록 구성되는, 시스템.
  21. 청구항 19에 있어서,
    상기 메타데이터는 상기 복수의 영역 중 상기 특정한 영역에 대한 활성 샘플 카운트를 명시하되, 상기 활성 샘플 카운트는 컬러 샘플들의 상기 수 이하이되, 컬러 샘플들의 상기 수는 2 이상이며; 그리고
    상기 GPU는 단지 상기 활성 샘플 카운트와 동일한 상기 픽셀에 대한 다수의 상기 컬러 샘플을 위해 픽셀 쉐이더를 호출함으로써 상기 특정한 영역에서의 각각의 픽셀에 대해 단지 활성 샘플들을 위한 상기 픽셀 쉐이더를 호출하도록 구성되는, 시스템.
  22. 청구항 19에 있어서,
    상기 메타데이터는 상기 스크린의 중심 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트가 상기 스크린의 주변부 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트보다 크게 되도록 구성되는, 시스템.
  23. 청구항 19에 있어서,
    상기 메타데이터는 상기 스크린의 중심 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트가 상기 스크린의 에지 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 샘플 카운트보다 크게 되도록 구성되며, 상기 스크린의 상기 에지 부근에 위치되는 상기 하나 이상의 영역에 대한 상기 활성 카운트는 상기 스크린의 코너 부근에 위치되는 상기 복수 중 하나 이상의 영역에 대한 활성 카운트보다 큰, 시스템.
  24. 청구항 19에 있어서,
    상기 디스플레이 디바이스를 더 포함하되, 상기 디스플레이 디바이스는 90도 이상의 시야각에 의해 특성화되는, 시스템.
  25. 청구항 19에 있어서,
    상기 디스플레이 디바이스를 더 포함하되, 상기 디스플레이 디바이스는 헤드-장착 디스플레이 디바이스인, 시스템.
  26. 청구항 19에 있어서,
    상기 그래픽스 프로세싱 유닛은 자동으로 각각의 커버된 활성 샘플을 위해 픽셀 쉐이더 호출들을 언롤링(unrolling)함으로써 단지 상기 활성 샘플과 동일한 상기 픽셀에 대한 다수의 상기 컬러 샘플을 위한 픽셀 쉐이더를 호출하는, 시스템.
  27. 청구항 19에 있어서,
    상기 픽셀 데이터는 각각의 픽셀에 대한 다수의 깊이 샘플을 포함하되, 단지 활성 샘플 카운트와 동일한 상기 픽셀에 대한 다수의 상기 컬러 샘플을 위한 픽셀 쉐이더를 호출하는 것은 자동으로 각각의 커버된 활성 샘플을 위한 픽셀 쉐이더 호출들을 언롤링하는 것 및 깊이 샘플을 기록하는 것을 포함하는, 시스템.
  28. 청구항 19에 있어서,
    상기 시스템은 사용자가 보고 있는 상기 디스플레이 디바이스의 스크린의 부분을 결정하도록 구성되며, 상기 메타데이터는 픽셀 분해능이 상기 사용자가 보고 있는 상기 부분을 포함하는 상기 스크린의 하나 이상의 서브섹션에 대해 가장 높도록 상기 픽셀 분해능을 변경하도록 구성되는, 시스템.
  29. 청구항 19에 있어서,
    상기 디스플레이 디바이스의 주어진 광들 및 시야각에 대해 정적인 메타데이터를 사용하도록 구성되는, 시스템.
  30. 청구항 19에 있어서,
    상기 메타데이터는 상기 스크린의 상이한 영역들에 대해 상이한 활성 컬러 샘플들을 명시하도록 구성되는, 시스템.
  31. 청구항 19에 있어서,
    상기 복수 중 각각의 영역은 상기 스크린의 고정된 크기 부분에 대응하는, 시스템.
  32. 청구항 19에 있어서,
    상기 복수 중 각각의 영역은 상기 스크린의 가변 크기 부분에 대응하는, 시스템.
  33. 청구항 19에 있어서,
    상기 메타데이터는 수직 및 수평 방향들에서 픽셀들의 범위들에 의해 상기 복수의 영역 중 각각의 영역을 정의하는, 시스템.
  34. 청구항 19에 있어서,
    상기 메타데이터는 상당한 크기의 코어스 래스터화 타일들에 의해 상기 복수 중 각각의 영역을 정의하는, 시스템.
  35. 청구항 19에 있어서,
    상기 복수 중 특정한 영역과 연관된 상기 메타데이터의 부분은 상기 특정한 영역에 대한 활성 컬러 샘플 카운트를 명시하는 정보를 포함하는, 시스템.
  36. 청구항 19에 있어서,
    메모리 및 그래픽스 메모리 중 적어도 하나를 더 포함하되, 상기 메타데이터는 상기 메모리 및 그래픽스 메모리 중 적어도 하나에 테이블의 형태로 저장되는, 시스템.
  37. 실행될 때, 디스플레이 디바이스에 결합되는 그래픽스 프로세싱 유닛을 갖는 그래픽스 프로세싱 시스템을 이용하여 그래픽스 프로세싱을 하기 위한 방법을 구현하는 컴퓨터 실행가능한 지시들을 구체화한 비-일시적 컴퓨터-판독가능한 매체로서, 상기 방법은:
    상기 디스플레이 디바이스의 스크린의 복수의 영역 중 상기 스크린의 특정한 영역에 대한 활성 샘플 구성을 명시하는 메타데이터를 수신하는 단계;
    상기 특정한 영역에서의 하나 이상의 픽셀에 대한 픽셀 데이터를 수신하는 단계; 및
    상기 특정한 영역에서의 각각의 픽셀에 대해, 단지 상기 활성 샘플 구성에 의해 활성 샘플들인 것으로 명시되는 컬러 샘플들을 위해 픽셀 쉐이더를 호출하는 단계를 포함하고,
    상기 픽셀 데이터는 각각의 픽셀에 대해 동일한 수의 컬러 샘플을 명시하는, 비-일시적 컴퓨터-판독가능한 매체.
KR1020167027635A 2014-04-05 2015-03-23 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능 KR101922482B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/246,061 2014-04-05
US14/246,061 US10068311B2 (en) 2014-04-05 2014-04-05 Varying effective resolution by screen location by changing active color sample count within multiple render targets
PCT/US2015/021971 WO2015153165A1 (en) 2014-04-05 2015-03-23 Varying effective resolution by screen location by changing active color sample count within multiple render targets

Publications (2)

Publication Number Publication Date
KR20170012201A true KR20170012201A (ko) 2017-02-02
KR101922482B1 KR101922482B1 (ko) 2018-11-27

Family

ID=54210194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167027635A KR101922482B1 (ko) 2014-04-05 2015-03-23 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능

Country Status (5)

Country Link
US (2) US10068311B2 (ko)
EP (1) EP3129979A4 (ko)
JP (4) JP6652257B2 (ko)
KR (1) KR101922482B1 (ko)
WO (1) WO2015153165A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
JP6392370B2 (ja) 2014-04-05 2018-09-19 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 様々なレンダリング及びラスタライゼーション・パラメータ下でビューポートを変化させるための、オブジェクトの効率的再レンダリング方法
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US10037620B2 (en) 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US9805176B2 (en) * 2015-07-30 2017-10-31 Toshiba Tec Kabushiki Kaisha Shared system and terminal device
US9799134B2 (en) 2016-01-12 2017-10-24 Indg Method and system for high-performance real-time adjustment of one or more elements in a playing video, interactive 360° content or image
US10915333B2 (en) 2016-03-30 2021-02-09 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10275239B2 (en) 2016-03-30 2019-04-30 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10303488B2 (en) 2016-03-30 2019-05-28 Sony Interactive Entertainment Inc. Real-time adjustment of application-specific operating parameters for backwards compatibility
CN109477715A (zh) 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 载体辅助跟踪
CN109477607A (zh) * 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 用于跟踪的图像处理
GB2553353B (en) * 2016-09-05 2021-11-24 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
CN106651991B (zh) * 2016-09-12 2023-10-31 广州久邦世纪科技有限公司 一种智能贴图实现方法及其***
GB2560306B (en) * 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
KR102578929B1 (ko) 2017-03-27 2023-09-15 아브간트 코포레이션 조향 가능한 중심와 디스플레이
WO2018190826A1 (en) * 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10685473B2 (en) * 2017-05-31 2020-06-16 Vmware, Inc. Emulation of geometry shaders and stream output using compute shaders
JP2019028368A (ja) 2017-08-02 2019-02-21 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
CN109388448B (zh) * 2017-08-09 2020-08-04 京东方科技集团股份有限公司 图像显示方法、显示***以及计算机可读存储介质
US10650586B2 (en) * 2017-08-10 2020-05-12 Outward, Inc. Automated mesh generation
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
EP3598393B1 (en) * 2018-07-16 2023-11-08 Huawei Technologies Co., Ltd. Rendering using a per-tile msaa level
KR102166106B1 (ko) * 2018-11-21 2020-10-15 스크린엑스 주식회사 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
CN113196132A (zh) 2018-12-07 2021-07-30 阿维甘特公司 可操纵定位元件
CA3125739A1 (en) * 2019-01-07 2020-07-16 Avegant Corp. Control system and rendering pipeline
WO2020205784A1 (en) 2019-03-29 2020-10-08 Avegant Corp. Steerable hybrid display using a waveguide
NO346115B1 (en) 2019-12-20 2022-02-28 Novotech As 3D rendering
EP4062225A4 (en) 2020-01-06 2023-12-27 Avegant Corp. HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION
GB2591802B (en) 2020-02-07 2022-03-23 Imagination Tech Ltd Graphics processing method and system for rendering items of geometry based on their size
GB2591803B (en) * 2020-02-07 2022-02-23 Imagination Tech Ltd Graphics processing method and system for rendering items of geometry based on their size
US20230232005A1 (en) * 2022-01-18 2023-07-20 Cisco Technology, Inc. Representing color indices by use of constant partitions
CN114473709B (zh) * 2022-02-21 2023-04-28 宁波维真显示科技股份有限公司 一种3dled修边处理装置及方法
GB2624205A (en) * 2022-11-10 2024-05-15 Imagination Tech Ltd Graphics processing system and method of rendering

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5224208A (en) 1990-03-16 1993-06-29 Hewlett-Packard Company Gradient calculation for texture mapping
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5602391A (en) 1995-02-23 1997-02-11 Hughes Electronics Quincunx sampling grid for staring array
US5777913A (en) * 1995-12-27 1998-07-07 Ericsson Inc. Resolution enhancement of fixed point digital filters
USH1812H (en) * 1997-10-24 1999-11-02 Sun Microsystems, Inc. Method for encoding bounding boxes of drawing primitives to be rendered for multi-resolution supersampled frame buffers
JP2002503855A (ja) * 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド 可変解像度スーパーサンプリングによるグラフィックス・システム
JP2002503854A (ja) * 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド ポリゴンのためのグラフィックス・システム・パフォーマンスの推定
US6496187B1 (en) * 1998-02-17 2002-12-17 Sun Microsystems, Inc. Graphics system configured to perform parallel sample to pixel calculation
US6469700B1 (en) 1998-06-24 2002-10-22 Micron Technology, Inc. Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps
AU5686199A (en) 1998-08-20 2000-03-14 Apple Computer, Inc. Deferred shading graphics pipeline processor
JP2000155850A (ja) 1998-11-20 2000-06-06 Sony Corp テクスチャ・マッピング装置及びこれを具備したレンダリング装置、並びに情報処理装置
US6417861B1 (en) 1999-02-17 2002-07-09 Sun Microsystems, Inc. Graphics system with programmable sample positions
US6781606B2 (en) 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6731298B1 (en) 2000-10-02 2004-05-04 Nvidia Corporation System, method and article of manufacture for z-texture mapping
US6906723B2 (en) 2001-03-29 2005-06-14 International Business Machines Corporation Generating partials for perspective corrected texture coordinates in a four pixel texture pipeline
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7155698B1 (en) 2001-09-11 2006-12-26 The Regents Of The University Of California Method of locating areas in an image such as a photo mask layout that are sensitive to residual processing effects
US7081893B2 (en) 2001-10-10 2006-07-25 Sony Computer Entertainment America Inc. System and method for point pushing to render polygons in environments with changing levels of detail
EP1442390B1 (en) 2001-10-10 2017-09-13 Sony Computer Entertainment America LLC System and method for environment mapping
US6738069B2 (en) 2001-12-31 2004-05-18 Intel Corporation Efficient graphics state management for zone rendering
US6906714B2 (en) 2002-06-21 2005-06-14 Intel Corporation Accelerated visualization of surface light fields
US6891548B2 (en) 2002-08-23 2005-05-10 Hewlett-Packard Development Company, L.P. System and method for calculating a texture-mapping gradient
TWI238975B (en) 2003-02-20 2005-09-01 Via Tech Inc Method of performing cubic mapping with texturing
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7336277B1 (en) 2003-04-17 2008-02-26 Nvidia Corporation Per-pixel output luminosity compensation
JP3966832B2 (ja) 2003-04-28 2007-08-29 株式会社東芝 描画処理装置、及び、描画処理方法
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
EP1496475B1 (en) 2003-07-07 2013-06-26 STMicroelectronics Srl A geometric processing stage for a pipelined graphic engine, corresponding method and computer program product therefor
US6967663B1 (en) 2003-09-08 2005-11-22 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US8085273B2 (en) 2003-11-19 2011-12-27 Lucid Information Technology, Ltd Multi-mode parallel graphics rendering system employing real-time automatic scene profiling and mode control
US8144156B1 (en) 2003-12-31 2012-03-27 Zii Labs Inc. Ltd. Sequencer with async SIMD array
US8090383B1 (en) 2004-02-17 2012-01-03 Emigh Aaron T Method and system for charging for a service based on time spent at a facility
US7817829B2 (en) 2004-03-15 2010-10-19 Koninklijke Philips Electronics N.V. Image visualization
US7554538B2 (en) * 2004-04-02 2009-06-30 Nvidia Corporation Video processing, such as for hidden surface reduction or removal
US7426724B2 (en) 2004-07-02 2008-09-16 Nvidia Corporation Optimized chaining of vertex and fragment programs
US7425966B2 (en) 2004-10-07 2008-09-16 Nvidia Corporation Pixel center position displacement
US7339594B1 (en) 2005-03-01 2008-03-04 Nvidia Corporation Optimized anisotropic texture sampling
JP4660254B2 (ja) 2005-04-08 2011-03-30 株式会社東芝 描画方法及び描画装置
US7289119B2 (en) 2005-05-10 2007-10-30 Sony Computer Entertainment Inc. Statistical rendering acceleration
US7511717B1 (en) 2005-07-15 2009-03-31 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US20070018988A1 (en) 2005-07-20 2007-01-25 Michael Guthe Method and applications for rasterization of non-simple polygons and curved boundary representations
US7728841B1 (en) * 2005-12-19 2010-06-01 Nvidia Corporation Coherent shader output for multiple targets
US8300059B2 (en) 2006-02-03 2012-10-30 Ati Technologies Ulc Method and apparatus for selecting a mip map level based on a min-axis value for texture mapping
US8207975B1 (en) 2006-05-08 2012-06-26 Nvidia Corporation Graphics rendering pipeline that supports early-Z and late-Z virtual machines
US7907792B2 (en) 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
EP2078229A2 (en) 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US8243069B1 (en) 2006-11-03 2012-08-14 Nvidia Corporation Late Z testing for multiple render targets
US8233004B1 (en) 2006-11-06 2012-07-31 Nvidia Corporation Color-compression using automatic reduction of multi-sampled pixels
US8149242B2 (en) 2006-11-10 2012-04-03 Sony Computer Entertainment Inc. Graphics processing apparatus, graphics library module and graphics processing method
JP5063990B2 (ja) 2006-11-15 2012-10-31 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7876332B1 (en) 2006-12-20 2011-01-25 Nvidia Corporation Shader that conditionally updates a framebuffer in a computer graphics system
JP5268271B2 (ja) 2007-03-23 2013-08-21 株式会社東芝 画像表示装置および画像表示方法
US20090033659A1 (en) 2007-07-31 2009-02-05 Lake Adam T Real-time luminosity dependent subdivision
US8044956B1 (en) 2007-08-03 2011-10-25 Nvidia Corporation Coverage adaptive multisampling
US8441497B1 (en) 2007-08-07 2013-05-14 Nvidia Corporation Interpolation of vertex attributes in a graphics processor
US7916155B1 (en) 2007-11-02 2011-03-29 Nvidia Corporation Complementary anti-aliasing sample patterns
JP5050786B2 (ja) 2007-11-05 2012-10-17 富士通セミコンダクター株式会社 描画処理装置、描画処理方法および描画処理プログラム
US8922565B2 (en) 2007-11-30 2014-12-30 Qualcomm Incorporated System and method for using a secondary processor in a graphics system
US8643644B2 (en) 2008-03-20 2014-02-04 Qualcomm Incorporated Multi-stage tessellation for graphics rendering
GB0810311D0 (en) 2008-06-05 2008-07-09 Advanced Risc Mach Ltd Graphics processing systems
US8605087B2 (en) 2008-07-03 2013-12-10 Nvidia Corporation Hybrid multisample/supersample antialiasing
WO2010048475A1 (en) 2008-10-23 2010-04-29 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
GB0819570D0 (en) 2008-10-24 2008-12-03 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US8780131B2 (en) 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US20100214294A1 (en) 2009-02-20 2010-08-26 Microsoft Corporation Method for tessellation on graphics hardware
US8330767B2 (en) 2009-03-24 2012-12-11 Advanced Micro Devices, Inc. Method and apparatus for angular invariant texture level of detail generation
US8669999B2 (en) 2009-10-15 2014-03-11 Nvidia Corporation Alpha-to-coverage value determination using virtual samples
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8803902B2 (en) 2009-12-03 2014-08-12 Intel Corporation Computing level of detail for anisotropic filtering
WO2011072211A2 (en) * 2009-12-11 2011-06-16 Aperio Technologies, Inc. Improved signal to noise ratio in digital pathology image analysis
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8619085B2 (en) 2010-03-08 2013-12-31 Broadcom Corporation Method and system for compressing tile lists used for 3D rendering
US8619852B2 (en) 2010-07-21 2013-12-31 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
US20130300740A1 (en) 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
KR101719485B1 (ko) 2010-09-20 2017-03-27 삼성전자주식회사 그래픽 처리 유닛에서의 사전 픽셀 제거를 위한 장치 및 방법
US8593475B2 (en) 2010-10-13 2013-11-26 Qualcomm Incorporated Systems and methods for dynamic procedural texture generation management
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8982136B2 (en) 2011-05-16 2015-03-17 Qualcomm Incorporated Rendering mode selection in graphics processing units
JP5885398B2 (ja) 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US9019280B2 (en) 2011-07-22 2015-04-28 Qualcomm Incorporated Area-based rasterization techniques for a graphics processing system
KR101926570B1 (ko) 2011-09-14 2018-12-10 삼성전자주식회사 포스트 프레그먼트 쉐이더를 사용하는 그래픽 처리 방법 및 장치
US10089774B2 (en) 2011-11-16 2018-10-02 Qualcomm Incorporated Tessellation in tile-based rendering
CN105974587B (zh) 2011-11-24 2018-09-28 松下知识产权经营株式会社 头戴式显示器装置
GB2497302B (en) 2011-12-05 2017-04-12 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US10535185B2 (en) 2012-04-04 2020-01-14 Qualcomm Incorporated Patched shading in graphics processing
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9495781B2 (en) 2012-06-21 2016-11-15 Nvidia Corporation Early sample evaluation during coarse rasterization
US9424685B2 (en) 2012-07-31 2016-08-23 Imagination Technologies Limited Unified rasterization and ray tracing rendering environments
US9142005B2 (en) 2012-08-20 2015-09-22 Nvidia Corporation Efficient placement of texture barrier instructions
US10096079B2 (en) 2013-06-10 2018-10-09 Sony Interactive Entertainment Inc. Fragment shaders perform vertex shader computations
US10176621B2 (en) 2013-06-10 2019-01-08 Sony Interactive Entertainment Inc. Using compute shaders as front end for vertex shaders
US10134102B2 (en) 2013-06-10 2018-11-20 Sony Interactive Entertainment Inc. Graphics processing hardware for using compute shaders as front end for vertex shaders
US10102603B2 (en) 2013-06-10 2018-10-16 Sony Interactive Entertainment Inc. Scheme for compressing vertex shader output parameters
US10976986B2 (en) * 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
JP6392370B2 (ja) 2014-04-05 2018-09-19 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 様々なレンダリング及びラスタライゼーション・パラメータ下でビューポートを変化させるための、オブジェクトの効率的再レンダリング方法
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US9760113B2 (en) 2015-02-20 2017-09-12 Sony Interactive Entertainment America Llc Backward compatibility through use of spoof clock and fine grain frequency control
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US10235219B2 (en) 2015-07-27 2019-03-19 Sony Interactive Entertainment America Llc Backward compatibility by algorithm matching, disabling features, or throttling performance
US9892024B2 (en) 2015-11-02 2018-02-13 Sony Interactive Entertainment America Llc Backward compatibility testing of software in a mode that disrupts timing

Also Published As

Publication number Publication date
JP2020091877A (ja) 2020-06-11
US20180374195A1 (en) 2018-12-27
EP3129979A4 (en) 2017-11-08
KR101922482B1 (ko) 2018-11-27
JP2017517025A (ja) 2017-06-22
JP6652257B2 (ja) 2020-02-19
JP7112549B2 (ja) 2022-08-03
JP7033617B2 (ja) 2022-03-10
JP2021108154A (ja) 2021-07-29
US20150287165A1 (en) 2015-10-08
EP3129979A1 (en) 2017-02-15
WO2015153165A1 (en) 2015-10-08
JP7004759B2 (ja) 2022-01-21
JP2020170506A (ja) 2020-10-15
US10614549B2 (en) 2020-04-07
US10068311B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
KR101922482B1 (ko) 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능
US11301956B2 (en) Varying effective resolution by screen location by altering rasterization parameters
US10438319B2 (en) Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US10438312B2 (en) Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
EP3129973A1 (en) Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US11302054B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant