KR20130061675A

KR20130061675A - 컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 인코딩하는 방법 및 디바이스와 대응 디코딩 방법 및 디바이스

Info

Publication number: KR20130061675A
Application number: KR1020127027300A
Authority: KR
Inventors: 추칭 첸; 준 텡; 지보 첸
Original assignee: 톰슨 라이센싱
Priority date: 2010-04-20
Filing date: 2010-04-20
Publication date: 2013-06-11
Also published as: JP5575975B2; US20130039594A1; EP2561678A1; CN102860007A; JP2013531827A; WO2011130874A1

Abstract

본 발명은 이미지 코덱 제품 분야에 관한 것이다. 더 정확히 말하면, 본 발명은 컴퓨터 그래픽을 사용하는 이미지 렌더링을 위한 데이터의 인코딩 및 디코딩에 관한 것이다. 컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 디코딩하는 방법이 제안되며, 상기 방법은 비트스트림의 일부분을 디코딩하는 단계를 포함하고, 상기 일부분은 상기 컴퓨터 그래픽을 생성하기 위한 파라미터 기반 절차 컴퓨터 그래픽 생성 방법에 대한 적어도 하나의 파라미터 및 구문 요소를 포함하며, 상기 구문 요소는 상기 일부분이 상기 적어도 하나의 파라미터를 더 포함함을 나타낸다. 또한, 상기 방법을 실행하기 위한 장치가 제안된다.

Description

컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 인코딩하는 방법 및 디바이스와 대응 디코딩 방법 및 디바이스{METHOD AND DEVICE FOR ENCODING DATA FOR RENDERING AT LEAST ONE IMAGE USING COMPUTER GRAPHICS AND CORRESPONDING METHOD AND DEVICE FOR DECODING}

본 발명은 이미지 코덱 제품 분야에 관한 것이다. 더 정확히 말하면, 본 발명은 컴퓨터 그래픽을 사용하는 이미지 렌더링을 위한 데이터의 인코딩 및 디코딩에 관한 것이다.

비디오 코딩 알고리즘들이 수십 년 동안 연구되어 왔다. 이에 부응하여, 다수의 비디오 코딩 표준들, 예를 들어, MPEG-1/2/4, H.261, H.263, H.264/AVC가 개발되어 왔다. 이 표준들 중에, H.264/AVC가 로우-엔드, 예를 들어, 모바일 애플리케이션으로부터, 하이-엔드, 예를 들어, 고화질 TV(HDTV) 애플리케이션들에 이르기까지 비디오 압축을 위한 최상의 왜율(rate-distortion) 성능을 가진 최신 표준이다.

그러나, 모든 기존 이미지/비디오 코딩 표준들은, 예를 들어, CMOS 센서들 또는 CCD 칩들 등의 캡처 디바이스들을 사용해서 내추럴 장면들을 캡처하는 것으로부터 야기된 픽셀 맵들을 압축하도록 디자인되어 있다. 이러한 방법으로 수집된 이미지 데이터는 이하에서는 내추럴 비디오(NV)라고 할 것이다. 그러나, 최근에, NV 외에 또는 대안으로, 점점 더 많은 영화들, 또는 다른 비디오 애플리케이션들이 내추럴 장면들의 캡처로부터가 아니라 일부 컴퓨터 그래픽(CG) 장면들 또는 특수 효과들의 렌더링으로부터 야기된 콘텐츠를 통합한다. 내추럴 비디오 및 렌더링된 컴퓨터 그래픽 둘 다로 구성된 증강 비디오 콘텐츠는 게임, 가상 쇼핑, 관광객들을 위한 가상 도시, 모바일 TV, 방송 등의 실제 애플리케이션들에서 점점 더 많이 나타난다. 이러한 종류의 조합물은 3D 내추럴 비디오 애플리케이션이 장차 발달될 때, 이 세상에서 더 확장적인 애플리케이션들을 찾을 것으로 예상할 수 있다.

따라서, MPEG-4 표준은 내추럴 비디오 및 컴퓨터 그래픽의 조합을 위한 코딩 방법에 대한 작업을 이미 시작해 왔다. 본래, 1995년에, 서브그룹 SNHC(Synthetic Natural Hybrid Coding, 2005년에 MPEG의 SNHC 그룹은 그 이름을 3DGC(3D Graphics Coding) 그룹으로 변경했음)가 설정되었으며, MPEG-4 파트 2: 비주얼(visual)에서 합성 코딩 도구들을 개발했다. 합성 비주얼 도구들은 FBA(Face and Body Animation), 2D 및 3D 메시 코딩, 및 뷰-종속적 확장성(view-dependent scalability)을 포함한다. 간단히 말해서, MPEG-4 SNHC는 그래픽, 애니메이션, 압축, 및 스트리밍 기능들을, (내추럴) 오디오 및 비디오와의 통합을 가능케 하는 하나의 프레임워크로 결합한다.

MPEG-4 파트 11에서, BIFS(Binary Format for Scene Description)가 인터폴레이터 압축 등의 일반적인 그래픽 도구들로 정의되었다. BIFS 명세서는, 2D & 3D 그래픽, 이미지들, 텍스트 및 시청각 자료를 포함하는, 동적 및 상호적 프리젠테이션들의 효율적인 표현을 가능케 하도록 디자인되어 왔다. 이러한 프리젠테이션의 표현은 사용자-상호 작용 및 애니메이션들 뿐만 아니라 상이한 장면 컴포넌트들의 공간적 및 시간적 조직의 기술을 포함한다.

MPEG-4에서, 모든 객체는 스트림과 단단히 연결된다: 이러한 바인딩은 실제 스트림에 객체를 링크하는 객체 기술자 프레임워크에 의해 이루어진다. 이 디자인은 압축된 비디오 스트림에 의존하는 비디오 객체들에 명백한 것으로 보인다. 장면 기술 및 객체 기술자들의 기술 자체가 스트림들이라는 것이 좀 더 강요되어 왔다. 다시 말해서, 프리젠테이션 자체는 장면 그래프를 갱신하고 기술자들의 동적 집합에 의존하는 스트림이어서, 실제 미디어 스트림들의 참조를 허용한다.

미국 특허 제6,072,832호는 오디오/비디오/컴퓨터 그래픽 동기 재생/합성 시스템 및 방법(audio/video/computer graphics synchronous reproducing/synthesizing system and method)을 기술한다. 비디오 신호 및 컴퓨터 그래픽 데이터는 압축 및 멀티플렉싱되며, 렌더링 엔진은 비디오 신호, 컴퓨터 그래픽 데이터 및 뷰포인트 이동 데이터를 수신하고 비디오 신호 및 컴퓨터 그래픽 데이터의 합성 이미지를 출력한다.

본 발명은 내추럴 비디오(NV) 및 렌더링된 컴퓨터 그래픽(CG) 둘 다를 포함하는 최근 생겨난 종류의 비디오 콘텐츠를 효율적으로 압축하는 방법에 대한 문제를 다룬다. 특히, 절차 생성된 CG 콘텐츠에 대하여, 본 발명은 절차 기술들로부터 장점이 취해질 수 있도록 종래 비디오 코딩 방식을 채택할 것을 제안한다.

따라서, 제1항에 따른 컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 디코딩하는 방법 및 제3항에 따른 컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 인코딩하는 방법이 제안된다.

상기 인코딩 방법은 상기 컴퓨터 그래픽을 생성하기 위한 파라미터 기반 절차 컴퓨터 그래픽 생성 방법에 대한 적어도 하나의 파라미터 및 구문 요소를 비트스트림의 일부분 내에 인코딩하는 단계를 포함하며, 상기 구문 요소는 상기 일부분이 상기 적어도 하나의 파라미터를 더 포함함을 나타낸다.

일 실시예에서, 상기 인코딩 방법은 추가 구문 요소 및 계수 정보를 비트스트림의 상이한 일부분 내에 인코딩하는 단계를 더 포함한다. 디코딩 방법의 대응 실시예에서, 상기 디코딩 방법은 비트스트림의 상이한 일부분에 포함된 추가 구문 요소 및 계수 정보를 디코딩하는 단계를 더 포함한다. 계수 정보는 적어도 하나의 이미지의 렌더링을 위해 사용될 적어도 하나의 픽셀 블록의 가역 변환을 결정하기 위한 것이며, 상기 추가 구문 요소는 상기 상이한 일부분이 상기 계수 정보를 더 포함함을 나타낸다.

인코딩 방법의 다른 실시예에서, 상기 컴퓨터 그래픽은 상기 적어도 하나의 이미지의 지역을 렌더링하는데 사용되고, 상기 적어도 하나의 파라미터는 실제 지역 데이터로부터 추출된다.

인코딩 방법 또는 디코딩 방법의 다른 유익한 실시예들의 특징들은 종속항들에서 명시된다.

본 발명은 방법 청구항들에서 제안된 방법들 중 하나를 실행하기 위한 장치를 더 제안한다.

제안된 인코딩 방법들 중 하나로부터 생긴 비트스트림을 갖는(carry) 기억 매체는 본 발명에 의해 또한 제안된다.

따라서, 본 발명은 결합된 스펙트럼 변환 인코딩된 콘텐츠 및 절차 생성된 콘텐츠에 대한 새로운 코딩 방법을 제안한다. 일 실시예에서, 본 발명은 절차 생성된 지역 코딩에 집중한다. 큰 압축률이 달성되도록 지역은 오직 소수의 파라미터들에 의해서만 인코딩될 수 있다. 게다가, 종래 비디오 코딩으로의 완벽한 통합이 구문 요소에 의해 달성된다.

본 발명의 일례의 실시예들은 도면들에 도시되고 이하의 설명에서 더 상세히 기술된다. 일례의 실시예들은, 청구항들에서 정의된 본 발명의 내용, 범위 또는 사상을 제한하려는 것이 아니라, 오직 본 발명을 설명하기 위해서만 기술된다.
도면들에서,
도 1a는 일례의 인코히어런트 노이즈(incoherent noise)를 도시한다.
도 1b는 일례의 코히어런트 노이즈(coherent noise)를 도시한다.
도 2a는 일례의 펄린 밸류 노이즈(Perlin value noise)를 도시한다.
도 2b는 일례의 펄린 그라디언트 노이즈(Perlin gradient noise)를 도시한다.
도 3은 상세한 지역 모델링 및 렌더링의 일례의 레벨들을 도시한다.
도 4는 일례의 카메라 파라미터들을 도시한다.

본 발명은 상응하여 적응된 프로세싱 디바이스를 포함하는 임의의 전자 디바이스에서 실현될 수 있다. 예를 들어, 본 발명은 셋탑 박스, 텔레비전, DVD- 및/또는 BD-플레이어, 휴대 전화, 퍼스널 컴퓨터, 디지털 정지 카메라, 디지털 비디오 카메라, mp3-플레이어, 내비게이션 시스템 또는 자동차 오디오 시스템으로 구현될 수 있다.

본 발명은 파라미터 기반 절차 컴퓨터 그래픽 생성 방법들과 관련된다.

용어 절차(procedural)는 특정 함수를 계산하는 프로세스와 관련된다. 절차 생성의 일례인 프랙탈(Fractals)은 이 개념을 나타내는데, 이 개념에 대해 수학 - 프랙탈 기하학 - 전체가 발달되어 왔다. 아주 흔한 절차 콘텐츠는 텍스처들(textures) 및 메시들(meshes)을 포함한다. 절차 기술들은 컴퓨터 그래픽 내에서 대리석, 나무, 피부 또는 껍질 등의 자연스럽게 보이는 2D 또는 3D 텍스처들을 생성하고, 특수 효과들을 시뮬레이트하며, 나무, 식물종, 입자 시스템, 폭포, 하늘 또는 산 등의 복합 자연 모델들을 생성하는데 사용되어 왔다. 물건들의 자연스런 물리적 이동들이 파라미터 기반 절차 컴퓨터 그래픽 생성 방법들을 사용해서 발생될 수 있다. 절차 기술들의 가장 큰 장점은, 막대한 압축률이 달성될 수 있도록, 오직 약간의 파라미터들로 내추럴 장면들을 생성할 수 있다는 점이다. "도시 생성을 위한 절차 기술들의 조사(A Survey of Procedural Techniques for City Generation)", ITB(Institute of Technology Blanchardstown) 저널, 14:87-130, 켈리, 지.(Kelly G.) 및 맥케이브, 에이치.(McCabe H.)는 프랙탈, L-시스템, 펄린 노이즈, 틸링 시스템(tiling system), 셀룰러 기반 시스템을 포함하는 수개의 절차 기술들의 개요를 제공한다.

펄린 노이즈는, 그 일례가 도 1b에 도시되어 있는, 코히어런트 노이즈라고도 하는, 한 타입의 평활한 의사 랜덤 노이즈(smooth pseudorandom noise)이다. 이러한 노이즈의 경우, 동일한 입력이 항상 동일한 출력을 야기하고, 입력의 작은 변화는 출력의 작은 변화를 야기하며, 이는 노이즈 함수가 정적이고 평활하게 한다. 입력의 큰 변화만이 출력의 랜덤 변화를 야기하며, 이는 노이즈 함수가 랜덤이며 반복되지 않게 한다.

가장 간단한 펄린 노이즈는 도 2a에 일례로서 도시된 밸류 노이즈(value noise)라고 하며, 의사 난수 값이 각각의 정수 격자점에서 생성되며, 그 후, 중간 위치의 노이즈 값이 인접 격자점들에서의 노이즈 값들의 평활한 보간에 의해 평가된다. 도 2b에 일례로서 도시된 그라디언트 노이즈(gradient noise)는 향상된 펄린 노이즈 함수이며, 의사 난수 그라디언트 벡터가 각각의 정수 격자점에서 정의되며, 각각의 정수 점에서의 노이즈 값은 0으로 설정되고, 중간 위치의 노이즈 값은 인접 격자점들에서 그라디언트 벡터들로부터 평가된다. 펄린 노이즈는 치환표를 사용한다. 펄린 노이즈는 "이미지 합성 장치(An image synthesizer)", Siggraph, 1985, pp. 287-296에서 켄 펄린(Ken Perlin)에 의해 기술된다.

지역의 합성에 있어서, 예를 들어, 상이한 주파수들의 펄린 노이즈 함수들이 상이한 레벨들의 지역의 디테일들을 모델링하기 위해 조합되는 경우, 랜덤 스펙트라 합성이 사용될 수 있다. 디테일의 기본 주파수 레벨은 지역의 총 변동을 나타내는 반면; 적어도 하나의 더 높은 주파수 레벨의 디테일은 지역 기하학에서 디테일을 나타낸다. 그 후, 일련의 펄린 노이즈 함수들이 지역 높이 맵을 생성하도록 구성된다. 랜덤 스펙트라 합성은 기본 주파수에 의해, 또한, 주파수 레벨들의 수에 의해 트리거된다. 주파수 레벨들은 통상 옥타브들이다. 지역의 랜덤 스펙트라 합성은 각각의 주파수 레벨에 대한 평균 지역 높이, 높이 웨이트 및 높이 웨이트 게인에 의해, 또한, 각각의 주파수 레벨에서 래큐내리티(lacunarity), 높이의 계산을 위한 파라미터 및 주파수 웨이트들에 의해 더 트리거된다.

렌더링의 경우, 생성된 지역은 카메라 위치 좌표들 및 카메라 방향 사원수들(camera orientation quaternions)을 포함하는 카메라 위치 파라미터들에 의해 정의된 가상 투영면에 투영된다. 이는 도 4에 일례로서 도시되어 있다. 투영은 카메라의 시야인 field_of_view FOVY, 윈도우 높이 H에 대한 윈도우 폭 W의 비율을 기술하는 aspect_ratio, 카메라 CAM의 가까운 클리핑 면(clipping plane) NEAR인 near_plane 및 카메라 CAM의 먼 클리핑 면 FAR인 far_plane과 같은 카메라 투영 파라미터들에 의해 트리거된다.

컴퓨터 생성 콘텐츠로부터의 일련의 이미지들을 렌더링하는 경우, 가상 카메라 움직임은 카메라 속도 및 카메라 움직임이 발생하는 NURBS(Non-Uniform Rational B-Spline) 커브를 정의하는 제어점 좌표들을 가진 다수의 제어점들 등의 카메라 움직임 파라미터들에 의해 정의된다.

실제적인 지역 렌더링의 경우, 합성된 지역 데이터는 클립 맵들(clip maps)이라고도 하는 일련의 높이 맵들에 의해 샘플링된다. 각각의 클립 맵은 동일한 그리드 사이즈를 가질 수 있지만, 도 4에 일례로서 도시된 바와 같이 상이한 공간 해상도를 가진다. 레벨 n-1의 클립 맵은 최소 공간 해상도로 지역 데이터를 샘플링하는 가장 미세한 레벨이며, 레벨 0의 클립 맵은 최대 공간 해상도로 지역 데이터를 샘플링하는 가장 성긴 레벨(the coarsest level)이고 더 성긴 클립 맵의 공간 해상도는 가장 가까운 더 미세한 시블링(sibling)의 2배이다. 더 미세한 레벨의 클립 맵들은 더 성긴 레벨의 클립 맵들에 중첩된다. 합성된 지역의 실제적인 렌더링을 위한 클립 맵들의 사용은 디테일의 레벨들의 수, 각각의 레벨에서의 공간 해상도의 정도 및 상기 동일한 그리드 사이즈에 의해 트리거된다. 그리드 맵들의 기술은 프랭크 로새소(Frank Losasso), 및 위그 호피(Hugues Hoppe): "기하학 클립맵들: 중첩된 레귤러 그리드들을 사용하는 지역 렌더링(Geometry clipmaps: Terrain rendering using nested regular grids)" Siggraph, 2004에서 발견될 수 있다.

본 발명은 디코더 측에서의 절차 컴퓨터 그래픽 생성 및 렌더링에 수반되는 단계들 중 적어도 한 단계의 실행을 가능케 하는 데이터와 함께 NV를 인코딩하기 위한 코딩 프레임워크를 제안한다.

따라서, 새로운 구문이 제안된다. NVCG- 레벨에서, 상기 구문은, 다음 비트스트림 부분이 CG 콘텐츠를 포함하는 경우에는 설정되고 다음 비트스트림의 일부분이 NV 콘텐츠를 포함하는 경우에는 설정되지 않는 CG_flag를 포함한다.

CG_flag는 이하의 비트스트림의 타입: 종래의 비디오 코딩 비트스트림 또는 컴퓨터 그래픽 생성된 비트스트림을 나타내는데 사용된다. 이 플래그는 각종 방법들로 표현될 수 있다. 예를 들어, CG 플래그는 H.264/AVC 비트스트림의 새로운 타입의 NAL(Network Abstraction Layer)로서 정의될 수 있다. 또는, CG 플래그는 MPEG-2 비트스트림의 새로운 종류의 start_code로서 정의될 수 있다.

디코더 측에서, 먼저 CG_flag 비트(들)가 디코딩된다. 이하의 비트스트림이 절차 그래픽 방법에 의해 인코딩된다고 플래그가 나타내면, 그래픽 디코딩 및 렌더링 프로세스가 실행된다. 디코더의 일 실시예에서, 이하의 비트스트림이 잔여 코딩 방법에 따라 인코딩된다고 플래그가 나타내면, 종래의 비디오 디코딩 프로세스가 실행된다.

CG 콘텐츠의 경우, 일례의 실시예에서, 이하의 추가 구문 요소들이 제안된다:

CG_category는 CG 콘텐츠의 카테고리를 정의한다. 선택할 수 있는 CG 콘텐츠는 지역, 해수(Seawater), 3D 메시 모델 등일 수 있다.

CG_duration_h, CG_duration_m, CG_duration_s, CG_duration_ms는, 각각, 시간, 분, 초, 및 밀리초의 CG 콘텐츠의 지속 기간을 정의한다.

CG_duration = CG_duration_h * 60 * 60 * 1000 +

CG_duration_m * 60 * 1000 + CG_duration_s * 1000 +

CG_duration_ms

CG_duration은 밀리초 단위로 기록된다.

terrain_coding_type은 복원에 사용되는 지역 생성 방법을 나타낸다. 선택할 수 있는 방법은 RMF(ridged Multi-Fractal), FBM(Fractal Brown Motion), 또는 다른 방법들일 수 있다.

permutation_table_size는 치환표의 사이즈, 예를 들어, permutation_table_size = 1024를 정의한다.

number_of_octave는 펄린 노이즈의 옥타브의 수, 예를 들어, number_of_octave = 12를 나타낸다.

octave_parameter_1, and octave_parameter_2는 지역 생성을 위한 2개의 파라미터들을 정의한다. octave_parameter_1은 H를 정의하고 octave_parameter_2는 래큐내리티를 정의한다.

average_height는 평균 높이, 즉, 지역의 높이 오프셋을 제공한다.

hight_weight_gain은 로컬 높이 값 웨이트이다.

base_frequency는 레벨 1의 옥타브의 기본 주파수를 정의한다.

number_of_LOD는 디테일의 레벨(LOD)의 수이다.

cell_size는 한 셀의 공간 해상도이다.

grid_size는 클립 맵의 그리드의 사이즈이다.

camera_trajectory_type, 0은 카메라 위치 및 방향이 키 프레임에 저장됨을 의미하고, 1은 카메라 위치 및 방향이 제어점들에 의해 정의된 NURBS(Non-Uniform Rational B-Spline) 커브로부터 보간됨을 의미한다.

key_frame_time_ms, 애니메이션의 키 프레임은 임의의 평활한 전이의 시작점 및 종료점을 정의하는 그림이다. key_frame_time_ms는 대응 키 프레임이 발생할 때를 정의한다.

position_x, position_y, position_z는, camera_trajectory_type의 값에 따른, 카메라의 위치 벡터, 또는 NURBS 커브의 제어점들이다.

orientation_x, orientation_y, orientation_z, orientation_w는 카메라의 방향의 사원수이다.

navigation_speed는 카메라의 움직임 속도이다.

number_of_control_points는 NURBS 커브의 제어점들의 수이다.

본 발명은 또한 상기 파라미터들 중 하나의 또는 그 이상의 파라미터들의 값들의 인코딩 및 남은 파라미터들의 선정된 값들의 사용을 가능케 한다. 즉, 대응 인코딩 및 디코딩 방법들 및 디바이스들을 가진 다양한 코딩 프레임워크들이 제안되며, 이 코딩 프레임워크들의 공통 특징은 내추럴 비디오와 관련된 비트스트림 일부분들 및 절차 생성 콘텐츠와 관련된 비트스트림 일부분들을 구별하기 위한 제1 구문 요소, 및 콘텐츠의 절차 생성 및/또는 절차 생성 콘텐츠의 렌더링과 관련된 적어도 제2 요소이다.

일례의 실시예에서, 결합된 내추럴 비디오 콘텐츠 및 컴퓨터 생성된 절차 지역 콘텐츠의 비디오 코드는 다음 비트스트림의 카테고리: 종래의 인코딩된 비디오 비트스트림, 또는 그래픽 지역 비트스트림을 나타내기 위한 비트들을 포함하며, 상기 비트들이 그래픽 지역 비트스트림을 나타내면, 다음 비트스트림은 이하의 정보 중 적어도 일부이다:

a) 지역 비디오 지속 기간 정보

b) 지역 코딩 방법 정보

c) 펄린 노이즈 관련 정보, 예를 들어, 옥타브의 수, 지역 생성 함수 파라미터들, 치환표 사이즈, 평균 높이, 레벨 1의 옥타브의 기본 주파수, 및/또는 로컬 높이 값 웨이트.

d) 렌더링을 위한 클립맵 정보, 예를 들어, 디테일의 레벨(LOD)의 수, 한 셀의 공간 해상도 및/또는 클립 맵의 그리드의 사이즈.

e) 렌더링을 위한 카메라 정보, 카메라 투영 파라미터들, 카메라 위치 정보, 카메라 방향 정보, 카메라 궤적 정보, 및 내비게이션 속도를 더 포함한다.

절차 컴퓨터 그래픽은 이미지의 제1 파트, 예를 들어, 배경 또는 하늘을 렌더링하는데 사용될 수 있으며, 이미지의 나머지는 내추럴 비디오를 사용해서 렌더링된다. 다른 일례의 실시예에서, 전체 이미지들을 포함하는 이미지들의 시퀀스는 컴퓨터들을 사용해서 절차적으로 생성되고 이에 대응하여 인코딩되며, 시퀀스는 잔여 인코딩된 다른 이미지들 전체를 더 포함한다. 또한, 시퀀스는 절차 그래픽 콘텐츠를 사용해서 오직 부분적으로만 렌더링된 이미지들을 포함할 수 있다.

일례의 실시예들에서, 지역이 절차 기술에 의해서 매우 잘 모델링될 수 있는 가장 인기 있는 내추럴 장면들 중 하나이기에 지역에 초점을 두고 있다. 그러나, 본 발명은 이에 한정되지 않는다. 도시 또는 사람들 뿐만 아니라 하늘, 물, 식물도 또한 절차적으로 생성될 수 있다.

Claims

컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 디코딩하는 방법으로서,
비트스트림의 일부분을 디코딩하는 단계
를 포함하며,
상기 일부분은 상기 컴퓨터 그래픽을 생성하기 위한 파라미터 기반 절차 컴퓨터 그래픽 생성 방법에 대한 적어도 하나의 파라미터 및 구문 요소를 포함하고,
상기 구문 요소는 상기 일부분이 상기 적어도 하나의 파라미터를 더 포함함을 나타내는 방법.
제1항에 있어서,
상기 비트스트림의 상이한 일부분을 디코딩하는 단계를 더 포함하고,
상기 상이한 일부분은 적어도 하나의 이미지의 렌더링을 위해 사용될 적어도 하나의 픽셀 블록의 가역 변환을 결정하기 위한 계수 정보 및 추가 구문 요소를 포함하며,
상기 추가 구문 요소는 상기 상이한 일부분이 상기 계수 정보를 더 포함함을 나타내는 방법.
컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 인코딩하는 방법으로서,
상기 컴퓨터 그래픽을 생성하기 위한 파라미터 기반 절차 컴퓨터 그래픽 생성 방법에 대한 구문 요소 및 적어도 하나의 파라미터를 결과적으로 생기는 비트스트림의 일부분 내에 인코딩하는 단계
를 포함하며,
상기 구문 요소는 상기 일부분이 상기 적어도 하나의 파라미터를 더 포함함을 나타내는 방법.
제3항에 있어서,
상기 적어도 하나의 이미지를 렌더링하는데 사용될 적어도 하나의 픽셀 블록의 가역 변환을 결정하기 위한 계수 정보 및 추가 구문 요소를 상기 결과적으로 생기는 비트스트림의 상이한 일부분 내에 인코딩하는 단계를 더 포함하고,
상기 추가 구문 요소는 상기 상이한 일부분이 상기 계수 정보를 더 포함함을 나타내는 방법.
제3항 또는 제4항에 있어서,
상기 컴퓨터 그래픽은 상기 적어도 하나의 이미지의 지역(terrain)을 렌더링하는데 사용되고, 상기 적어도 하나의 파라미터는 실제 지역 데이터로부터 추출되는 방법.
제2항 또는 제4항에 있어서,
상기 컴퓨터 그래픽은 상기 적어도 하나의 이미지의 제1 파트를 렌더링하는데 사용되고, 상기 적어도 하나의 픽셀 블록은 상기 적어도 하나의 이미지의 상이한 제2 파트를 렌더링하는데 사용되는 방법.
제6항에 있어서,
상기 적어도 하나의 이미지는 제1 이미지 및 상이한 제2 이미지를 포함하고, 상기 제1 파트는 상기 제1 이미지를 포함하며, 상기 제2 파트는 상기 제2 이미지를 포함하는 방법.
제6항에 있어서,
상기 적어도 하나의 이미지는 제1 이미지 및 상이한 제2 이미지를 포함하고, 상기 제1 파트는 상기 제1 이미지의 일부분 및 상기 제2 이미지의 일부분을 포함하며, 상기 제2 파트는 상기 제1 이미지의 나머지 및 상기 제2 이미지의 나머지를 포함하는 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 컴퓨터 그래픽은 3차원이고, 상기 적어도 하나의 파라미터는 컴퓨터 그래픽이 투영되는 렌더링 면을 결정할 수 있게 하는 카메라 위치 정보 및 카메라 방향 정보를 더 포함하는 방법.
제9항에 있어서,
상기 적어도 하나의 이미지는 이미지들의 시퀀스를 포함하고, 상기 적어도 하나의 파라미터는 이미지 시퀀스를 렌더링하기 위해 컴퓨터 그래픽이 투영되는 렌더링 면들의 시퀀스를 결정할 수 있게 하는 카메라 궤적 정보 및 카메라 속도 정보를 더 포함하는 방법.
제9항 또는 제10항에 있어서,
상기 적어도 하나의 파라미터는 시야, 영상비, 가까운 클리핑 면 및 먼 클리핑 면 중 적어도 하나에 관한 정보를 포함하는 투영 정보를 더 포함하는 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 적어도 하나의 파라미터는:
컴퓨터 그래픽의 카테고리,
상기 적어도 하나의 이미지의 디스플레이의 지속 기간,
컴퓨터 그래픽의 절차 생성에 사용될 절차의 타입을 나타내는 절차 표시자 - 상기 타입은 리지드 멀티-프랙탈(ridged multi-fractal) 또는 프랙탈 브라운 모션(fractal Brown motion)임 - ,
코히어런트 노이즈를 생성하기 위한 파라미터들,
디테일의 레벨들의 수,
셀 사이즈, 및
그리드 사이즈
중 적어도 하나를 지정하는 방법.
제1항 내지 제12항 중 어느 한 항의 방법을 수행하기 위한 장치.
제3항, 제4항 또는 제5항의 방법으로부터 생긴 비트스트림을 갖는(carry) 기억 매체.