KR101161045B1

KR101161045B1 - 색 결정 메타데이터 생성을 위한 방법 및 장치

Info

Publication number: KR101161045B1
Application number: KR1020077009745A
Authority: KR
Inventors: 에릭 칼 렘; 조슈아 파인즈; 피에르 올리비어; 장 반 루이; 데이빗 제이 반크로프트
Original assignee: 테크니컬러, 인크.
Priority date: 2004-09-29
Filing date: 2005-09-29
Publication date: 2012-06-28
Also published as: KR20070063567A; EP3660847A1; CN101031972A; EP1794754B1; WO2006039357A1; JP2013070432A; JP2008515349A; JP5599138B2; US20070268411A1; CN100583282C; US8149338B2; CA2581220C; EP1794754A1; EP3660847B1; JP5628350B2; CA2581220A1

Abstract

이 방법은 일련의 동영상을 표현하는(representing) 영상 데이터 상에 수행되는 색 보정 과정들을 결정하기 위하여 사용되는 메타데이터(metadata)를 제공(presenting)한다(705). 이 메타데이터의 명령들은 수행될 색 보정들의 개수 및 그러한 작업이 발생되는 시기를 제어한다. 그 후, 이 이미지 데이터는 결정된 순서에 따라, 지정된 시간에 색 보정 작업이 수행된다(710). 그 후, 이 이미지 데이터는 렌더링(rendering) 장치에 의해 일련의 영상으로서 표현된다(715). 선택적으로, 영상 데이터의 각기 다른 영역들은 서로 다른 색 보정 작업들을 받을 수 있다.

Description

색 결정 메타데이터 생성을 위한 방법 및 장치{METHOD AND APPARATUS FOR COLOR DECISION METADATA GENERATION}

본 발명은 일반적으로 비디오 프로세싱 분야에 관한 것으로, 더 자세하게는 비디오 세그먼트의 색 보정에 관한 것이다.

영화 또는 텔레비전 산업에서의 촬영 후 최종 제작 단계(post production)에서, 영상 편집을 담당하는 사람은 예술적인 목적을 위하여 감독이 바라는 특정한 효과를 고려하기 위해 비디오 콘텐츠의 색상(color)을 능숙하게 다룰 것이다. 예를 들어, 비디오 콘텐츠는 비디오 콘텐츠의 색상을 밝아지게 하여 “파스텔” 효과를 표현하거나 또는 색조(hues)를 어둡게 하여 “모래 같은(gritty)” 색 효과를 표현함으로써, 수정될 수 있다.

비디오 콘텐츠의 색상이 수정되면, 그러한 변화가 편집 기구에서부터 비디오 모니터나 필름 프로젝터와 같은 디바이스 콘텐츠를 재생하는데 사용되는 장치로까지 유지되기는 어려울 것이다. 게다가, 비디오 콘텐츠는 편집 작업절차(workflow)에서 다양한 장치에 넘겨지고, 그러한 장치들은, 서로 다른 장치들은 색 보정을 하기 위해 서로 다른 기능들을 가지고 있기 때문에, 비디오 콘텐츠의 색상에 어떠한 변화가 조작되었는지 효과적으로 알리기 위해 서로 간에 통신하는 수단을 가지고 있지 않을 것이다.

종래 기술에서의 관련된 다른 문제들뿐만 아니라 상기 언급한 문제들은 본원 발명에 의해 해결될 것이다.

본원 발명에 따른 색 결정 메타데이터 생성 방법은 일련의 영상들을 표현하는 영상 데이터 상에 후행되는 색 보정 작업들의 순서와 그러한 영상 데이터 상에 수행되는 그러한 작업들의 개수와 관련이 있는 메타데이터를 전송하고 사용하는 방법에 관한 것이다.

본원 발명의 이러한 그리고 다른 관점들, 특성들 및 장점들은, 첨부된 도면들과 연관되어 설명되는, 다음의 바람직한 실시예들에 관한 자세한 설명에 의해 명확해질 것이다.

도 1은 시각 정보 획득 및 편집 시스템의 실시예를 설명하는 다이어그램이다.

도 2는 색 보정 작업을 설명하는 다이어그램이다.

도 3은 영상 데이터의 서로 다른 순서의 영상 데이터 상에 수행되는 다양한 색 보정 작업들의 작업을 설명하는 개략적인 다이어그램이다.

도 4는 색 보정 작업을 위해 사용되는 리프트 커브의 일 실시예이다.

도 5는 색 보정 작업을 위해 사용된 이득 커브의 일 실시예이다.

도 6은 색 보정 작업을 위해 사용된 감바 커브의 일 실시예이다.

도 7은 일련의 영상으로서 표현될 수 있는 데이터에 색 보정 작업을 적용하기 위한 방법의 실시예를 설명하는 다이어그램이다.

본원 발명의 바람직한 실시예는 비디오 콘텐츠를 제작, 편집 및 디스플레이하는데 사용되는 비디오 수집/편집 작업흐름(workflow)에 관한 것이다. 도 1에 도시된 바와 같이, 시스템(100)은 바람직한 시각 정보 수집/편집 작업흐름로서, 비디오 콘텐츠를 수집하는 수집 장치(105)를 사용한다. 수집 장치(105)는 비디오 카메라, 필름 카메라, 필름 디지타이저(digitizer), 비디오 캡쳐(capture) 장치, 또는 나중에 비디오 세그먼트의 형식으로 시각적으로 재생(reproduce)될 수 있는 시각 정보를 저장할 수 있는 다른 타입의 장치이다. 비디오 세그먼트라는 용어는 타임 라인을 따라 일련의 영상들의 시간적, 공간적, 또는 시공간적 세그먼트 모두를 의미한다. 시각 정보(또는 영상 데이터)라는 용어는 영상을 표현할 수 있는 임의의 정보 유형(type)을 의미한다. 본 발명의 바람직한 실시예에서, 시각 정보는, 예를 들어, 비디오 시퀀스(video sequence)로 나타내지거나 또는 필름상에서 일련의 프레임들로 보여지는 일련의 영상들(동영상)을 생성하기 위해 사용되는 정보이다.

수집 장치(105)는 수집된 시각 정보를 필름, 컴퓨터 메모리, 플래시 카드, 하드 드라이브, 디지털 범용 디스크( DVD, Digital Versatile Disc), 컴퓨터 디스크, 디지털 저장 장치, 기록 저장 테이프 등과 같은 저장 매체에 저장한다. 일반적으로 이러한 시각 정보가 디지털 형식으로 저장되는 경우, 수집 장치는 저장된 시작 정보를 저장된 시각 정보의 색 속성(color attributes)을 정의하는 색 공간으 로서 알려진 변환(transmation)에 종속시킨다. 다양한 유형의 색 공간이 이 기술 분야에서 알려져 있는데, 예를 들어, 국제 조명 위원회(International Commission on Illumination, CIE 1931, L*a*b*), 국제 전기통신 연합(International Telecommunication Union, ITU REC 601), RGB(Red Green Blue) 등에 의해 정의된 것이 있다.

이 기술 분야의 다른 표준들 중 이러한 표준들은, 저장시에 시각 정보의 색 속성을 정의하고, 이러한 시각 정보는 비디오나 필름의 형태로 재생(reproduce)된다.

수집 장치(105)로부터의 시각 정보는 편집 장치(110)에 의해 수정될 것이고, 이 편집 장치(110)는 비선형 편집기, 컴퓨터 등의 형태를 취한다. 본 발명의 바람직한 실시예에서, 편집 장치(110)는 색 처리(color manegement)를위하여 사용되는데, 여기서, 수집 장치(105)로부터 저장된 시각 정보가 검색되고(스캔되거나, 저장 장치로부터 독출되거나, 네트워크 연결을 통해 전송되고), 또한, 이 시각 정보는 색 보정이 칼라리스트나 감독에 의한 창조적인 선택을 표현하는 2k DA VINCI 나 4k DISCRETE LUSTRE 등과 같은 소프트웨어에 의해 수정될 수 있다.

선택적으로, 색 보정은 장치의 특성에 적합하도록 시각 정보가 보정되는 자동 동작을 나타내기도 한다. 예를 들어, 수집 장치(105)에 의해 저장되는 시각 정보는 편집 장치(110)에 의해 사용되는 것과는 다른 색 공간을 가질 수 있다. 그러므로, 시스템은, 룩업(look up) 테이블, 색 변환(transformation) 정보, 소프트웨어 번역(translation) 등을 통하여, 시각 정보가 편집 장치(110)에 사용되는 색 공 간으로 변환되도록 구현된다.

본 발명의 수집/편집 작업흐름 시스템은, 수집 장치(105) 및 편집 장치(110)에 관련하여서만 논의되었으나, 비디오 편집 작업흐름에서 다른 장치들도 사용될 수 있음은 자명한 것임을 기억해야 한다. 예를 들어, 수집 장치(105)는 가정용 사용자에 의해 사용되는 비디오 카메라로 구현될 수 있고, 편집 장치(110)는 디지털 비디오(Digital Video, DV) 편집 소프트웨어를 구동시키는 가정용 컴퓨터, 또는, 다른 장치들로 구현될 수 있다. 게다가, 편집 장치(110)는 선택적으로 각 장치들이 시각 정보를 편집하는데 사용되는 여러 장치들로 구현될 수 있다. 예를 들어, 하나의 편집 장치(110)는, 감독(director)에 의해, 초기의 색 보정을 선택할 수 있도록 제어될 수 있고, 두 번째 편집 장치는 작업자(operator)에 의해, 렌더링 장치(115)에 의해 시각 정보가 일련의 영상 프레임들(image frames)로 미사용 영화 필름(film stock)에 인쇄되기 전에, 그러한 색 정보를 색 보정(color correct)하도록 제어될 수 있다.

렌더링 장치(115)는, 모니터, 필름 프로젝터, 디지털 광학 기술(Digital Light Processing, DLP), 액정 디스플레이(Liquid Crystal Display, LCD), 필름 프린터 등과 같은 장치를 사용하여 디스플레이하도록 시각 정보를 표현(render)하거나, 궁극적으로 시각 정보를 시각적 형태로 표현하는데 사용되는 필름, 시디롬(CD-ROM), 디지털 범용 디스크(DVD), 컴퓨터 테이프, 플래시카드 등으로 시각 정보를 표현하는데 사용된다. 바람직하게는, 시각 정보는, (비디오 테이프, DVD, 스트리밍 비디오 등을 위한) 비디오 시퀀스 및 이미지 프레임과 같은 것들을 필름상에 형 성하도록 사용되는 일련의 동영상들로 구성될 것이다.

이하에서 설명되는 것처럼, 출원인은 본 발명의 사상(principle)이, (수집 장치(705)를 위한 프록시(proxy)로서 작동하는) 브로드캐스터 또는 콘텐츠 프로듀서가 일련의 영상을 표현하는 영상 데이터를 제공하는 경우의 소비자 전기 장치(consumer electronic equipment)에도 적용됨에 주목한다. 이 브로드캐스터는, 하나의 타입의 장치(플라즈마 디스플레이 장치)에는 하나의 색 보정 기술이 적용되고, 또 다른 타입의 장치(음극선관 디스플레이 장치)에는 또 다른 색 보정 기술이 적용되는 것과 같이, 특정 타입의 장치(특정 타입의 디스플레이 장치)에 대한 조건을 지정할 수 있다.

본 발명의 사상과 일치하게, 다른 디스플레이 장치들도 조건이 지정될 수 있다. 본 발명의 사상은, 색 보정 작업이 수행될 때, 일치된 결과를 위하여 편집 장치를 칼리브레이션(calibration)하는데도 사용될 수 있다.

본 출원에서 전술된 바와 같이, 디바이스 장치들은 다른 색 공간을 이용하거나 또는 시각 정보의 색상에 보정이 행해지도록 했었을 수 있다. 본원은, 상이한 장치들 사이에서 전송될 수 있는, 색 보정이 행해진 프레임워크와 판매자(vendor)에 의해 사용 및/또는 제공되는 소프트웨어를 나타내는 메타데이터를 생성하는 시스템을 제공한다.

바람직하게는, 이 메타데이터는, 일련의 영상을 갖는 XML 스키마 관련 색 보정 메타데이터에 기초한다. 이 발명은, 색 보정 메타데이터가 일시적으로 일련의 영상과 관련될 수 있고, 두 기간(time period)의 사이 동안, 두 개의 상이한 세 트 색 보정 메타데이터가 사용된다는 점을 전제한다.

더욱이, 본 발명은 시각적 데이터를 위해 상이한 색 보정 수단이 사용될 수 있다는 점을 전제로 한다. 상이한 타입의 색 보정수단 및 색 보정 작업은, RGB(Red Green Blue) 출력을 갖는 일련의 3개의 1-D 룩업 테이블, 3개의 YCrCb(luma and chroma)를 사용하는 1-D 테이블 시리즈, 3-D 룩업 테이블, 프리-컴퓨티드(pre-computed) 행렬 변환, 리프트 게인 감마 기능상 명세(Lift Gain Gamma functional specifications) 등을 이용하는 이 기술 분야에서 널리 알려져 있다. 그러므로, 색 보정수단의 적용(application)은 상이한 기간에 대하여는 상이한 순서에 따라 의 ) 기능 내역, 기타 등이 있다.

예를 들어, 일련의 영상을 위한 하나의 기간 동안, 영상들은 처음에는 RGB 기반 색 보정을 받고, 그 후에 리프트 게인 감마(Lift Gain Gamma) 색 보정 작업에 의한 색 보정을 받는다. 그 다음 기간 동안, 또 다른 일련의 영상은 3-D 룩업 테이블에 의해 처리되고, 그 후에 RGB 기반 색 보정 작업을 받는다. 다른 색 보정 절차들도 본 발명의 사상에 따라 사용될 수 있다.

표 1은 일련의 영상에 색 보정 작업들을 수행하는데 사용되는 저작 도구(description tools)의 바람직한 실시예를 보여준다.

이 작업들은 상기 일련의 영상이 제공되는 메타데이터에 반영될 수 있다. 바람직하게는, 상기 색 보정 운영자에 관하여 기술되는 관점은 MPEG-7 (Moving Picture Experts Group-7) 영상 표준 (ISO/IEC 15938-3:2002)의 일부로서 정의된 용어들을 사용한다.

기술 도구 집합 (Set of description tools)	기능성(Functionality)
색 보정(Color Correction)	하나, 둘 또는 세 개의 색 보정기의 직렬 적용을 기술함.
색 보정(Color Corrector)	단일 색 보정기의 설명(specification)을 기술함. 색 보정기 타입의 샘플: 1-D 룩업테이블 3개 3-D 룩업테이블 프리-컴퓨티드 행렬 변환 리프트 게인 감마 기능 설명
색 도구(Color Tools)	색 성분들과 그 성분들의 양자화 기술함.
시간 동기 도구 (Time Synchornization Tool)	미디어 시간(time) 및 기간(duration)과 필름 에지 코드(film edge code) 및 필름 길이(film length)와의 동기를 기술함.
(MPEG-7로부터의)구조기술도구 (Structure description tools)	적용된 색 보정과 관련된 비디오 구조를 기술. 구조적인 기술은 멀티미디어 콘텐츠의 공간적, 시간적 또는 시공간적 세그먼트들을 포함함.

색 보정기의 적용은 시스템(100) 내의 어느 곳에서도 적용될 수 있으며, 다수의 색 보정기들이 특정 장치에 대하여, 또는 일련의 비디오 영상에 대한 상이한 시간들에 발생될 수 있다. 도 3은 상이한 색 보정 과정들이 수행될 수 있는 시간 및 공간에 관한 바람직한 실시예를 설명한다. 비디오 시퀀스(300)로 제공되는 일련의 영상들에 대하여, 이 시퀀스(300)는 일련의 세 개의 시간 세그먼트(T1, T2, 및 T3)들로 분해된다. 시간( T1)에 대하여, 비디오 시퀀스는 두 개의 상이한 비디오 세그먼트(V10, V11)들로 쪼개지는데, 하나의 색 보정 작업(C10)이 비디오 세그먼트(V10) 대하여 수행되며, 다른 색 보정 작업(C11)이 비디오 세그먼트(V11)에 대하여 수행된다.

시간(T2)는 색 보정기(C20, C22)의 적용 사이의 시간 갭이 있음을 보여준다. 도시된 바와 같이, 비디오 시퀀스들(V20, V22)은 각각 색 보정 작업들(C20, C22)을 받는다. 비디오 시퀀스(V21)는 색 보정 작업을 받지 않는다. 시간(T3)은 비디오 시퀀스(V30)가 색 보정기( C30)을 받고, 비디오 시퀀스(V32)가 색 보정기(C32)를 받는 상황을 나타내고 있다. 비디오 시퀀스(V31)에 대하여는, 적용 시간 동안 중첩되도록 하기 위하여, 색 보정 작업들(C 30, C 32) 모두 상기 비디오 시퀀스에 적용되고 있음을 또한 알 수 있다.

표 2는 색 보정 메타데이터를 색 결정 리스트의 형식으로 표시하는 메타데이터를 생성하는데 사용되는 XML 스키마(schema)의 바람직한 실시예를 보여준다.

XML 용어	구성요소	기술
색결정리스트 (ColorDicesionList)		기술의 기본 요로서 제공한다. 색결정리스트는 기술에서 최고의 요소로 사용될 것이다. 이는 MPEG-7 비디오 세그 먼트 디스크립터에 기초한 요소로서, MPEG-7 비디오 세 그먼트 DS에 의해 제공되는 모든 시간적, 공간적 및 시 공간적 분해를 구체화한다.
	미디어정보 (MediaInformation)	메타데이터가 첨부되기 위한 비디오 픽쳐들의 시퀀스에 대한 메타데이터를 식별함.
	미디어타입 (MediaType)	색 보정이 된 미디어의 타입
	시각적 디스크립터 (Visual Descriptor)	MPEG-7에서와 같이 색상, 질감, 모양 및 움직임 등) 영상이나 비디오의 시각적 특징을 서술한다.
	공간 분해 (SpatialDecomposition)	하나의 영상 또는 일련의 영상들 내의 공간적 영역들(MPEG-7 참조)
	시간 분해 (Temperal Decomposition)	일련의 영상을 갖는 시간적 영상 세그먼트(영상들의 서브세트들)(MPEG-7 참조)
	시공간 분해 (SpatioTemporal Decomposition)	일련의 영상을 갖는 움직이는 영역들(MPEG-7 참조)

표 3은 영상의 세그먼트를 색 보정하는데 사용되는 처리된 색 보정을 나타내는 메타데이터를 생성하기 위하여 사용되는 XML 스키마의 바람직한 실시예를 보여준다.

XML 용어	구성요소	기술
색보정타입 (ColorCorrectionType)		색보정타입은 일련의 영상을 색 보정하는데 사용되는 색 보정 스킴(Scheme)을 정의한다. 수행되는 색 보정 작업은 3개인 것이 바람직하지만, 그보다 많거나 작은 수의 작업도 수행될 수 있다.
	색보정기 (ColorCorrector)	색 보정기 작업자는 아래에서 목록화된 다음의 색 보정기에 의하여 대체될 수 있는 추상적 요소이다.
	색기능LGG (ColorFucntionLGG)	색 보정기 작업자는 리프트, 게인 및 감마의 설명을 참작한다. 이 속성 세 가지까지는 수정될 수 있다.
	색룩업X (ColorLookUpX)	색 보정기 작업자는 3개의 1D 룩업테이블 다른 각각의 색 성분각 색 성분(X = 1, 2, 또는 3)에 대하여 하나인, 3개의 1D 룩업테이블에 관한 서술을 참작한다. 하나의 1-D 룩업테이블은 단순한 1× N 행렬이고, N은 룩업 요소의 개수이다. 룩업 요소의 개수(N)는 입/출력 양자화(예를 들어, 입/출력 색상의 R, G, B의 비트 수)와는 연관될 필요가 없다.
	색룩업3D (ColorLookup3D)	색 보정기 작업자는 3개의 1d 룩업테이블 작업의 기술을 참작하는데, 선택된 색 공간을 고려하여 각 색 성분을 참작하는 것이 바람직하다. 3-D 룩업테이블은 4 차원 행렬(L× M× N× 3)에 의해 표현된다. 처음 세 개 차원들은(L× M× N) 각 색 성분(예를 들어, R, G, B)에 대한 룩업 요소의 개수를 보여주며, 네 번째 차원은 세 개의 출력 색 성분들을 나타낸다.
	색룩업프리컴퓨티트행렬 (ColorLookUpPrecomputed Matrix)	색 보정기 작업자는, 9개의 1D 룩업테이블을 통한, 미리 컴퓨터로 계산된 입력 RGB 수치에 대한 3× 3 변환에 관한 설명을 참작한다.

표 4는 일련의 영상에 대한 색 보정에 사용되는 특정한 색 보정 작업의 상세한 점들을 나타내는 메타데이터를 생성하는데 사용되는 XML 스키마의 실시예를 보여준다.

XML 용어	구성요소	기술
색보정기준타입 (ColorCorrection BaseType)		특정 색 보정기에 있어서, 일반화된 메타데이터의 형식은 (표 3에 있는) 색 보정기와 연관된다.
	입력색공간 (InputColorSpace)	색 보정기의 입력색공간. 이용가능한 색 공간 타입들은 바람직하게, MPEG-7에서와 같이, 색공간 데이터타입(RGB, YCbCr, HSV, HMMD, RGB 관련 선형 변환행렬, 모노크롬)에 대하여 정의된다.
	출력색공간 (OutColorSpace)	색 보정기의 출력색공간. 이용가능한 색 공간 타입들은 바람직하게, MPEG-7에서와 같이, 색공간 데이터타입(RGB, YCbCr, HSV, HMMD, RGB 관련 선형 변환행렬, 모노크롬)에 대하여 정의된다.
	입력색양자화 (InputColorQuantization)	색 보정기의 입력색양자화. 이 변수는, 임의의 순서로 양자화된 구성성분을 참조하여, 양자화된 색 성분을 기술(specify)한다. 각 색 공간에 대하여 참조된 색 성분 조합들에는 R, G, B, Y, Cb, Cr, H, S, V가 있으며, 작업자에는 Max, Min, Diff 및 Sum이 있다. 이 파라미터는 MPEG-7로부터의 색양자화 디스크립터에 기초하고 있지만, 이 파라미터 값은 12 bit에서 32 bit까지 확장된다.
	출력색양자화 (OuputColorQuantization)	색 보정기의 출력색양자화. 이 변수는, 임의의 순서로 양자화된 구성성분을 참조하여, 양자화된 색 성분을 기술한다. 각 색 공간에 대하여 참조된 색 성분 조합들에는 R, G, B, Y, Cb, Cr, H, S, V가 있으며, 작업자에는 Max, Min, Dif, 및 Sum이 있다. 이 파라미터는 MPEG-7로부터의 색양자화 디스크립터에 기초하고 있지만, 이 파라미터의 값은 12 bit에서 32 bit까지 확장된다.

위에서 언급된, 색룩업1D 색 보정 작업은, 바람직하게는 각각의 색 성분마다 3개의 1-D 룩업테이블로 구성된다. 일반적으로, 입력 색 공간의 양자화는 룩업테이블 내의 엔트리 개수와 같으며, 이 경우, 보간은 필요하지 않다. 그러나, 하나의 1-D 색 룩업테이블이 입력 색 공간보다 더 적은 엔트리를 포함할 수도 있다. 예컨대, 각각의 색 성분에 대하여 6 bit 색 양자화 및 16개 엔트리 룩업테이블을 갖는 RGB 입력 색 공간을 생각해보자. 이 기술 분야에서 알려진 보간 기술을 사용하여, 입력 값이 한정된 수의 출력 값에 대응되도록 축소될 수 있을 것이다.

색룩업3D(ColorLoopkup3D) 색 보정기는 색 공간들 사이의 변환을 수행하기 위하여 3-D 색 룩업테이블을 사용한다. 예를 들어, RGB 입/출력 색 공간을 갖는 3D 룩업테이블은, 입력 RGB 트리플(triples)을 취하고, 보간을 통하여 그 입력 RGB 트리플을 각각의 RGB 입력 트리플에 대하여 잠정적으로 유일한 출력값과 함께 출력 R'G'B' 트리플(triples)에 매핑한다. 자세히 설명하면, 입력 색 공간 내의 입력 색 성분들의 각 조합은, 각 색 성분을 룩업테이블 차원(dimension)으로 사용하여, 출력 색 성분으로 매핑된다. 예를 들어, 10 bit RGB 입력 및 출력 색에 있어서, 10억을 넘는 엔트리들의 3-D 육방체(cube)가 만들어 질 것이다. 따라서, 이러한 유형의 색 보정을 사용하기 위해서는, 몇몇의 제한 조건이 있는 트리리니어(trilinear) 또는 사면체(tetrahedral) 보간 등과 같은 유형의 보간을 사용하는 것이 바람직하다.(더 자세한 정보를 위하여 카슨(Kasson), 닌(Nin), 플로페(Plouffe), 하프너(Hafner), “3차원 보간에 의한 색 공간 전환 수행(Performing Color Space Conversions with Three Dimensional Interpolation)", 전자 영상에 관한 논문, 1995년 7월, Vol. 4(4) 참조)

색 룩업 프리-컴퓨티트 행렬(ColorLookupPrecomputedMatrix) 색 보정기는 다음과 같은 선형행렬변환을 사용한다.

그 후에, 색 룩업 프리-컴퓨티트 행렬 작업은 3×3 변환 행렬의 각 계수들에 대한 룩업 값들의 리스트를 계산한다. 각 출력 값(R', G', B')에 대하여, 작업 과정은 2개의 덧셈에 후속하는 3개의 룩업 작업들로 구성된다(R, G, B 각각에 대하여 하나씩). 9개의 1-D 룩업테이블들(L'_XX)은 합하여 다음과 같이 요구된다.

색 기능 LGG(ColorFunctionLGG) 색 보정기는 아날로그 비디오 처리에서 유도된 제어를 사용하여, 즉 각 색 성분에 대하여 입력-출력 전송 특성의 (블랙 레벨, 페디스털 또는 셋업으로 알려진) 리프트(Lift), 게인(Gain) 및 감마(Gamma)를 변경하여 수행된다. 이 색 보정기는 룩업 값을 열거하기보다는 색 보정 기능을 기술(specify)하는 기능(ability)을 제공한다. 형식적으로는, 리프트, 게인 및 감마는 신호 적색 성분(R)의 관점에서 부여된다.

리프트(Lift)는 입력-출력 전송 특성의 Y-절편을 다음과 같이 증가시킨다.

,

여기서 ,

출력값 R'은 정규화된 출력 간격 [0, 1]에 의해 제한된다(도 4의 리프트=±.25를 갖는 샘플 리프트 커브 참조).

게인(Gain)에 대하여는,

게인(G)은 출력값의 크기를 조절한다.

또는 동등하게,

여기서,

출력값 R'은 정규화된 출력 간격 [0,1]에 의해 제한된다.

도 5 또는 샘플 게인 커브를 보면, 게인 = .364(20º), 게인 = 1.73(60º)이다.

감마(Gamma)에 대하여는,

감마(γ)는 지수에 기초한 색 성분에 대한 비선형 보정이다.

여기서,

출력값 R'은 정규화된 출력 간격 [0, 1]에 의해 제한된다.

도 6을 보면, y=0.333 이고, y^-1 =3.0 이다.

상기 열거된 함수들의 적용은 리프트, 게인 그리고 감마의 순서에 따fms다. 또는 R' = [G(R+L)] y

바람직하게는, 영상의 각 시퀀스(비디오 세그먼트)에 대하여, 색 보정기의 적용(또는 비-적용)을 나타내는 매체시간(시작 시간, 순간, 및 지속)에 의해 기술되어야 한다. MPEG-7 MDS 섹션 6.4는 기술된 매체 시간에 대한 많은 상이한 메타데이터 세트들을 제공한다. 시간 기술(time description)은 ISO(International Standards Organization) 8601 표준의 제한된 세트의 어휘 표현에 기초하는 것이 바람직하다. 그에 더하여, 일련의 영상들에 대하여, 시간에 관한 다른 표현들은, 영화 텔레비전 기술자 협회(SMPTE, Society of Motion Picture Television Engineers)의 시간 코드로서 사용될 수 있는데, 이들은 매체시점기능(Media TimePoint function)의 형식에 따른 값들, 매체시간지연기능(Media TimeDuration function)의 형식에 따른 값들 등을 사용한다. 상기 매체시점기능와 매체시간지연기능 모두 MPEG-7에 명시되어있다.

비록 본 발명의 사상들이 일련의 비디오 영상들과 관련하여 설명되었으나, 이 발명은, 일련의 영상들의 상이한 영역들에 대한 색 보정의 적용을 지원한다. MPEG-7 MDS ISO/IEC 15938-5(11.4.9)에서 기술된 바와 같은 세그먼트 분해 도구들(segment decomposition tools)은 일련의 비디오 프레임들을 각각의 공간 값과 시간 값으로 분해하는 방법을 기술한다. 선택적으로, 일련의 영상으로부터 하나의 영상을 추출하고, 그 영상을 직각형 또는 다각형의 서브영역으로 분해할 수 있다(MPEG-7 MDS ISO/IEC 15938-5(11.4) 참조). 그 후에, 각 영상의 각각의 서브영역에 색 보정이 적용될 것이다.

만약 특정 영역이 프레임을 가로질러 움직인다면, MPEG-7 MDS ISO/IEC 15938-5(11.4) 및 MPEG-7 비쥬얼 15938-3(5.6, 9.4, 및 10.3)이 적용될 것이다. 영역을 움직이는 MPEG-7 툴(tool)을 사용함으로써, 색 보정은 하나 이상의 움직이는 영역에 적용될 수 있으며, 상기 움직이는 영역의 경계(outline)는 직사각형, 타원, 또는 임의의 다각형의 리스트에 의하여 정의된다. 상기 영역의 형태는 고정되거나, 또는 시간에 따라 상대적으로 움직이는 다각형의 정점들과 같이 고정되지 않을 수 있다. 상기 영역의 이동은, 고정 변환에서의 두 개의 속도 파라미터, 회전 또는 스케일링에서의 4개의 파라미터, 아핀 변환(affine transformations)에서의 6개의 파라미터 등과 같은 모델 파라미터의 정점들(vertices)에 대한 선형(linear) 또는 2차(quadratic) 시간 보간법에 의해 모델화될 수 있다.

전술된 사상에 따라, 도 7은 보정 메타 데이터를 수신하는 관점에서 색 보정을 수행하기 위한 방법의 바람직한 실시예를 보여준다. 제 705 단계에서, 렌더링 장치(115)는, 일련의 동영상으로서 시각적으로 표현될 수 있는 데이터 표현 정보를 수신한다. 제 710 단계에서, 렌더링 장치(115)는 시각적으로 표현되는 데이터 표현 정보가 색 수정되어야 하는지 여부를 나타내는 색 보정 메타데이터를 수신하였는지 여부를 판단한다. 이 단계에서 상기 판단은 수행되어야 하는 상이한 색 보정 작업들의 개수 및 그 순서에 관하여 이루어진다. 바람직하게는, 상기 수행되어야 하는 상이한 색 보정 작업의 개수는 3 이다.

전술한 바와 같이, 제 710단계에서 선택적으로, 특정 색 보정 작업이 수행되는 시기를 나타내는 메타데이터와 함께 포함되는 시간적 정보가 있다. 선택적으로, (시각적 정보로부터 생성되는) 일련의 영상들의 어떤 영역은, 특정 길이의 시간동안, 특정 기술을 사용하여, 색 보정되어야 함을 나타내는 메타데이터가 있을 수 있다. 다른 일련의 영상들 또는 영상 영역들은, 본원 발명의 사상에 따라 동일한 색 보정 작업을 받을 수도 있고, 상이한 색 보정 작업을 받을 수도 있다.

제 715 단계는, 수신된 메타데이터에 따라 색 보정 작업을 수행하는 렌더링 장치(115)를 갖는다. 색 보정 메타데이터가 이를 지시할 경우, 여러 상이한 색 보정 작업들이 수행될 것이다. 게다가, 메타데이터는 시각 정보들이 얼마나 오래 및/또는 어느 부분을 선택된 색 보정 작업에 의해 영향을 받도록 할 것인지를 제어할 것이다. 제720단계에서, 색 보정된 데이터는 일련의 영상들로서 표현되어, 디스플레이 장치로 출력되거나, 필름 프린터 상에서 인쇄되거나, 또는 색 보정 작업의 관점에서 시각 정보(영상 데이터) 표현이 가능한 다른 타입의 장치들로 출력된다. 시스템(100) 내의 어떠한 장치도, 수집 장치(105) 및 편집 장치(110)를 포함하여, 상기 지시된 단계들을 수행할 수 있다. 더욱이, 수행되는 색 보정 작업의 개수, 수행되는 특정 색 보정 작업들 및 그러한 작업들의 순서를 나타내는 메타데이터의 생성은, 도 7에 도시된 바와 같은 방법 단계들을 반대로 적용함으로써, 시스템(100) 내의 어떠한 장치에서도 수행될 수 있다.

본 발명은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특정한 목적의 프로세서, 또는 이들의 조합에 의해서 구현될 수 있다. 바람직하게는, 본 발명은 하드웨어와 소프트웨어의 조합에 의해 구현된다. 더욱이, 소프트웨어는 프로그램 저장 장치 상에 명백히 실시되는 응용 프로그램의 형태로 구현되는 것이 바람직하다. 응용 프로그램은 업로드 되거나, 적절한 설계를 구비하고 있는 기계에 의해 실행될 수 있다. 바람직하게는, 상기 기계는 하나 또는 하나 이상의 중앙 처리 장치(central processing units, CPUs), 랜덤 액세스 메모리(random access memory, RAM), 및 입력/출력 인터페이스(I/O interfaces) 등과 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 이 컴퓨터 플랫폼은 또한 운영 시스템과 마이크로명령 코드를 포함한다. 여기에서 기술된 다양한 처리 및 기능들은, 운영 시스템을 통하여 실행되는 마이크로명령 코드 또는 응용 프로그램의 일부(또는 이들의 조합)일 수 있다. 그에 더하여, 다양한 다른 주변 장치들은 추가적인 데이터 저장 장치 또는 프린팅 장치와 같이 컴퓨터 플랫폼에 접속될 수 있다.

비록, 첨부된 도면들을 참조하여 구체적인 실시예들이 설명되었으나, 본 발명은 이러한 실시예들에 한정되지 않으며, 본 발명의 사상 및 범위에서 벗어나는 않는 관련 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변경 및 변형이 가해질 수 있음은 자명하다. 이러한 모든 변경 및 변형은 첨부된 특허청구범위에 의해서 규정되는 본 발명의 범위에 포함된다.

Claims

삭제
삭제
색 보정 작업에서 사용하기 위한 메타데이터를 생성하는 방법에 있어서,

수행될 색 보정 작업들의 개수를 기술하는(describe) 메타데이터의 제1 세그먼트를 생성하는 단계(710)와,

수행될 색 보정 작업을 명시하는 메타데이터의 제2 세그먼트를 생성하는 단계(710)와,

상기 색 보정 작업을 나타내는 제1 색 보정 작업 및 제2 색 보정 작업을 수행하는 순서를 명시하는 메타데이터의 제3 세그먼트를 생성하는 단계를 포함하고,

상기 제1 및 제2 색 보정 작업들은 일련의(a sequence of) 동영상들을 나타내는 영상 데이터에 대해서 수행되는 것인, 메타데이터 생성 방법.
색 보정 작업에서 사용하기 위한 메타데이터를 생성하는 방법에 있어서,

수행될 색 보정 작업들의 개수를 기술하는 메타데이터의 제1 세그먼트를 생성하는 단계(710)와,

수행될 색 보정 작업을 명시하는 메타데이터의 제2 세그먼트를 생성하는 단계(710)와,

일련의 동영상들을 나타내는 영상 데이터에 대해서 상기 색 보정 작업을 수행하는 때를 나타내는 시간 정보를 명시하는 메타데이터의 제3 세그먼트를 생성하는 단계를 포함하는, 메타데이터 생성 방법.
제4항에 있어서,

일련의 부가적인 영상들에 대해서 제2 색 보정 작업을 수행하는 부가적 시간 정보를 명시하는 메타데이터의 제4 세그먼트를 생성하는 단계를 더 포함하는, 메타데이터 생성 방법.
제5항에 있어서, 상기 색 보정 작업 및 상기 제2 색 보정 작업의 적용은, 상기 일련의 영상들 및 상기 일련의 부가적인 영상들에 적용될 때 중첩되는 것인, 메타데이터 생성 방법.
색 보정 작업에서 사용하기 위한 메타데이터를 생성하는 방법에 있어서,

수행될 색 보정 작업들의 개수를 기술하는 메타데이터의 제1 세그먼트를 생성하는 단계(710)와,

수행될 색 보정 작업을 명시하는 메타데이터의 제2 세그먼트를 생성하는 단계(710)와,

상기 색 보정 작업이 수행되는 영상의 영역(region)을 나타내기 위한 메타데이터의 제3 세그먼트를 생성하는 단계를 포함하는, 메타데이터 생성 방법.
제7항에 있어서, 일련의 영상들을 나타내는 영상 데이터로부터 선택된 두 개의 영상의 동일한 영역에 상기 색 보정 작업이 적용됨을 나타내는 메타데이터의 제4 세그먼트를 생성하는 단계를 더 포함하는, 메타데이터 생성 방법.
색 보정 작업에서 사용하기 위한 메타데이터를 생성하는 방법에 있어서,

수행될 색 보정 작업들의 개수를 기술하는 메타데이터의 제1 세그먼트를 생성하는 단계(710)와,

수행될 색 보정 작업을 명시하는 메타데이터의 제2 세그먼트를 생성하는 단계(710)를 포함하고,

상기 색 보정 작업은 1차원 색 변환과, 3차원 색 변환과, 소정 매트릭스와, 리프트(lift), 이득 및 감마 기능 중 적어도 하나로부터 선택되는 것인, 메타데이터 생성 방법.
색 보정 작업을 수행하는 방법에 있어서,

수신된 메타데이터에 응답하여 수행되는 색 보정 작업들의 개수를 결정하는 단계(710); 및

상기 결정 단계에서 결정된 색 보정 작업들을 영상 데이터에 대해서 수행하는 단계(715)

를 포함하는, 색 보정 작업 수행 방법.
제10항에 있어서, 상기 색 보정 작업들은 명시된 순서에 따라 수행되는 제1 색 보정 작업 및 제2 색 보정 작업인 것인, 색 보정 작업 수행 방법.
제11항에 있어서,

상기 제1 색 보정 작업은, 상기 제2 색 보정 작업과 동시에, 일련의 영상들을 나타내는 영상 데이터에 대해서 수행되는 것인, 색 보정 작업 수행 방법.
제10항에 있어서,

상기 색 보정 작업들은 수신된 메타데이터에 따라서, 지정된(specific) 기간 중의 지정된 시간 동안 수행되는 것인, 색 보정 작업 수행 방법.
제10항에 있어서,

상기 색 보정 작업들은 일련의 영상들을 랜더링하기 위하여 사용되는 영상 데이터로부터 선택된 영상의 명시된 영역에 대해서 수행되는 것인, 색 보정 작업 수행 방법.
제10항에 있어서,

상기 색 보정 작업은 1차원 색 변환과, 3차원 색 변환과, 소정 매트릭스와, 리프트(lift), 이득 및 감마 기능 중 적어도 하나로부터 선택되는 것인, 색 보정 작업 수행 방법.