KR100560507B1

KR100560507B1 - 개선된 영상 변환 및 부호화 기술

Info

Publication number: KR100560507B1
Application number: KR1020007005574A
Authority: KR
Inventors: 필립빅터허먼
Original assignee: 다이나믹 디지탈 텝스 리서치 피티와이 엘티디
Priority date: 1997-12-05
Filing date: 1998-12-03
Publication date: 2006-03-15
Also published as: EP1044432A1; JP4698831B2; EP2252071A2; MY124160A; US7054478B2; CA2305735A1; CN1173296C; EP1044432A4; JP2001526477A; US20040032980A1; CA2305735C; WO1999030280A1; KR20010032346A; US7894633B1; US20040032488A1; US7551770B2; CN1281569A; EP2252071A3; ID27878A

Abstract

2D 영상내의 적어도 하나의 물체를 식별하는 단계; 상기 물체 또는 각각의 물체에 식별 택(tag)을 할당하는 단계; 상기 물체 또는 각각의 물체에 원근 택(depth tag)을 할당하는 단계 및 상기 물체 또는 각각의 물체에 대한 윤곽선을 정하여 형성하는 단계를 포함하는 2D영상을 입체영상으로 변환하는데 사용하기 위한 원근맵을 생성하는 방법.

Description

개선된 영상 변환 및 부호화 기술{IMPROVED IMAGE CONVERSION AND ENCODING TECHNIQUES}

본 발명은 일반적으로 입체(streoscopic) 영상 합성에 관한 것으로, 보다 구체적으로는 입체 영상 디스플레이 목적으로 부호화, 전송 및 복호화를 위해 2 차원(2D)영상을 변환하는 개선된 방법에 관한 것이다.

본 출원인은 PCT/AU96/00820호에서 a)원래 영상내의 적어도 하나의 물체(object)를 식별하는 단계, b)각각의 물체의 윤곽선을 그리는 단계, c)각 물체에 대한 원근(depth)특성을 형성하는 단계, d)관찰자(viewer)의 좌우측 눈(eye)으로 보기 위한 두 개의 스크래치 영상을 형성하도록 각각의 물체의 원근특성의 함수로서 수평방향에서 결정된 량으로 각 물체의 선택영역을 각각 변위시키는 단계를 포함하는 원시 2D영상으로부터 입체 디스플레이를 위한 좌우측 눈 영상을 생성하는 방법을 제안한바 있다.

상기의 단계들은 개별적으로 그리고 집합적으로 동적 원근 큐잉(Dynamic Depth Cuing) 또는 DDC으로 불리어진다.

본 발명은 본 출원인의 이전의 시스템의 동작을 더욱 개선한다.

본 발명은 2D 영상내의 적어도 하나의 물체를 식별하는 단계, 상기 물체 또는 각각의 물체에 식별 택(tag)을 할당하는 단계, 상기 물체 또는 각각의 물체에 원근 택(depth tag)을 할당하는 단계, 및 상기 물체 또는 각각의 물체에 대한 윤곽선을 정하여 형성하는 단계를 포함하는 2D영상을 입체영상으로 변환하는데 사용하기 위한 원근맵을 생성하는 방법을 제공하는 것을 한 특징으로 한다.

제 2 특징에 있어서, 본 발명은 물체에 물체 식별자를 할당하는 단계, 상기 물체에 원근 택을 할당하는 단계, 및 상기 물체 윤곽선을 형성하는 단계를 포함하는 2D영상을 입체 영상으로 변환하는데 사용하기 위한 원근맵(depth map)을 부호화하는 방법을 제공한다. 상기 물체 윤곽선은 일련의 좌표, 곡선 및/또는 기하적 형상으로 형성된다. 편리하게도 상기 식별 택은 고유의 번호가 될 수 있다.

제 3 특징에 있어서, 본 발명은 2D-3D변환처리에 있어서 물체의 윤곽선을 생성하는데 베지어 곡선(bezier curve)을 사용한다.

제 4 특징에 있어서, 본 발명은 2D-3D변환처리에 있어서 물체의 윤곽선을 형성하는데 기하적 형상을 이용한다.

제 5 특징에 있어서, 본 발명은 수직 블랭킹 간격(Vertical Blanking Interval) 또는 MPEG 데이터 스트림내에 정보가 포함된 원근맵 정보의 전송방법을 제공한다.

제 6 특징에 있어서, 본 발명은 2D-3D변환 프로세스를 지원하기 위해 일반 라이브러리(generic library)를 이용한다.

본 발명의 보다 양호한 이해를 위해, 본 발명의 일 실시예를 나타내는 첨부 도면을 참조하여 기술한다.

도 1 및 2는 원근맵 데이터로부터 디스토션 그리드(distortion grid)로 변환하는 방법을 도시한 도면이며,

도 3, 4, 5 및 6은 본 발명에 의해 개시된 물체의 윤곽선을 결정하는 여러 가지 기술을 도시한 도면이며,

도 7은 샘플 디스토션 그리드를 도시한 도면이며,

도 8은 다른 디코더의 하드웨어 블록도이며,

도 9는 다른 디코더의 디코딩처리의 흐름도이며,

도 10은 디스토션되지 않은 메시(undistorted mesh)의 일례를 도시한 도면이며,

도 11은 콘(cone)의 샘플 원근맵을 도시한 도면이며,

도 12는 원근맵으로 변형된 샘플메시를 도시한 도면이며,

도 13 내지 16은 원근맵 Z 입면을 X변위로 변환하는 일 방법을 도시한 도면이며,

도 17은 디스토션되지 않은 메시상에 원래 프레임을 나타내는 도면이며,

도 18은 X변위 맵으로 변형된 샘플 메시를 도시한 도면이며,

도 19는 원래 프레임 메시와 변위 메시와의 샘플 조합을 도시한 도면이며,

도 20은 다른 눈에 대한 샘플 합성 스크래치 영상을 도시한 도면이며,

도 21은 간략한 변위 플로우 차트이다.

물체 식별

변환될 2D영상내의 물체를 오퍼레이터가 시각적으로 관찰함으로서 식별할 수 있다. 오퍼레이터는 통상적으로 영상내의 각 물체나 물체그룹에 컴퓨터 마우스, 라이트 펜, 철필 또는 다른 장치를 이용하여 택을 달며, 물체에 고유의 번호를 할당한다. 상기 번호는 오퍼레이터가 수동으로 부여할 수 있거나 컴퓨터에 의해 특정의 시퀀스로 자동으로 부여된다.

물체는 또한 컴퓨터를 이용 완전자동으로 또는 반자동방식으로 식별될 수 있어서 오퍼레이터는 컴퓨터가 물체의 위치를 결정하도록 지원할 수 있다.

물체를 자동적으로 식별하기 위하여, 컴퓨터는 물체 사이즈, 색, 움직임 속도, 명암, 텍스처(texture), 휘도, 암도(obscuration), 초점뿐만 아니라 이전, 현재 및 미래 영상간의 차이 같은 특성을 이용한다.

반자동 물체 식별에 있어서, 오퍼레이터는 물체를 발견할 수 있는 영상의 성질에 대해 컴퓨터에 어드바이스함으로서 컴퓨터를 지원한다. 예를 들어 오퍼레이터는 컴퓨터에게 장면이 일반 포맷 "뉴스 캐스터"라고 어드바이스 할 수 있는데 이 경우 컴퓨터는 뉴스 캐스터의 헤드와, 숄더, 데스크 및 배경 등을 찾으려고 한다. 오퍼레이터는 가능한 일반 장면의 메뉴로부터 선택할 수 있다. 오퍼레이터는 또한 컴퓨터가 행한 임의의 물체 선택을 수동으로 무효로 하고/하거나 수정 및 조정할 수 있다. 컴퓨터 프로그램은 예를 들면 신경망 또는 전문가 시스템을 이용하여 이들 수정작업으로부터 학습하여 물체 식별 및 번호부여의 정확성을 개선한다.

일단 물체가 식별되고 번호가 부여되면, 그 물체는 연속 프레임상의 영상내에서 이동함에 따라서 경우 수동, 자동 또는 반자동으로 추적된다.

오퍼레이터는 또한 동일 시퀀스로 작업하거나 유사한 이전 장면의 변환을 통해서 다른 오퍼레이터가 만든 물체식별정보를 이용할 수 있다.

물체 윤곽선지정

물체(들)의 윤곽선은 수동, 자동 또는 반자동으로 구할 수 있다.

수동 윤곽선지정에 있어서, 오퍼레이터는 컴퓨터 마우스, 라이트 펜, 철필 또는 다른 장치를 이용하여 물체(들)의 윤곽선을 추적한다. 오퍼레이터는 픽셀×픽셀 베이스로 물체의 윤곽선을 선택하며, 직선, 곡선 근사치, 베지어 곡선 또는 곡선 또는 일반 형상라이브러리로부터 최적의 것을 이용한다. 오퍼레이터는 또한 미리 거의 정확한 형상 및 스케일로된 일반 형상의 라이브러리로부터 선택하거나 형상을 동적으로 맞춘다. 예를 들어 오퍼레이터가 사람의 윤곽선을 선택하려는 경우, 사람의 일반 윤곽선이 그 라이브러리로부터 회수되어 그에 따라 수동, 반자동, 자동의 어느 한 방법으로 조정된다. 또한 오퍼레이터는 원형, 타원형, 삼각형, 정사각형 등의 기하 형상 라이브러리로부터 선택할 수 있다.

자동 윤곽선지정에 있어서, 컴퓨터는 물체 사이즈, 색, 움직임 속도, 명암, 휘도, 암도, 및 이전, 현재 및 다음 영상간의 차이 같은 특성을 이용한다. 물체의 윤곽선을 구하는데 신경 망 및 전문가 시스템이 이용될 수 있다.

반자동 윤곽선지정에 있어서, 오퍼레이터는 물체를 나타내는 영상의 성질과 관련하여 컴퓨터에 어드바이스함으로서 컴퓨터를 지원한다. 예를 들어 오퍼레이터 는 컴퓨터에게 장면이 일반 포맷 "뉴스 캐스터"라고 어드바이스 할 수 있는데 이 경우 컴퓨터는 뉴스 캐스터의 헤드와, 숄더, 데스크 및 배경 등을 찾으려고 한다. 오퍼레이터는 가능한 일반 장면의 메뉴로부터 선택을 하게된다. 오퍼레이터는 또한 컴퓨터가 행한 임의의 물체선택을 무효로 하고/하거나는 수정 및 조정한다. 컴퓨터 프로그램은 예를 들면 신경 망 또는 전문가 시스템을 이용하여 이들 수정작업으로부터 학습하여 윤곽선지정의 정확성을 개선한다.

일단 물체가 윤곽선지정되면, 그 물체는 연속 프레임상의 영상내에서 이동함에 따라서 수동, 자동 또는 반자동으로 추적된다.

오퍼레이터는 또한 동일 시퀀스로 작업하거나 유사한 이전 장면의 변환을 통해서 다른 오퍼레이터가 만든 정보를 이용할 수 있다. 또한 오퍼레이터는 원형, 타원형, 삼각형, 정사각형 등의 기하 형상을 포함하는 미리 정해진 윤곽선의 라이브러리로부터 선택하며, 수동, 반자동 또는 자동으로 라이브러리의 윤곽선을 조정해서 선택된 물체에 맞춘다. 상기 라이브러리는 또한 개별 윤곽선 즉 뉴스 캐스터에 의해 또는 물체의 특정 패밀리 즉 경마, 이브닝 뉴스 등에 의거하여 색인된다.

원근 결정

물체(들)의 원근은 수동, 자동 또는 반자동으로 구해진다. 이 물체의 원근은 문자 숫자식, 시각적, 가청 또는 촉각 정보를 이용하여 할당된다. 바람직한 실시예에 있어서, 물체의 원근은 특정 색으로 물체를 음영지게 함으로서 표시된다. 통상 변환되면 관찰자에게 가장 가까운 3D위치에서 나타나는 물체가 백색으로 그리고 관찰자에게 가장 먼 3D위치에 있는 물체가 흑색이 될 것이다. 당연히 이러한 규정 은 변경될 수 있다. 즉 상대적 또는 절대 원근을 나타내는데 반전되거나 색이 이용된다.

다른 실시예에 있어서, 상기 물체의 원근에는 수치값이 할당된다. 이러한 값은 선형 또는 비선형 연속의 양의 값 또는 음의 값이 될 수 있으며, 단일 또는 다수의 자릿수를 포함한다. 바람직한 실시예에서 이 값은 0에서 255로 되어, 단일 바이트에 부호화될 수 있는데, 여기서 255는 변환을 통해 관찰자에게 가장 가까운 3D위치에서 나타나는 물체를 나타내며, 0은 관찰자에게 가장 먼 3D위치에 있는 물체를 나타낸다. 당연히 이러한 관례는 변경 즉 반전되거나 다른 범위가 사용될 수 있다.

수동의 원근결정에 있어서, 오퍼레이터는 컴퓨터 마우스, 라이트 펜, 철필 또는 다른 장치를 이용하여 물체(들)의 원근을 지정한다. 오퍼레이터는 물체 윤곽선내에 포인팅 장치를 놓고 원근값을 입력함으로써 물체의 원근을 지정할 수 있다. 상기 원근은 숫자, 문자 숫자식 또는 그래픽 값으로 입력되며, 오퍼레이터 또는 정해지거나 소정 허용범위의 값에서 컴퓨터에 의해 자동적으로 정해진다. 오퍼레이터는 또한 라이브러리 또는 허용원근의 메뉴로부터 물체를 선택할 수 있다.

오퍼레이터는 또한 물체내의 원근의 범위 또는 시간, 물체 위치 또는 움직임 또는 이들의 임의의 조합에 따라서 변하는 원근 범위를 지정할 수 있다. 예를 들어 물체는 관찰자쪽에서 가장 가까운 모서리와 관찰자쪽에서 가장 먼 모서리를 가지는 테이블이 될 수 있다. 3D로 변환되었을 때, 상기 테이블의 시각적인 원근은 그 길이를 따라서 변하여야 한다. 이를 달성하기 위해 오퍼레이터는 상기 테이블 을 다수의 세그먼트로 분할해서 각각의 세그먼트에 개별 원근을 지정한다. 다른 방법으로서 오퍼레이터는 명암량이 그 테이블의 특정위치에서의 원근을 나타내도록 상기 물체에 음영을 부여함으로써 물체내의 연속적인 가변원근을 지정할 수 있다. 이 실시예에 있어서, 밝은 음영(light shading)은 가까운 물체를 그리고 어두운 음영(dark shading)은 먼 물체를 나타낸다. 상기 테이블의 예에 있어서, 가장 가까운 모서리는 밝게 음영지는데, 가장 먼 모서리에 도달하기까지 음영이 점점 어둡게 된다.

물체내의 원근의 변화는 시간, 물체 위치 또는 움직임이나 이들의 조합으로 선형 또는 비선형으로 될 수 있다.

물체내의 원근의 변화는 램프(ramp)의 형태일 수 있다. 직선램프는 시작점(A)과 종료점(B)을 가질 것이다. 점 A 및 B에서의 색이 정해지, 점 A에서 점 B로의 기울기가 수직선상에 가해진다.

환형 램프는 중심점(A)에서 반경(B)까지의 거리를 이용하지만 직선형 램프와 유사한 램프를 정의한다.

상기 환형 램프까지 간단히 연장하면 외부림(rim)이 경사지거나 중심점이 가변의 사이즈를 갖게된다.

선형 연장부는 상기 수직선으로부터의 거리와는 대조적으로 선의 절편으로부터의 거리이다. 이 예에 있어서, 라인 세그먼트에 대해 색이 정해지며, "외측"에 대해 색이 정해진다. 상기 선의 절편을 따라서 색이 정해지며, 이 색은 상기 "외측"색으로부터 엷어진다.

다양한 램프가 용이하게 부호화 될 수 있다. 램프는 보다 복잡한 곡선, 방정식, 가변 투명도 등에 의거하여 부호화될 수 있다.

다른 예에 있어서, 물체는 프레임기간에 걸쳐 영상의 전방으로부터 후방으로 이동한다. 오퍼레이터는 최초 프레임에서의 물체에 대한 원근과 최종 또는 후속장면에서의 그 물체의 원근을 지정할 수 있다. 컴퓨터는 선형방식 또는 다른 방식으로 연속 프레임에 걸쳐서 상기 물체의 원근을 보간할 수 있다. 이러한 처리는 완전 자동화될 수 있으므로, 컴퓨터는 물체가 시간에 따라 이동함에 따라서 그의 사이즈의 변화에 의거하여 물체 원근내의 변화를 지정한다.

자동 원근결정에 있어서, 컴퓨터는 사이즈, 색, 움직임 속도, 명암, 휘도, 암도, 초점, 및 이전, 현재 및 미래 영상간의 차이 같은 특성을 이용할 수 있다. 물체의 원근을 구하는데 신경 망 및 전문가 시스템이 이용될 수 있다.

반자동 원근 형성에 있어서, 오퍼레이터는 원근이 할당되어질 영상의 성질과 관련하여 컴퓨터에 어드바이스함으로서 컴퓨터를 지원한다. 예를 들어 오퍼레이터는 컴퓨터에게 장면이 일반 포맷의 "뉴스 캐스터"라고 어드바이스 할 수 있는데 이 경우 컴퓨터는 뉴스 캐스터의 헤드와, 숄더, 데스크 및 배경 등을 찾아서 이들을 논리적 원근시퀀스로 배치한다. 오퍼레이터는 가능한 일반 장면의 메뉴 및 원근로부터 선택을 하게된다. 오퍼레이터는 또한 컴퓨터가 행한 임의의 물체 원근결정을 무효로 하고/하거나 수정 및 조정한다. 컴퓨터 프로그램은 예를 들면 신경망 또는 전문가 시스템을 이용하여 이들 수정작업으로부터 학습하여 원근 할당의 정확성을 연속적으로 개선한다.

일단 임의 물체에 특정 원근이 할당되면, 그 물체는 연속 프레임에 걸쳐서 영상내에서 이동함에 따라서 경우 수동, 자동 또는 반자동으로 추적된다.

오퍼레이터는 또한 동일 시퀀스로 작업하거나 유사한 이전 장면의 변환을 통해서 다른 오퍼레이터가 만든 원근결정을 이용할 수 있다.

다중 오퍼레이터

적절한 방식으로 비디오 시퀀스를 변환하기 위해서는, 다수의 오퍼레이터가 2D 소스재(source material)에서 작업하는 것이 필요하다. 이는 예를 들어 인터넷과 같은 온라인 컴퓨터 서비스를 이용하여 동일 위치에 위치할 수 있지만, 오퍼레이터는 세계 어디에도 위치할 수 있다. 이러한 구성에 있어서, 소스재의 안전성을 확보하기 위해, 오디오를 제거하고 영상의 색을 변경하는 것이 필요하다. 이는 물체의 윤곽선을 정하는 오퍼레이터의 능력에 영향을 미치지는 않으나, 원래 소스재의 침해를 방지한다. 물체윤곽선를 실제 선택하는 것은 비교적 간단한 처리이므로, 낮은 노동력 비용으로 시골에서 효과적으로 실행될 수 있다. 이러한 구성의 이용에 있어서, 변환 절차는 편리하게도 다음과 같다.

1. 관리자는 3D로 변환될 비디오 시퀀스를 식별하고, 이들 시퀀스의 각 프레임을 넘버링한다.

2. 관리자는 필요한 경우, 필요한 안전절차를 부여한다.

3. 관리자는 윤곽선지정을 필요로하는 장면의 물체(들)를 식별해 서 전술한 바와 같이 그 각각에 고유의 택을 매긴다.

4. 이어서 비디오 시퀀스가 적합한 디지털 포맷으로 변환되고, 온라인 서비 스를 통해 원격의 목적지(들)에 전송된다. 긴 비디오 시퀀스의 경우에는 비경제적인데, 이 경우 CD-ROM 상 또는 다른 백업 매체에 담아서 전달하는 것이 바람직하다.

5.상기 시퀀스는 오퍼레이터(들)가 물체 처리를 하고 있는 원격 위치에 수신된다.

6. 상기 처리의 결과가 식별중의 물체 윤곽선이 되므로, 나중에 압축될 데이터 그리고 파일 사이즈는 원래 영상보다 상당히 작게된다. 이 경우 물체정보는 온라인 E-메일 서비스를 통하여 관리자에게 용이하게 반환된다.

7. 관리자는 수신된 물체윤곽선에 대해 품질제어를 하여 프레임 수를 원래 비디오 소스 재에 맞춘다.

8. 이어서 관리자는 상기 물체 윤곽선과 원래 소스 재를 후속의 오퍼레이터에게 넘기고 이 오퍼레이터는 각각의 물체에 대해 필요한 원근 정보를 적용한다.

원근정보를 적용하는 것은 예술적이고 창조적이므로, 소그룹의 오퍼레이터에 의해 중앙위치에서 실시하는 것이 절대적인 것은 아니지만 바람직하다. 이렇게 함으로써 긴 시퀀스에 대해서 물체의 일관성을 확보하게된다.

복합원근의 결정

보다 이상적으로 보이는 3D를 생성하기 위하여, 때때로 간단한 램프나 선형 변형보다 복잡한 원근결정을 이용하는 것이 바람직하다. 이는 예를 들어 나무와 같이 원근에서 많은 변화가 있는 복잡한 내부구조를 가지는 물체에 특히 바람직하다. 이러한 물체의 원근맵은 물체에 텍스처 범프 맵(texture bump map)을 부여하 여 형성될 수 있다. 예를 들어 나무를 생각하면, 제 1 단계는 나무의 윤곽선 둘레를 추적하여 나무에 원근을 지정하는 것이다. 이어서 나무의 각각의 잎에 개개의 원근을 부여하도록 텍스처 범프 맵이 부가된다. 이러한 텍스처 맵은 비교적 간단한 물체에 세부묘사를 부여하는데 있어 본 발명에 유용한 것으로 확인되었다.

그러나, 나무의 잎 또는 다른 복잡한 물체와 같은 미세 세부묘사의 경우, 나무 등이 바람 속에서 이동하거나 또는 카메라앵글이 프레임에서 프레임으로의 변화한다면 이 방법은 보다 복잡해지므로 바람직하지 않다. 또 다른 보다 바람직한 방법은 필요한 범프 맵을 생성하도록 원 물체의 휘도를 이용하는 것이다. 일반적으로 관찰자에 가까운 물체의 요소는 밝게되며, 관찰자에 떨어지면 어두어진다. 따라서 가까운 요소에 밝은 휘도값을 먼 요소에 어두운 휘도값을 할당함으로써 범프 맵이 자동적으로 생성될 수 있다. 이러한 방법의 장점은 물체 자체를 사용하여 그 자신의 범프 맵을 생성할 수 있고, 프레임에서 프레임으로의 물체의 이동이 자동적으로 추적된다는 것이다. 물체의 다른 속성이 범프 맵을 생성하는데 이용되는데, 이들 속성에는 크로미넌스, 채도, 색 배합, 반사, 음영, 초점, 선명도 등이 포함되지만 이들에 제한되지 않는다.

상기 물체 속성으로부터 얻어진 범프 맵 값은 또한 물체내의 원근 변화의 범위가 전체 영상의 원근의 일반적인 범위와 일치하도록 확대된다.

원근맵

물체를 검출하고, 그들의 윤곽선을 구하고, 원근을 할당하는 것을 원근맵의 생성이라 한다. 바람직한 실시예에 있어서, 상기 원근맵은 80 ×60 ×8비트 해상 도의 그레이 스케일 영상으로 되므로 해당 2D영상내의 물체가 256의 개개의 원근중 하나에서 정의될 수 있다.

다른 방법으로서 곡선의 형상은 연속적인 xy좌표와 상기 지점사이의 직선으로부터 곡선의 변위사이의 거리의 비로서 정의할 수 있다. x1y1 및 x2y2는 라인A에 위치하며, 곡선에 의해 연결된다. 상기 지점간의 곡선은 라인A로부터 상기 곡선의 중간까지 측정된 최대 변위B를 가진다. 따라서 상기 곡선은 다음과 같이 정의된다.

곡선 = B/A

이는 -128로부터 +128까지의 값을 가지는데, 0은 두 점간의 직선을 나타낸다. 상기 곡선에 할당된 값이 두 측정치의 비율이므로, 동일 곡선 값은 동일한 B/A비를 가지는 다른 곡선들에 할당될 수 있음을 알아야 한다.

원근맵의 부호화

상기 원근맵은 다수의 방식으로 부호화될 수 있다. 바람직한 실시예에 있어서, 물체 수, 원근 및 물체윤곽선은 다음과 같이 부호화된다. 도 3에 도시된 사람의 윤곽선을 고려한다. 사람은 원근20을 가지는 물체 번호 1로 지정된다. 이 물체의 윤곽선은 이미 설명한 바와 같이 특정 x,y위치에서 구해진다. 통상, 물체 윤곽선 방향으로 변화가 일어난 경우, 특정 마크가 만들어 진다. 이 마크는 문자 숫자식 문자, 형상, 색 또는 다른 시각적 형태로 될 수 있다. 이 마크 각각은 특정 x,y 위치를 가진다. 바람직한 실시예에 있어서, 이는 0에서 255의 범위에 있다. 각 쌍의 x,y 위치사이에 곡선이 존재할 것이다. 각각의 곡선은 모든 가능한 형상 의 라이브러리로부터 선택으로 정해진다. 바람직한 실시예에 있어서, 각각의 곡선은 통상적으로 -127에서 +128내의 값으로 주어져서 그 곡선이 1 바이트로 정의된다. x,y위치에서 다음 x,y위치로 시계방향으로 이동하는 곡선은 양의 값으로 할당되는 반면, 반시계방향으로 이동하는 곡선은 음의 값으로 할당된다. 다른 할당이 적용될 수 도 있다.

원근 트레숄딩

변환 알고리즘에 원근 트레숄드를 부가하면, 그 트레숄드 앞의 물체가 왜곡되지 않게 된다. 이는 전경 물체가 배경 물체와 교차하는 경우 그 모서리에서 발생하는 임의의 작은 왜곡을 방지하도록 행해진다.

바람직한 변환 알고리즘에 있어서, 원근맵은 최종장면의 3D윤곽선을 형성하는 연속의 원근맵을 생성하는데 이용될 수 있다. 트레숄드가 이러한 프로세스에 가해지게되면, 상기 원근맵은 트레숄드 천이를 검출하도록 처리되며, 천이 위 아래의 원근은 독립적으로 처리된다.

따라서 상기 물체에 대한 원근맵 데이터는 다음과 같이 정의된다.

<물체번호> <물체 원근><x1,y1,곡선1, x2,y2, 곡선 2, .......x1,y1>

상기 물체의 원근 정보는 현재 물체의 원근을 생성하는데 필요한 데이터를 포함한다. 전술한 바와같이, 이 원근 데이터는 단일 값, 램프(선형, 환형 또는 기타 형태의 램프)또는 단일물체의 원근을 설명하는 다른 방법이 될 수 있다. 다음의 방법은 단일 물체의 원근 데이터를 부호화하는 가능한 수단을 나타낸다.

상기 원근데이터는 단일 원근값의 경우 다음과 같이 부호화된다.

<원근 플랩1><원근 값>

상기 원근 데이터는 선형 램프를 가지는 물체의 경우 그 원근 값으로서 다음과 같이 부호화된다.

<원근 플랩2><x1,y1, 원근 값1,x2,y2,원근 값2>

여기서 물체의 원근은 x1,y1에서는 값 1로부터 x2,y2에서 값 2 까지 선형적으로 변한다.

상기 원근 데이터는 비선형 램프를 가지는 경우 그 원근 값으로서 다음과 같이 부호화된다.

<원근 플랙3><x1,y1, 원근 값1,x2,y2,원근 값2, 감마>

여기서 감마는 ,x1,y1과 x2,y2 사이의 범위에 걸쳐 원근의 선형변화를 기술하는 값이다.

상기 원근 데이터는 환형 램프를 가지는 물체의 경우 그 원근 값으로서 다음과 같이 부호화 된다.

<원근 플랙4><x1,y1, 원근 값1,반경,원근 값2>

여기서 상기 물체는 x1,y1에서 원근 값1을 가지며, 상기 원근은 x1,y1에서 떨어진 모든 지점의 반경 픽셀에서의 원근 값 2의 값으로 선형방식 또는 다른 방식으로 변한다.

일단 물체 원근맵이 전송되면, 그 물체가 이동하거나 형상이 변하기 까지 상기 원근맵을 다시 전송할 필요가 없다. 물체의 위치만이 변한다면, 그 물체의 새로운 위치가 다음과 같이 물체위치에 대한 오프셋을 할당함으로써 전송될 수 있다.

<물체번호><x오프셋, y오프셋>

마찬가지로 물체의 원근이 변하지만 그 위치나 사이즈는 변하지 않는다면 다음이 전송된다.

<물체 번호><원근>

인접하는 물체는 x,y좌표를 공유하므로, 장면내의 모든 물체의 원근맵을 고유하게 정의하도록 전송될 필요가 있는 x,y 좌표에는 리던던시가 존재함을 이해할 수 있을 것이다.

전송 또는 저장되어야할 추가 데이터의 량을 최소화하기 위해서는 상기 원근맵을 구성하는 데이터를 압축하는 것이 바람직하다. 이 압축에는 임의 형태의 데이터 압축알고리즘을 이용할 수 있으며, 여러 가지가 당업자에게 공지돼 있다. 압축의 여러 가지 예로서는 런 렝스 부호화 및 호프만 부호화가 있으나 여기에 제한되는 것은 아니다. 물체가 프레임에서 프레임으로 이동하지 않기 때문에 프레임간 원근맵내의 차이를 전송하는 것이 바람직하다. 측정 및 처리될 프레임간 차이를 생성하는 기술은 당업자에게 공지돼 있다.

상기 원근맵 정보는 아날로그 텔레비젼신호의 버티컬 블랭킹 인터벌(Vertical Blanking Interval(VBI) 또는 MPEG 혹은 디스토션 메시(distortion mesh)전송을 위해 이미 전술한 디지털 텔레비젼 신호의 다른 디지털 전송 스트림내에 포함될 수 있음을 이해할 수 있을 것이다. 마찬가지로 원근맵 데이터는 DVD의 VOB 파일에 부가될 수 있다.

상기 데이터가 VBI 및 MPEG 데이터 스트림에 어떻게 부가되는지는 공지되 있 으며, 바람직한 실시예는 표준 텔레비젼 영상내의 클로스드 캡셔닝 텔리텍스트(Closed Captioning and Teletext)를 포함하는 현재 이용되는 기술이다. 다른 바람직한 실시예에 있어서, 상기 데이터는 MPEG데이터 스트림의 유저 데이터 영역내에 포함된다.

VBI 또는 MPEG2 스트림내의 상기 데이터를 포함함에 있어서, 다음의 계산은 데이터 조건의 사이즈를 나타낸다.

VBI 명세 사항은 32 바이트/비디오 라인을 허용하며,

영상 당 물체의 최대수가 20이며,

물체 당 최대 X,Y 좌표가 20이며,

물체 #, 물체 원근, X, Y 및 형상 데이터가 각기 1바이트를 취한다고 가정한 경우,

바이트/물체는 1+1+3(20)=62바이트이며, 따라서 20 물체의 경우 VBI 데이터는 20 ×62=1240 바이트/프레임이다.

이는 가장 나쁜 경우이며, 실제에 있어서, 통상의 장면은 200 바이트/프레임을 요한다는 것을 알아야 한다. 이 값은 적절한 데이터압축을 적용하고 리던던시를 고려하면 상당히 감소될 것이다.

MPEG데이터 스트림내의 이러한 정보를 포함함에 있어서, MPEG표준은 수신위치로의 데이터 스트림의 전달을 가능케한다. MPEG스트림내의 데이터의 전달을 제공하기 위한 기술이 수신 디코더에 원근 데이터 맵을 전달하는데 이용될 수 있다. 또한 MPEG신호의 사운드 채널중 하나에 상기 정보를 포함하는 것이 가능하다. MPEG신호가 CD-ROM 또는 DVD와 같은 매체상에 기록되는 경우, 상기 정보를 별개의 디지털 또는 아날로그 파일로서 디지털 오디오 파일내에 포함되며, 다른 수단내의 디스크상에 기록된다. 다른 기술이 당업자에게는 명확하다.

MPEG데이터 스트림의 부분으로서 원래 원근맵을 전송할 수 있다. 바람직한 실시예에 있어서, 상기 원근맵의 해상도는 결과 3D영상내 물체의 원근의 인식할 수 있는 에러가 나타나기 이전 통상적으로 640 ×480 ×8 픽셀에서 80 ×60 ×8 픽셀로 감소될 수 있다. 이러한 해상도는 MPEG 부호화 비디오 신호에 있어서 DCT블록 사이즈와 같다. 따라서 상기 원근맵 정보는 3D변환시 각 블록의 원근을 정의하는 DCT블록에 추가의 정보를 부가함으로써 MPEG신호내에 포함될 수 있다. 상기 원근맵은 또한 오디오 채널과 같은 전술한 MPEG데이터 스트림내에 또는 당업자에게 친숙한 다른 방법으로 부가될 수 있다. 상기 감소된 해상도 원근은 JPEG, MJPEG, MPEG, 등과 같은 표준 영상 데이터 압축 기술을 이용하여 MPEG스트림에 포함되기 이전에 압축될 수 있는데 이에 제한되는 것은 아니다.

다른 실시예에 있어서, 물체 윤곽선은 베지어 곡선을 이용하여 결정된다. 도 4에 도시된 사람의 윤곽선을 고려하면, 도시한 x,y 좌표내에 있는 윤곽선에 베지어 곡선이 적용된다. 따라서 물체에 대한 상기 원근맵은 이하와 같이 정의된다.

<물체 수><물체 원근><x1,x1a, y1a, x2b, x2,y2,.....x1b, y1b>

도 5에 도시한 바와 같은 3 x,y 좌표만을 요하는 베지어 곡선이 생성되며, 이 다음과 같이 정의된다.

<물체 수><물체 원근><x1,y1,x1a, x2,y2,.....x8a,y8a>

상기 방법은 곡선을 이루는데 있어서 유사한 요소 수를 필요로 하므로 바람직하다.

다른 실시예에 있어서 물체 윤곽선은 기하 형상을 이용하여 정해진다. 도 5에 도시한 사람의 윤곽선을 고려하면, 도시한 구성으로 나타나는 윤곽선에 기하 형상이 적용된다. 머리를 형성하는 원은 x1, y1 및 반경 r1으로 형성된 원을 가진다. 삼각형은 x2a, y2a, x2a, y2b, x2c, y2c로서 설명될 수 있으며, 다른 다각형도 마찬가지로 설명될 수 있다. 각각의 기하 형상은 일반 형태<형상><파라미터>를 가진다.

따라서 물체에 대한 원근맵은 <물체수><물체 원근><형상₁><파라미터>....<형상_n><파라미터>로 정의될 수 있다.

상기 방법중 임의의 방법을 사용하여 생성된 압축 또는 비압축된 윤곽선과 또는 원근맵은 임의의 적합한 아날로그 또는 디지털 포맷으로 매체에 해당 2D영상을 가지거나 가지지 않고 저장되는데 상기 저장매체에는 다음에 제한되는 것은 아니지만 플로피 디스크, 하드디스크, CD-ROM, 레이저디스크, DVD, RAM, ROM, 자기 기록테이프, 비디오 테이프, 비디오카세트 테이프 등이 포함된다. 상기 저장된 윤곽선과 또는 원근맵은 나중에 또는 3D영상의 생성을 위해 또는 미세조정 및 튜닝을 위해 디스토션 메시를 생성하도록 원근맵을 재구성을 할 수 있는 장소에서 다시 볼 수 있다.

디코더

디스토션 메시는 2D영상을 3D영상으로 변환하는데 이용될 수 있다고 전술한바 있다.

원근맵으로부터 필요한 디스토션 그리드를 생성할 수 있다. 원근맵 자체는 2D비디오내에서 전송된 추가의 정보로부터 생성된다. 원근맵으로부터의 디스토션 그리드의 생성은 실시간, 반 실시간, 또는 오프라인으로 발생하며, 지역적으로 또는 임의의 적합한 전송매체를 통해 원격으로 실시된다. 상기 디스토션 그리드의 생성은 소프트웨어 또는 하드웨어로 행해질 수 있다.

따라서 2D영상의 부분으로서 디스토션 메시의 서브 픽셀 점을 전송하는 것보다 원근맵을 재생하는데 필요한 정보가 전송된다. 이어서 디코더에서 원근맵이 재구성되며, 디스토션 그리드로의 변환이 시작된다. 이러한 변환은 수신위치에서 실시간, 반 실시간 또는 오프라인으로 시작되며, 소프트웨어 또는 하드웨어를 이용하여 실행된다. 원근맵 데이터에서 원근맵으로 이어서 디스토션 그리드로의 변환의 바람직한 방법은 도 1에 도시한 플로우 차트로서 행해지며, 또한 도 2의 하드웨어에서 실행된다. 상기 소프트웨어 변환 프로세스 함수의 각각의 요소는 다음과 같다.

즉 영상 시퀀스 소스-2D필름 또는 비디오 또는 몇 가지의 다른 영상 시퀀스 소스.

영역 및 원근 소스- 이는 영상 시퀀스를 가지고 전송된 정보이며, 바람직한 실시예에 있어서, VBI 또는 MPEG 데이터 스트림내에 포함된다. 이는 각 물체의 위치, 형상 및 원근과 관련한 정보를 포함한다.

원근맵에 원근영역을 적용- 물체를 만들려면, 물체내의 "영역"은 원근 정보에 따라 채워지고 음영된다. 음영진 영역외부의 모든 영역은 가공되지 않는다. 이러한 프로세스로서 원래 원근맵이 재구성될 수 있다.

블러 원근맵(Blur Depth Map)-임의의 하드 단부를 제거하기 위하여 하드 원근맵이 흐려지게 된다(가우스, 패스트 또는 기타로 된다). 상기 블러링(blurring)은 영상의 오버래핑을 제거하도록 물체 사이의 원활한 천이를 제공한다. 이러한 블러링은 수평방향에서 다소 가중된다. 수직 블러는 상하의 영상으로의 재단에 의해 정지 영상에 도움을 주어 근 원 물체간의 양호한 천이를 제공한다.

원근맵을 이용한 처리영상- 이어서 블러 원근맵이 디스토션 그리드의 변위를 위한 소스로서 이용되며, 백색은 최대변위를 흑색은 변위없음을 나타낸다. 수평축을 따르는 변위의 량은 임의의 소정의 픽셀 위치에서 원근맵의 원근에 따라 정해진다. 바람직한 실시예에 있어서, 좌측 영상에 대한 변위는 우측이 되며, 우측영상 변위는 좌측이다. 모든 행해진 시차는 영상에 부여되어 백색(전경)변위 물체가 스크린 레벨에서 수렴된다. 이어서 흑색(배경)영역이 천이되지 않은 영상과 같은 행해진 변위를 가진다. 변위의 방향 및 시차는 변환된 영상이 디스플레이되는 3D디스플레이 시스템의 특정 조건을 맞추도록 가변된다.

일단 디스토션 그리드가 생성되면, 2D의 3D로의 변환이 전술한 바와 같이 시작된다.

디스토션 그리드로부터 개개의 좌우측 영상을 생성하기 위한 하드웨어 변환기의 바람직한 실시예가 도 2에 도시되는데, 이는 완전 디지털방식이다. 이러한 처리를 실행하는 방법이 도 2a에 도시되며, 다음과 같이 동작한다.

상기 시스템은 두 개의 라인 저장부(line store)를 이용하는데, 이는 동시 액세스를 수용하도록 멀티 포트로 된다. 한 비디오 라인이 상기 라인 저장부중 하나에 기록되며, 다른 라인 저장부가 출력 비디오 신호를 생성하도록 판독된다. 현재 라인의 단부에서 라인 저장부가 교환된다.

현재 영상에 대해서 원근맵을 생성하도록 비디오 신호로부터 원근 정보가 추출된다. 각각의 출력 픽셀에 있어서, 원근맵이 (디스토션 그리드의) 픽셀 오프셋으로 변환된다. 비디오 라인이 라인 저장부 중 하나로부터 판독될 때 픽셀 오프셋이 픽셀 카운터에 부가된다. 이 픽셀 오프셋은 분수 값이어서, 소정의 픽셀의 각 사이드에서 픽셀 값을 판독하고 중간 값을 보간하는 것이 필요하다. 상기 비디오 디코더로부터의 기수/우수 필드신호가 순차의 비디오 출력을 제어하는데 이용되며, 또한 출력 비디오 신호에 관찰자 셔터 글래스를 동기시키는데 이용된다. 기본 회로는 상기 비디오 포맷을 필요로하는 3D디스플레이에 대한 별개의 좌우측 비디오 신호를 생성하도록 이중화된다.

DDC디코더의 기능 블록도가 도 2b에 도시된다. 제 1 프로세스는 VBI 또는 MPEG데이터 스트림내에 삽입되는 인입 비디오로부터 물체 데이터를 추출하는 것이다. 이러한 추출된 데이터는 압축 포맷으로 되며, 마이크로프로세서를 이용하여 순차적으로 압축해제된다. 상기 마이크로프로세서의 출력은 원래 물체 윤곽선정보이며, 각 물체에 대해 원근 정보를 생성하도록 다시 처리된다. 이러한 데이터는 한 세트의 3 회전 필드 버퍼로 전달되는데 상기 버퍼는 마이크로프로세서에 의해 제어 된다. 이어서 원근맵이 다음의 버퍼로 전송되며, 여기서 수평 및 수직 블러가 가해진다. 일단 블러링이 가해지면, 최종의 데이터가 최종단 버퍼에 공급되고 여기서 데이터가 도 2a에 도시된 원근-픽셀 오프셋 변환기(Depth to Pixel Offset Converter)로 전송된다. 데이터가 상기 변환기로 전송되면, 최종단의 버퍼는 클리어되며, 다음의 원근맵을 수신하도록 대기된다.

DDC디코더 프로세스가 도 2c에 도시되는데, 이는 타이밍도이며, 현재의 마이크로프로세서가 모든 디코딩 프로세스를 동시에 시작할 만큼 충분히 빠르지 않음을 가정한다. 따라서 상기 디코딩 프로세스는 파이프 라인 프로세스로 순차적으로 시작된다. 마이크로프로세서의 성능이 개선됨에 따라 다 그런 것은 아니지만 다수의 프로세스가 동시에 시작되는 것을 기대할 수 있다. 도 2c(1)에 있어서, 4개의 비디오 프레임이 도시되는데, 각각의 프레임은 기수 및 우수 필드를 포함한다.상기 도의 (2)에 있어서, 프레임 4에 대한 물체 리스트가 생성되는 반면, (3)에서 프레임 4에 대한 원근맵이 생성된다. (4)에서 수평 및 수직 블러가 가해지며, (5)에서 프레임 4에 대한 원근맵이 출력되며, 버퍼가 클리어되어 다음의 물체 리스트를 대기한다. 따라서 (5)에서, 프레임 4에 대한 원근맵 및 2D영상이 동시에 활용가능하여 3D로의 변환이 가능하다. 도 2c는 각각의 프레임에 대한 처리를 도시하며, 실제에 있어서, 임의의 시간에 4개의 다른 프레임에 대한 원근맵이 다른 하드웨어 섹션에 의해 생성되는 것을 볼 수 있다.

기타 디코더

전술한 바와 같이, 현재의 활용가능한 마이크로프로세서는 모든 디코딩 프로 세스를 동시에 처리할 만큼 충분히 빠르지 못하므로, 고속의 마이크로프로세서를 필요로 하지 않는 다른 바람직한 실시예의 디코더가 개시된다. 이러한 디코더는 2D-3D 컴퓨터그래픽을 처리하도록 개발된 집적회로를 사용한다. 이러한 전용 그래픽 프로세서는 초당 500,000다각형 이상을 제공할 수 있다. 상기 집적회로는 다량으로 제조되고 저가이므로, 저 비용의 DDC디코더의 생산이 가능하다. 디코더는 그래픽 프로세서의 성능을 나타내는 가장 간단한 다각형, 비음영 맵 다각형을 이용한다.

디코딩 프로세스는 수동으로 실행되는 바와 같이 상기 프로세스를 설명함으로서 보다 용이하게 이해될 수 있다. 이는 도 9의 플로우차트와 후속의 도면으로 도시된다. 상기 프로세스는 비교적 양호한 변형을 이루는데 필요한 xy평면내의 많은 다각형을 이용하여 디스토션 되지 않은 메시를 생성함으로서 시작된다. 바람직한 실시예에 있어서, 필드당 10,000다각형이 이용된다. 디스토션 되지 않은 메시의일예가 도 10에 도시된다. 3D로 변환될 물체에 대한 원근맵(이 실시예에서 도 11에서와 같이 관찰자쪽으로 팁이 방위된 콘)이 변형된 메시에 적용되어 상기 메시 다각형의 Z축 단면이 원근맵내의 대응의 픽셀의 값에 따르게된다. 이는 도 12에 도시된다. 상기 프로세스에 있어서 다음의 단계는 각 다각형의 z축단면을 동등의 x축 변위로 변환하는 것이다. 이는 도 13에서 도 16에 도시된다. 도 13에 있어서, z축 단면 메시를 통한 x 축선택이 도시된다. 도 14에 있어서, 열의 포인트가 x축을 따라 선택되며, 포인트 y=0주위로 90°회전된다. 도 15는 45°포인트에서의 회전의 효과를 나타내며, 도 16은 90°회전이후를 나타낸다. 이러한 프로세스는 모든 x열에 대해 반복되므로써 원근맵 z축 단면을 x축변위로 효과적으로 변환한다.

상기 프로세스에 있어서, 다음 단계는 도 17에서와 같이 원래 비디오 프레임을 디스토션 되지 않은 메시상에 매핑하는 것이다. 결과의 비디오 영상이 도 19의 메시 변위에 따라 확장된다. 이는 이전 출원 PCT/AU/00820에서 기술된바와 같이 영상을 스크래치함으로써 동일의 효과를 가진다. 상기 스크래치된 영상은 스테레오 쌍의 하나의 장면을 형성하는데 이용되는데, 다른 하나는 도 20에 도시한 바와 같은 메시 및 대응의 영상을 생성하는 90°만큼 도 13의 포인트를 회전시킴으로써 형성된다.

2D/3D 그래픽 프로세서를 이용하여 하드웨어로 상기 프로세스를 실행하는 경우, z축 단면을 동등의 x축 변위로 변환하는 단계를 제거할 수 있다. 관찰자에 가까운 다각형이 관찰자에 먼 다각형보다 보다 수평으로 이동되어야 하므로, 도 18의 변위 메시는 도 11의 원근맵으로부터 직접적으로 생성될 수 있다. 이는 원근맵의 그레이 스케일 값과 각 대응 다각형의 천이사이의 직접적인 관계가 있으므로 성취될 수 있다. 이러한 간단한 처리를 도 21의 플로우차트에 도시한다.

다른 하드웨어 디코더

2D/3D 그래픽 프로세서에 의한 하드웨어 DDC디코더의 블록도가 도 8에 도시된다. DDC로부터 원근맵의 추출 및 생성이 전술한 바와 같이, 아직 남아 있는데 도 2b에 도시된다. 인입 비디오 정보가 DDC 데이터 디코더에 전달되며, 이 디코더는 상기 비디오 스트림으로부터 DDC정보를 추출하고 각 비디오 필드에 대해 원근맵을 회복한다. 상기 비디오는 또한 RGB, YUV 또는 다른 비디오 포맷으로 변환되며, 듀얼 필드 저장부에 기록된다. 이는 비디오 필드가 새로운 필드가 로딩됨과 동시에 2D/3D그래픽 프로세서로 한 비디오 필드가 판독되어져 나가게 한다. DDC데이터디코더로부터의 원근맵 데이터 출력은 원근맵 다각형 메시 변환기(Depth Map to Polygon mesh)로 출력되며, 이 변환기는 2D/3D 그래픽 프로세서에 의해 처리되어질 다각형의 형상을 형성한다. 상기 그래픽 프로세서의 다른 입력은 원래 2D비디오 영상인데 이는 다각형이 적용되는 텍스처 맵으로서 이용된다. 상기 그래픽 프로세서의 출력은 인터레이스된 포맷으로 비디오가 읽혀지게 하는 필드 저장부로 전달된다. 이는 PAL/NTSC인코더에 순차적으로 전송되며, 이 인코더 출력은 표준 필드 순차 3D비디오 신호가 된다.

원근맵의 재사용

동일 또는 유사의 장면이 다시 디스플레이 되는 경우 동일의 원근맵이 재사용되므로 전 원근맵을 수신기에 전송하는 것이 필요함을 알 수 있다. 따라서 디코더는 메모리내에 이전에 전송된 원근맵을 재처리하는 것보다 재사용을 위해 이전에 전송된 원근맵의 시퀀스를 유지하는 것이 바람직하다. 원근맵이나 디스토션 메시는 휘발성 또는 비휘발성으로되는 디코더 메모리내에 저장되며, 다음의 것으로 제한되는 것은 아니지만 RAM, EEPROM, 플래시메모리, 자기 또는 광학 저장장치를 포함한다. 일반 원근맵과 또는 디스토션 그리드는 디코더내에 저장되는 것이 또한 바람직하다. 이로서 빈번히 발생하는 장면이 원근맵을 전송하거나 변환할 필요없이 변환될 수 있다. 디코더에 어느 원근맵이 적용되는 지를 고유하게 식별하는 비디오 신호의 데이터를 포함함으로써 정확한 원근맵이 선택될 수 있다. 또한 상기 디코더는 디코더내에 유지되는 원근맵과 또는 디스토션 그리드의 라이브러리를 인에이블시키도록 새롭거나 변경된 원근맵을 수신하는 능력을 가져야한다. 상기 라이브러리는 다음으로 제한되는 것은 아니지만 다음의 매체, 즉 RAM, EEPROM, 플래시 메모리, 자기 또는 광학 저장장치내에 저장된다. 상기 라이브러리는 상기 비디오신호에 포함되는 특정 원근맵 또는 디스토션 그리드의 전송으로 갱신될 수 있다. 상기 라이브러리는 원근맵이나 디스토션 그리드를 포함하는 외부 또는 내부 플러그 인 모듈에 의해 그리고 비디오 신호, 모뎀 또는 인터넷을 통해 디코더에 다운로딩함으로써 유지될 수 있다. 상기 라이브러리를 유지하는 다른 수단은 당업자에게 명확하다.

상기 비디오 신호에 포함된 DDC 데이터의 일반 포맷은 바람직한 실시예에 있어서, 디코더에 대한 다음 데이터의 성격을 나타내는 헤더플랙을 포함한다. 현재 다수의 표준이 일반적으로 다음의 포맷을 가지는 포맷용으로 이용될 수 있다.

<플랙#><디코더에 의해 활성되는 데이터>

플랙의 예는 다음을 포함하는데 이에만 제한되는 것은 아니다.

플랙1- 다음 데이터는 원근맵이며,

플랙2- 다음 데이터는 현재 물체의 재배치와 관련되며,

플랙3- 다음 데이터는 물체의 원근에서의 변화와 관련되며,

플랙4- 다음 데이터는 전에 전송된 원근맵의 재사용과 관련되며,

플랙5- 다음 데이터는 라이브러리내의 원근맵의 사용과 관련되며,

플랙6- 다음 데이터는 라이브러리내의 원근맵의 변경과 관련되며,

플랙7- 다음 데이터는 라이브러리내의 새로운 원근맵의 추가와 관련되며,

플랙8- 다음 데이터는 현재 라이브러리 원근맵의 소거와 관련되며,

플랙9- 다음 데이터는 움직임 변위 지연의 사용과 관련되며,

플랙10- 다음 데이터는 행해진 변위의 사용과 관련되며,

플랙11- 다음 데이터는 수학적 알고리즘의 사용과 관련되며,

플랙 12- 다음 데이터는 수학적 알고리즘 라이브러리의 사용과 관련된다.

또한 각 데이터 패킷의 길이는 각각의 패킷을 고유하게 정의하고 플랙에 대한 필요를 경감하는 다른 길이로 될 수 있다.

상기 설명에 있어서, 디스토션 그리드에 동일 프로세스가 가해진다.

디코더가 라이브러리 내의 지정 범위로부터 자동적으로 선택함으로써 해당 3D 영상에 적용하도록 최적의 원근맵을 지정할 수 있음을 알 수 있다. 예를 들어 DDC데이터는 특정 검색 포인트사이의 원근맵의 라이브러리를 검색하거나 이브닝 뉴스, 경마 등의 일반 카테고리에 의해 디코더에 지시할 수 있다. 이어서 상기 디코더는 물체 사이즈, 형상, 속도, 방위, 색, 음영, 암도에 의거 적합한 맵을 선택할 수 있다.

디코딩 프로세스의 결과에 의해 상기 부호화 프로세스동안 생성된 원래 원근맵이 2D영상과 물체 원근 정보를 필요로하는 3D디스플레이 시스템에 사용을 위한 적합한 포맷으로 활용될 수 있다. 이러한 디스플레이는 성격상 3D 즉 입체적이 된다.

다른 방법

또한 메시 디스토션 프로세스가 수학적 알고리즘에 의해 정의된다. 이러한 알고리즘은 디코더에 저장될 수 있어서, DDC데이터는 알고리즘이 적용된 파라미터를 가진다. 예를 들어 일반식

f(x,y) = [1-exp(-|(|x|-rx).dx|].sin( ((Pl.x)/rx) + Pl/2).

[1-exp(-|(|y|-ry).dy|].sin( ((Pl.y)/ry) + Pl/2)

여기서

Pl : 상수 3.14159...

|x| : x의 절대값

rx : x의 범위, -rx <= x <=rx

ry : y의 범위, -ry <= y <=ry

dx : x에 대한 감쇠계수

dy : y에 대한 감쇠계수

다음의 값이 DDC데이터를 통해 상기 방정식에 주어진 경우, 도 7의 디스토션 그리드가 생성된다.

rx = ry = 50

dx = dy = 0.1

DDC 데이터와 관련하여, 다음이 전송된다.

<도 11><50,50,0.1,0.1>

또한 이들 파라미터는 라이브러리의 형태로 상기 디코더내의 메모리에 저장되며, 상기 DDC데이터내의 라이브러리 인덱스를 보냄으로써 호출된다.

DDC 데이터와 관련하여, 다음이 전송된다.

<도 12><라이브러리 인덱스>

도 9의 움직임 변위의 사용하는 다른 예를 고려한다. 종래 기술은 수평 방향에서의 움직임을 가지는 2D영상이 움직임 변위를 이용하여 3D로 변환되는 것을 도시한다. 카메라의 수평 움직임 즉 카메라의 팬동작으로 인한 움직임이 있는 것이 바람직하다. 이러한 기술에 있어서, 관찰자 눈 중 하나가 현재의 비디오 필드를 수신하고, 다른 눈이 현재 필드를 수신하는데, 각각의 눈에 담긴 영상간에 지연이 있게된다. 어느 눈이 지연된 영상 및 지연 량을 수신하는가에 대한 선택은 2D영상내의 수평 움직임의 방향 및 속도에 따른다. 지연은 통상적으로 1 내지 4 필드의 범위에 있다. 방향 및 지연의 선택은 2D영상내의 전체 움직임 벡터를 고려하여 사이즈, 벡터의 방향 및 지속에 의거 상기 파라미터를 선택함으로써 행해진다. 종래 기술에 있어서, 실제적인 처리능력을 필요로 하는 시야위치에서 실시간으로 상기 계산을 실행하는 것이 필요하다. 바람직한 방법은 움직임 벡터를 계산하고 전송위치에서 필드지연 방향 및 량을 계산하여 이 값을 비디오 신호부분으로서 전송한다. 따라서 바람직한 실시예에 있어서, 전송된 데이터는 다음과 같다.

<플랙 9><방향 및 지연>

여기서 <방향 및 지연>은 통상 -4에서 +4 범위에 있다. 상기 DDC디코더는 상기 데이터를 회복해서 필드 지연의 정확한 량 및 방향을 처리된 영상에 삽입하도록 이 데이터를 이용한다.

디스토션 메시는 현재의 2D비디오 또는 필름 카메라에 한 카메라를 부가함으 로써 실시간으로 얻어지는데, 상기 필름카메라는 가변 초점렌즈 및 선명도 검출 알고리즘을 이용하여 카메라가 보는 영상에서 물체의 원근을 구한다. 물체 원근은 입체 쌍의 카메라로부터 얻어져서 각 영상에서의 픽셀간의 상관이 물체 원근을 나타낸다. 디스토션 메시 데이터를 제공하기 위한 처리이전에 상기 구성의 출력이 원근맵을 생성하는데 이용된다. 이는 본 명세서에서 기술된 물체원근을 나타내도록 원래 2D영상을 처리하고 음영을 가하고, 다른 표시를 가함으로써 얻어진다. 각 물체의 윤곽선은 물체 사이즈, 색, 움직임 속도, 음영, 텍스처, 휘도, 암도 뿐만아니라 이전, 현재 및 다음 영상간의 차이 같은 물체의 특성으로부터 얻어진다. 신경망 및 전문가 시스템이 물체 식별을 지원하는데 이용될 수 있다. 카메라에서 영상을 이동하여 카메라 영상센서상의 후속영상의 물리적 오프셋을 얻을 수 있다. 이러한 이동은 광학적으로, 전자광학적으로, 기계적으로, 전자기계적으로, 전자적으로, 또는 당업자에게 공지된 다른 방법으로 생긴다. 상기 이동은 단일 방향 즉 x방향, 다중방향에서 순차적 또는 랜덤하게 이루어진다. 카메라 센서상의 물체의 이동은 카메라에 가까운 물체의 경우 더 크게된다. 연속 영상의 픽셀을 상관시킴으로써 각 물체의 원근이 얻어진다. 또한 다수의 카메라가 이용될 수 있다. 장면내의 물체의 원근을 구하는데 다른 기술이 이용될 수 있다. 이에는 광학, 레이저, 초음파 또는 마이크로웨이브 원리로 동작하는 렌지 파인더(range finder) 또는 장면내의 물체에 걸리는 그리드의 투사를 이용하여 그리드의 최종 디스토션으로부터 물체의 원근을 구하는 방법이 포함되는데 이에만 제한되지 않는다.

다수의 CAD 소프트웨어 패키지에 의해 영상의 와이어 프레임 모델이 얻어진 다. 이러한 와이어 프레임 모델은 물체의 장면의 영상이며, 장면내의 물체의 위치를 구하는데 이용될 수 있다.

마찬가지로 3D스튜디오와 같은 패키지로부터의 3D 비입체 영상처리를 제공하는 부분에 의해 카메라로부터의 각 픽셀까지의 거리가 출력된다. 이로써 백색으로 나타나는 가장 가까운 물체와 흑색으로 나타나는 카메라로부터 먼 점을 가지는 그레이 스케일을 얻을 수 있다. 이러한 그레이 스케일 맵은 입체 3D로 변환을 위한 호환성 있는 원근맵으로서 이용된다.

본 발명은 MPEG 등의 동영상 처리시스템에 이용될 수 있다.

Claims

2D 영상내의 적어도 하나의 물체를 식별하는 단계;

상기 물체 또는 각각의 물체에 식별 택(tag)을 할당하는 단계;

상기 물체 또는 각각의 물체에 원근 택(depth tag)을 할당하는 단계; 및

상기 물체 또는 각각의 물체에 대한 윤곽선을 정하여 형성하는 단계를 포함하는 것을 특징으로 하는 2D영상을 입체영상으로 변환하는데 사용하기 위한 원근맵을 생성하는 방법.
제 1항에 있어서, 상기 물체 윤곽선은 일련의 좌표, 곡선 및/또는 기하 형상으로 이루어지는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 식별 택은 고유의 숫자 번호 인 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 적어도 하나의 물체를 식별하는 단계는 일반 장면의 라이브러리와 상기 2D영상을 비교하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 윤곽선을 정하는 단계는 픽셀단위로 물체를 추적하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 윤곽선을 정하는 단계는 물체의 윤곽선에 근사하도록 직선을 이용하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 윤곽선을 정하는 단계는 물체의 윤곽선에 근사하도록 곡선 근사치를 이용하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 윤곽선을 정하는 단계는 물체의 윤곽선에 근사하도록 베지어 곡선(bezier curve)을 이용하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 윤곽선을 정하는 단계는 상기 윤곽선에 근사하도록 곡선 및/또는 일반 또는 기하 형상의 라이브러리와 상기 물체를 비교하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 9항에 있어서, 물체에 최적으로 맞도록 곡선 및/또는 일반 또는 기하 형상을 확대하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 원근 택은 컬러 코드를 포함하는 것을 특징으로 하는 방법.
제 11항에 있어서, 백색은 관찰자에서 비교적 가까운 물체를 나타내며, 흑색은 관찰자로부터 비교적 먼 물체를 나타내는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 원근 택은 수치값인 것을 특징으로 하는 방법.
제 13항에 있어서, 상기 수치 값은 0에서 255의 범위에 있는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 적어도 하나의 물체는 다수의 절편으로 분할되며, 각각의 세그먼트는 원근 택으로 할당되는 것을 특징으로 하는 방법.
제 15항에 있어서, 원근의 변화는 램프기능에 의해 이루어지는 것을 특징으로 하는 방법.
제 16항에 있어서, 상기 램프는 선형 또는 환형 램프인 것을 특징으로 하는 방법.
제 1항에 있어서, 영상의 연속 프레임상의 상기 물체 또는 각각의 물체를 추적하고, 각각의 프레임 내의 상기 물체에 대한 원근 택을 결정하여 할당하는 단계를 추가로 포함하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 또는 각각의 물체에 텍스처 범프 맵을 부가하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 19항에 있어서, 상기 텍스처 범프 맵은 상기 물체를 다수의 성분으로 나누고 각각의 성분에 각각의 원근 택을 할당함으로써 정해지는 것을 특징으로 하는 방법.
제 19항에 있어서, 상기 텍스처 범프 맵은 상기 물체의 각각의 성분의 휘도값으로 정해지는 것을 특징으로 하는 방법.
제 19항에 있어서, 상기 텍스처 범프 맵은 상기 물체의 각 성분의 크로미넌스, 채도, 색 배합, 반사 음영, 초점, 및/또는 선명도로 정해지는 것을 특징으로 하는 방법.
제 1항에 있어서, 각 2D영상의 80 ×60 ×8비트 해상도의 그레이 스케일 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
비디오 시퀀스의 각 프레임을 식별하여 넘버링하는 단계;

비디오 시퀀스내의 적어도 하나의 물체를 식별하는 단계;

각각의 물체에 식별 택을 할당하는 단계;

상기 비디오 시퀀스를 다수의 부분 시퀀스로 분할하는 단계;

상기 다수의 부분 시퀀스를 다수의 오퍼레이터에 전송하여, 각각의 오퍼레이터가 상기 택 식별단계에 의해 이미 할당된 부분 시퀀스에서 각 물체에 대한 윤곽선을 구하여 할당하는 단계;

상기 다수의 오퍼레이터로부터 상기 부분 시퀀스를 받아들이는 단계;

상기 비디오 시퀀스를 재형성하도록 상기 부분 시퀀스를 대조하는 단계; 및 각각의 물체에 원근 택을 할당하는 단계를 포함하는 것을 특징으로 하는 비디오 시퀀스내의 2D영상을 입체영상으로 변환하는데 사용하기 위한 원근맵을 생성하는 방법.
제 24항에 있어서, 상기 비디오 시퀀스가 다수의 부분 시퀀스로 분할되기 전에 시퀀스에 안전수단을 부가하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 25항에 있어서, 상기 안전수단은 상기 비디오 시퀀스로부터 오디오를 제거하고/하거나 상기 비디오 시퀀스의 색을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
물체에 물체 식별자를 할당하는 단계;

상기 물체에 원근 택을 할당하는 단계; 및

물체 윤곽선을 정하는 단계를 포함하는 것을 특징으로 하는 2D영상을 입체영상으로 변환하는데 사용하기 위한 원근맵을 부호화하는 방법.
제 27항에 있어서, 상기 물체의 윤곽선은 일련의 x,y 좌표로 정의되는데, 상기 각 x,y좌표는 곡선으로 분리되는 것을 특징으로 하는 방법.
제 28항에 있어서, 상기 각각의 커브는 라이브러리내에 저장되며, 고유의 번호로 할당되는 것을 특징으로 하는 방법.
제 28항에 있어서, 상기 물체의 윤곽선은 각 곡선의 방위에 대한 데이터를 포함하는 것을 특징으로 하는 방법.
제 28항에 있어서, 각각의 상기 곡선은 베지어 곡선인 것을 특징으로 하는 방법.
제 27항에 있어서, 상기 물체 윤곽선은 적어도 하나의 기하형상으로 이루어지는 것을 특징으로 하는 방법.
제 32항에 있어서, 적어도 하나의 기하 형상은 그 형상의 형태 및 파라미터에 의해 이루어지는 것을 특징으로 하는 방법.
제 27항에 있어서, 상기 물체의 원근 택의 부호화하는 단계는

원근의 타입을 할당하는 단계; 및

물체에 대해 원근을 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
제 34항에 있어서, 상기 원근의 타입에는 단일 값, 선형 램프 또는 환형 램프가 포함되는 것을 특징으로 하는 방법.
제 27항에 있어서, 아날로그 텔레비전 신호의 버티컬 블랭킹 인터벌(Vertical Blanking Interval)내에 부호화된 원근맵 데이터를 삽입하는 단계를 포함하는 것을 특징으로 하는 방법.
제 27항에 있어서, 디지털 텔레비전 신호의 MPEG내에 부호화된 원근맵 데이터를 삽입하는 단계를 포함하는 것을 특징으로 하는 방법.
제 27항에 있어서, DVD의 VOB 파일내에 부호화된 원근맵 데이터를 삽입하는 단계를 포함하는 것을 특징으로 하는 방법.
2D영상 및 상기 2D영상에 대응하는 원근맵 데이터를 수신하는 단계;

상기 원근맵 데이터에서 식별된 물체를 결정하는 단계;

상기 물체에 대한 대응 원근을 결정하는 단계;

상기 원근에 따라 상기 물체를 음영지우는 단계; 및

디스토션 량이 상기 원근에 따르는 디스토션 그리드(distortion grid)를 형성하도록 영상을 처리하는 단계를 포함하는 것을 특징으로 하는 입체 시청 시스템 상에서 시청을 위하여 2D영상 및 원근맵 데이터를 전송하는 방법.
제 39항에 있어서, 상기 디스토션 그리드를 형성하기 이전에 원근맵을 블러링(blurring)하여 물체 간에 원활하게 천이하도록 하는 단계를 포함하는 것을 특징으로 하는 방법.
다수의 다각형으로부터 디스토션되지 않은 메시(mesh)를 생성하는 단계;

상기 메시내의 다각형의 단면이 원근맵내에 기록된 원근에 따르도록 된 원근맵을 상기 메시에 적용하는 단계;

상기 다각형의 단면을 병진변위로 변환해서 디스토션 메시를 형성하는 단계; 및

상기 원근맵 데이터에 대응하는 2D영상에 상기 디스토션 메시를 적용하는 단계를 포함하는 것을 특징으로 하는 원근맵 데이터의 부호화 방법.
원근맵의 라이브러리를 포함하는 원근맵 데이터를 디코딩하는 디코더로서,

입력되는 데이터가 상기 원근맵 라이브러리와 비교되며, 상기 원근맵 데이터가 상기 라이브러리내의 원근맵과 일치하지 않는 경우 상기 청구항 41에 개시된 방법을 이용하여 상기 입력 데이터를 처리하는 것을 특징으로 하는 디코더.