KR20040071145A - 2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는방법 및 장치 - Google Patents

Abstract

2차원 영상의 시퀀스로부터 3차원 영상을 생성하는 방법 및 장치를 개시한다. 그러한 방법은 특히 2차원 영상을 그 장면 타입에 관해 분석하고, 파악된 장면 타입에 의존하여 그에 배정된 변형을 선택하며, 그 배정된 변형에 의해 2차원 영상을 변형하여 하나 이상의 시청 채널에 공급하는 것을 그 특징으로 한다. 또한, 하나의 변형으로부터 각각의 새로운 변형으로의 지속적이고 장애가 없는 전이를 구현하는 각종의 전이 함수가 정의된다.

Description

2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는 방법 및 장치{GENERATION OF A STEREO IMAGE SEQUENCE FROM A 2D IMAGE SEQUENCE}

특히, 의학 및 자연 과학 분야에서 대상물을 검사하기 위해 각종의 3차원 영상 생성 방법이 제공되어 있다. 일반적으로 상업적 분야에서도 특히 텔레비전 장면을 3차원적으로 재생할 수 있는 다양한 방법이 개발되어 있다.

그러한 방법은 우안(right eye)과 좌안(left eye)에 대한 영상을 교대로 연이어 전송하거나 메모리 매체에 저장하는 영상 순차 전송 방법(image sequential transmission)과, 영상을 2개의 별개의 채널로 보내는 병렬 전송 방법(parallel transmission)으로 크게 대별된다.

종래의 텔레비전 시스템과 연계되었을 때에 나타나는 영상 순차 전송 방법의 특별한 단점은 각각의 눈에 대한 영상 재생률(refresh rate)이 초당 25 영상으로 감소된다는데 있다. 그로 인해, 텔레비전 시청자에게 불쾌한 장면 깜빡거림(flicker)이 발생된다.

각각의 고유 채널(우안 또는 좌안)을 경유한 영상 시퀀스의 병렬 전송 방법에서는 그러한 제약이 발생되지는 않지만, 그 경우에도 양쪽 채널의 동기화 시에, 그리고 동시에 2개의 별개의 채널을 수신하여 처리해야만 하는 수상기에 대한 요건으로 인해 문제점이 생길 수 있다. 기존의 시스템에서는 그와 같이 하는 것이 불가능하다.

향후의 텔레비전 시스템에서는 신호 전송 및 처리가 완전히 디지털로 이뤄지게 될 것이다. 그럴 경우, 각각의 영상은 디지털화되어 전송되는 개별 화소로 분해된다. 그 때에, 필요한 대역폭을 줄이려고 적절한 압축 방법이 사용되기는 하지만, 그러한 압축 방법은 입체적 전송에 있어 문제점을 제기하고 있다.

예컨대, 블록 코딩 방식(block coding method)의 경우에 적절한 압축률로는 영상의 각각의 개별 주사선을 정확하게 재구성하는 것이 일반적으로 불가능하다. 또한, 예컨대 MPEG-2와 같은 프레임 간 코딩(interframe coding)에서는 입체 영상을 영상 순차 전송 방법에 의해 전송하거나 저장하는 것이 불가능하다. 왜냐하면 하나의 영상으로부터의 영상 정보가 다른 영상에도 담겨짐으로 인해 우안 영상과 좌안 영상의 명료한 분리를 불가능하게 만드는 소위 더빙 효과가 발생되기 때문이다.

2차원 영상 시퀀스로부터 3차원 영상 시퀀스를 생성하는 다른 방법은 DE 35 30 610 및 EP 0 665 697에 공개되어 있다. 영상의 보간(interpolation)에 의한 오토스테레오스코픽 시스템(autostereoscopic system)은 EP 0 520 179에 개시되어 있는 한편, 문헌 "Huang: 영상 시퀀스 분석(Image Sequence Analysis)"(Springer 출판사)에는 영상 시퀀스에서 이동 영역을 인지하는 문제가 논해져 있다.

US-PS 6,108,005로부터 합성 입체 영상을 생성하는 방법이 공지되어 있는데, 그러한 방법에서는 공급된 영상으로부터 2개 이상의 영상을 생성하되, 하나 이상의 영상을 공급된 영상에 대해 확대, 축소, 회전, 시프트(shift)시키거나, 영상의 적어도 일부가 다른 영상의 해당 부분에 비해 영상의 다른 부분에 대해 시프트되도록 하는 형식으로 변경한다. 그러나, 그러한 방법에서의 단점은 전술된 변경의 적절한 선택에 의해 정확하거나 자연스러운 입체 영상감을 시청자에게 만들어 줄지의 여부가 조작자의 기술에 크게 의존한다는데 있다.

본 발명은 2차원 영상의 시퀀스로부터 3차원(3D) 영상을 생성하는 방법 및 장치에 관한 것이다.

본 발명의 또 다른 내용, 특징, 및 장점은 첨부 도면에 의거하여 이뤄지는 바람직한 실시 양태에 관한 이후의 설명으로부터 명확히 파악될 수 있을 것이다.

도 1은 본 발명에 따른 회로 구성의 개략적인 블록선도이고,

도 2는 구면 투영(spherical projection)에 의한 변형을 설명하는 개략적인 도면이며,

도 3은 본 발명에 따른 방법의 흐름도이다.

본 발명의 목적은 조작자 또는 시청자의 개입이 거의 없이 매우 자연스러운 3차원 영상감을 갖는 3D 영상을 생성할 수 있게 해주는 서두에 언급된 유형의 방법 및 장치를 제공하는 것이다.

그러한 목적은 청구항 1에 따른 방법 및 청구항 11에 따른 장치에 의해 달성된다.

청구의 범위의 종속 청구항들은 본 발명의 부가적인 구성을 기재하고 있다.

도 1에는 본 발명에 따른 장치의 필수 구성 요소 및 그 상호 결합 관계가 개략적으로 도시되어 있다. 그러한 회로 장치는 카메라로부터 촬영되어 디지털화된 2차원 영상을 하나 이상의 각각의 실제 영상을 중간 저장하기 위한 제1 영상 메모리(1)에 공급하는 입력(E)을 포함한다.

공급된 영상은 영상 메모리(1)로부터 그에 접속된 제2 영상 메모리(2)로 전송되는데, 그 제2 영상 메모리(2)는 미리 정해질 수 있는 개수의 연속 영상을 저장하고 그것을 보간하기 위해 마련된 것이다.

또한, 제1 영상 메모리(1)에는 장면(scene)을 분석하는 장치(3)가 접속되는데, 그 장치(3)는 제1 영상 메모리(1)에 저장된 실제 영상을 그 콘텐츠(content)에 관해 분석하여 예컨대 "클로즈업 뷰(closeup view)", "노말 뷰(normal view)"(미듐 뷰; medium view), 또는 "와이드앵글 뷰(wide-angle view)"와 같은 장면 타입을 그에 배정한다.

그러한 장면 분석 장치(3)는 제1 영상 메모리(1)로부터 공급된 영상을 장면 분석 장치(3)에 의해 파악된 장면 타입에 상응하게 그 타입에 배정된 영상으로 변형하는 영상 변형 장치(4)에 접속된다.

제2 영상 메모리(2)도 역시 영상 변형 장치(4)에 접속되어 앞선 영상의 보간에 의해 생성된 영상까지도 변형될 수 있게 된다.

그러한 영상 변형의 각종의 패턴 및 그를 하나 이상의 장면 타입에 배정한 것은 영상 변형 메모리(5)에 저장되어 있어 영상 변형 장치(4)가 그 영상 변형 메모리(5)로부터 영상 변형의 패턴을 호출할 수 있다.

끝으로, 영상 변형 장치(4)의 출력에는 위상 변경 스위치(6)가 접속되는데, 그 위상 변경 스위치(6)에는 제1 영상 메모리(1)로부터 나온 변형되지 않은 영상 및 그로부터 영상 변형 장치(4)에 의해 변형된 영상이 전달될 수 있다. 이어서, 그들 영상은 위상 변경 스위치(6)의 제1 또는 제2 출력(A1, A2)에 인가되어 영상의 제1 또는 제2 시퀀스를 형성하고, 그 제1 또는 제2 영상 시퀀스는 좌안 또는 우안 입체 영상용 좌안 또는 우안 시청 채널(B_L, B_R)에 공급된다.

즉, 그럼으로써 하나의 영상 시퀀스는 변경됨이 없이 공급된 영상으로 이뤄지고, 다른 영상은 그로부터 생성된 변형을 가한 영상으로 이뤄지게 된다(비대칭적 변형). 그에 대해 대안적으로, 양자의 영상 시퀀스의 영상에 변형을 가하는 것도 가능하다(대칭적 변형).

끝으로, 또 다른 방안은 부가적으로 또는 대안적으로 제2 영상 메모리(2)에서 보간된 영상을 영상 변형 장치(4)에 공급하여 그로부터 변형된 형태 및/또는 변형되지 않은 형태로 제1 및/또는 제2 영상 시퀀스를 구성하는 것이다.

그를 위해, 제2 영상 메모리(2)에 저장된 영상 시퀀스 x(i, j, α)의 보간에 의해 보간된 영상을 예컨대 전체 화소의 선형 스플라인 근사(linear splineapproximation)나 고급 또는 다항식 근사(polynomial approximation)에 의해 계산하는데, 여기서 α는 근사 변수로서, 합성 영상(보간된 영상)을 생성하는 동안의 실제 영상의 시간 간격을 나타낸다. 그와 같이 계산하는데는 WO 01/76258에 개시된 방법을 사용하는 것이 바람직하다. 따라서, 그 문헌의 내용은 본 명세서의 구성 부분으로서 여기에 참조로 포함된다.

즉, 본 발명에 따른 장치에 의해 2차원으로 촬영되고 디지털화되어 입력(E)에 인가된 영상의 시퀀스로부터 제1 및 제2 영상 시퀀스가 생성되게 되는데, 그 제1 및 제2 영상 시퀀스는 그들이 좌안 또는 우안에 공급될 때에 함께 원래의 2차원 영상의 3차원 시청을 가능하게 한다.

이하에서는 우선 공급된 영상 시퀀스를 거의 변경함이 없이, 즉 "제로 변형"을 가하여 제1 영상 시퀀스로서 사용하고, 제2 영상 시퀀스를 제1 영상 시퀀스의 영상의 변형에 의해 생성하는 형식으로 "비대칭적" 영상 변형에 의해 입체 영상 시퀀스를 생성하는 제1 방법에 관해 설명하기로 한다.

이어서, 제1 영상 시퀀스의 영상까지도 변형된 영상으로 하는 형식으로 "대칭적" 변형에 의해 입체 영상 시퀀스를 생성하는 방법에 관해 설명하기로 한다.

끝으로, 그에 이어 어떻게 영상 변형을 장면 분석에 의해 실시간으로 영상 콘텐츠(장면 타입)에 상응하게 선택하여 적합화 또는 최적화시킬 수 있는지와, 어떻게 바람직하게 영상 변형 사이의 전이를 행하여 장애가 있는 전이 효과가 발생되지 않도록 하는지에 관해 설명하기로 한다.

A.) x_ij는 수평 해상도 I와 수직 해상도 J를 갖는 시점 t에서의 제1 영상 시퀀스의 디지털화된 영상(제1 입체 영상)이다. 그로부터, 제2 입체 영상 x*(i*, j*)가 다음과 같이 주어진다:

상기 수학식 1은 i 방향 및 j 방향으로의 시프트에 의해 새로운 화소 i* 및 j*가 주어진다는 것을 의미한다. 그 때문에, 이후에 설명되는 변형은 그러한 함수에 대한 단순한 예로서만 이해해야 할 것이다.

Ⅰ) 제1 방법에 있어 3가지 상이한 변형에 관해 설명하기로 한다.

1) 틸트 변형(Tilt-Deformation):

본 변형에서는 새로운 영상의 화소를 다음의 공식에 따라 수평으로 점차 위로부터 아래로 연속 회전시킨다:

여기서, tL은 주사선의 개수를, PpL은 주사선당 화소의 개수를, 그리고 "Tilt"는 회전의 크기를 결정하는 임의의 스칼라 상수를 각각 의미한다.

2) 스페어 변형(Sphere-Deformation):

본 변형에서는 새로운 영상의 화소를 다음의 공식에 따라 영상의 중심점으로부터 에지 쪽으로 동심상으로 왜곡시킨다:

여기서, tL은 주사선의 개수를, PpL은 주사선당 화소의 개수를, 그리고 "Sphere"는 왜곡의 크기를 결정하는 임의의 스칼라 상수를 각각 의미한다.

3) 스페어-틸트 변형(Sphere-Tilt Deformation):

본 변형에서는 새로운 영상의 화소를 다음의 공식에 따라 동시에 위로부터 아래로, 그리고 영상 중심점으로부터 동심상으로 각각 왜곡시키고 회전시킨다:

여기서, tL은 주사선의 개수를, PpL은 주사선당 화소의 개수를, "Sphere"는 왜곡의 크기를 결정하는 임의의 스칼라 상수를, 그리고 "Tilt"는 회전의 크기를 결정하는 임의의 스칼라 상수를 각각 의미한다.

Ⅱ) 제2 방법은 부가적으로 실제의 원래 영상까지도 변형하는, 즉 기하학적으로 왜곡시키는 대칭적 영상 변형에 의해 작업된다. 그것은 도 2에 따른 일반화된 형태로 영상 평면 B의 화소 0 내지 PpL을 아치형 면 F(맵핑 면) 상에 맵핑하는 것인데, 그러한 맵은 좌안 및 우안(A1, A2)에 대한 2개의 시야로부터 간격 D를 두고 시청된다. 맵핑 면 F 상의 화소(예컨대, z(j) 또는 영역 x_M)는 시청자를 기점으로 하여 양안(A1, A2)에 대해 상이한 방식(A1에 대해 j' 및 x_M' 또는 A2에 대해 j" 및 x_M")으로 영상 평면 B에 재투영된다. 그럼으로써, 뇌가 2개의 시선 각으로부터 영상을 바라본다는 느낌을 받게 된다.

기본적으로, 본 경우에도 역시 임의의 수학적 함수 또는 투영을 위한 면이 적용될 수 있다. 이후로는 2가지 변형에 관해 예시적으로 설명하기로 한다:

1) 구면 투영(Spherical Projection):

본 투영에서는 영상 면이 바깥쪽으로 볼록한 모양으로 된 구면이다. 각각의 원래 화소 x(i, j)에 대해, 시청자 쪽으로 볼록하게 된 구면 상에 "합성" 화소 z(i, j)가 다음과 같이 주어진다:

여기서, 다시 tL은 주사선의 개수를, PpL은 주사선당 화소의 개수를, 그리고"Sphere"는 왜곡의 크기를 결정하는 임의의 스칼라 상수를 각각 의미한다.

절편에 관한 정리(intercept theorem)에 상응하게, 우안 시청 위치 E_l에 대한 j 지수는 다음과 같이 맵핑된다:

0 ≤ z(i, j) ≤ Sphere이므로, 상수 "Sphere"는 항상 시청 간격 D 이하이어야 함을 알 수 있다.

우안 시청 위치 E_r에 대해서는 다음과 같이 주어진다:

2) 원통 투영(Cylindrical Projection):

본 투영에서는 영상 면이 바깥쪽으로 볼록하게 된 원통면이다. 각각의 원래 화소 x(i, j)에 대해, 시청자 쪽으로 볼록하게 된 원통면 상에 "합성" 화소 z(i, j)가 다음과 같이 주어진다:

여기서, 다시 PpL은 주사선당 화소의 개수를, 그리고 "Sphere"는 왜곡의 크기를 결정하는 임의의 스칼라 상수이다.

새로운 지수 j' 및 j"에 있어서도 역시 좌안 시청 위치 E_l에 대해 구면 투영에서처럼 다음과 같이 주어지고:

우안 시청 위치 E_r에 대해서도 다음과 같이 주어진다:

시청 위치의 수가 2개로 한정되지 않는다는 것은 구면 투영 및 원통 투영에 있어 모두 해당되는 사실이다. 오히려, 단지 하나의 좌안 및 우안 시청 위치 대신에 거의 임의의 다수의 좌안 및 우안 시청 위치 Ek(k = 1, …, n)이 계산될 수 있다. 특히, 그것은 오토스테레오스코픽 다중 시청 모니터에서의 관심 대상이다.

전술된 2개의 지수의 값 j' 및 j"에 의해서는 아마도 새로운 영상의 모든 지수에 값이 할당되지는 않기 때문에, 그로 인해 생기는 "홀(hole)"을 후속 평활화 및 보간 방법에 의해 보상하거나 "충전"해야 한다.

각각의 개별 변형이 지수 i_Index 및 j_Index에 의해 정확하게 기술된다는 것은 2가지 방법(Ⅰ. 및 Ⅱ.)에 모두 해당되는 사실이다. 각각의 변형에 대해, 각각의 화소의 시프트를 위해 전술된 공식으로부터 주어지는 값(시프트 값)이 영상 변형 메모리(5)에 저장된다.

B) 이후로는 장면 분석을 행하여 파악된 장면 타입에 따라 사용되는 영상 변형을 동적으로 제어하거나 선택할 수 있는 방법에 관해 설명하기로 한다.

그를 위해, 영상을 그에 관해 분석하는 3가지 상이한 장면 타입을 정의하는 것이 바람직할 것이다. 그러나, 기본적으로는 보다 더 많은 수의 장면 타입이 정의될 수 있다.

여기서 예시적으로 설명되는 장면 타입은 클로즈업 뷰 N, 와이드앵글 뷰 W, 및 미듐 뷰(노말 뷰) M이다.

클로즈업 뷰에서는 물체가 영상 중심점에 세워지고, 영상의 대부분이 중심점으로부터 펼쳐진다. 그 경우에는 구면 투영이 변형(변환)에 가장 적합하다. 그럼으로써, 영상의 중심점이 영상으로부터 솟아난 것처럼 보이는 일정한 "팝-아웃(pop-out)" 효과까지 얻어지게 된다.

와이드앵글 뷰는 흔히 풍경 장면이다. 그 경우에는 통상적으로 틸트 변형에 의해 최적의 3차원 효과가 얻어지게 된다.

카메라가 일정 간격을 두고 뒤쫓아 가는 영상 중심에 있는 물체 군을 다룰 경우(노말 뷰 또는 미듐 부)에는 통상적으로 스페어-틸트 변형에 의해 최적의 3차원 느낌이 산출된다.

후술되는 장면 타입의 결정에 있어서는 우선 P를 P = 0.2(0 ≤ P ≤ 0.5)를 갖는 고정 상수라 하기로 한다.

1) 장면 타입 "클로즈업 뷰"(N)의 결정:

x_N은 영상 중심의 영역에 있는 실제 영상의 장방형 부분 영상으로서, 예컨대 전체 영상 x_G의 모든 화소 중의 60 퍼센트를 차치한다.

δ_G ²은 전체 영상 x_G= x(i, j)의 평균 제곱 표준 편차(분산)이고, δ_N ²은 부분 영상 x_N의 평균 제곱 표준 편차(분산)이다. δ_N ²≤ P ≤ δ_G ²이면, 장면 타입 클로즈업 뷰(N)가 확인된다. 그 경우에 다음과 같은 공식이 적용된다:

2) 장면 타입 "노말 또는 미듐 뷰"(M)의 결정:

x_M은 영상 중심의 영역에 있는 실제 영상의 장방형 부분 영상으로서, 예컨대 전체 영상 x_G의 모든 화소 중의 40 퍼센트를 차치한다.

δ_G ²은 전체 영상 x_G= x(i, j)의 평균 제곱 표준 편차(분산)이고, δ_M ²은 부분 영상 x_M의 평균 제곱 표준 편차(분산)이다. δ_M ²≤ P ≤ δ_G ²이면, 장면 타입 미듐 뷰(M))가 확인된다. 그 경우에 다음과 같은 공식이 적용된다:

3) 장면 타입 "와이드앵글 뷰"(W)의 결정:

x₁및 x₂는 좌측 또는 우측의 상부 영상 영역에 있는 2개의 장방형 부분 영상이고, y₁및 y₂는 좌측 또는 우측의 하부 영상 영역에 있는 2개의 장방형 부분 영상이다. X 영상 영역 사이의 상호 상관성(cross correlation)의 절대치는 다음과 같은 공식으로서 정의되고:

Y 영상 영역 사이의 상호 상관성의 절대치는 다음과 같은 공식으로서 정의된다:

k_x≥ 1 - P 이고 k_y≥ 1 - P이면, X 영역 및 Y 영역의 상관성이 높다. 그것은 장면 타입 와이드앵글 뷰(W)로서 규정된다.

C) 영상 변형을 적용할 경우에는 이전 장면 타입에 대해 장면 타입을 변경할 때에 그에 배속된 변형 함수 사이의 변경이 간단하지 않다는 것을 감안해야 한다. 즉, 그것이 시청자에게는 장애 내지 "비틀거림(stumble)" 또는 "털컹거림(jerking)"으로 느껴졌다.

본 발명의 경우에는 오히려 이전의 변형이 예컨대 2 내지 3개의 영상에 걸쳐 분배되어 상대적으로 평활하게 내지 지속적으로 새로운 변형으로 전이되도록 전이 함수에 의해 배려하는 조치를 취하고 있다. 즉, 변형을 새로운 영상 콘텐츠에 맞춰 동적으로 적합화시키는 것이 행해진다.

그를 위해, "이전의" 변형으로부터 다른 "새로운" 변형으로의 각각의 전이에 대해 예컨대 역시 영상 변형 메모리(5)에 저장되는 전이 변형이 정의된다. 그러한 전이 변형은 미리 정해진 수 K의 전이 행렬에 의해 형성되는데, 그 전이 행렬의 값을 이전의 변형 및 새로운 변형에 대해 저장된 각각의 화소의 시프트 값을 선형 보간함으로써 계산하여 역시 저장하는 것이 바람직하다.

즉, 장면 타입의 변경 시에는 그 장면 타입이 바뀐 전송된 영상에 전이 함수를 걸게 되는데, 그 전이 함수는 미리 정해진 수 K의 행렬에 의해 정의되는 전이 변형과, 파악된 새로운 장면 타입에 배정되는 연이은 새로운 변형으로 이뤄진다. 그 경우, 도중에 공급되는 장면 분석의 또 다른 결과는 전이 함수의 적용 동안 고려되지 않은 채로 남겨진다.

예컨대, 이제 막 전송되는 영상의 장면 타입이 "와이드앵글 뷰"인 반면에, 이전에 전송된 영상은 장면 타입 "클로즈업 뷰"의 것이라고 전제하기로 한다. 따라서, 클로즈업 뷰에 배정된 영상 변형(이전의 영상 변형)인 "구면 투영"은 와이드 앵글 뷰에 배정된 영상 변형(새로운 영상 변형)인 "틸트 변형"으로 바뀌게 된다. 또한, 행렬의 수 K = 2이고, 그에 따라 2개의 전이 행렬이 결정된다고 하기로 한다.

즉, 새로운 영상 변형을 적용하기 전에 이제 막 전송되는 영상에 제1 전이 행렬을 걸고, 이어서 다음 영상에 함께 전이 변형을 형성하는 제2 전이 행렬을 건다.

전이 행렬에 담겨 화소의 시프트 값을 각각 나타내는 개별 값은 이전의 영상 변형(구면 투영)과 새로운 영상 변형(틸트 변형)의 시프트 값을 전이 행렬의 수 K에 상응하게 선형 보간함으로써 주어지게 된다. 예컨대, 하나의 화소에 대해 이전의 영상 변형의 시프트 값이 0이고 새로운 영상 변형의 시프트 값이 6.0이면, K = 2인 경우에 그 화소에 대해 2.0의 시프트 값이 제1 전이 행렬에, 그리고 4.0의 시프트 값이 제2 전이 행렬에 각각 주어진다.

장면 타입 사이, 및 그에 따른 배정된 각각의 변형 사이에 있을 수 있는 모든 전이에 대해, 모든 행렬을 미리 계산하여 영상 변형 메모리(5)에 저장할 수 있다.

그 경우, 제1 변형으로부터 제2 변형으로의 전이를 위해 저장된 전이 행렬이 제2 변형으로부터 제1 변형으로의 전이 시에는 전송된 영상에 역순으로 적용된다는 것을 감안해야 한다.

도 3은 본 발명에 따른 방법의 흐름도를 나타낸 것이다.

우선, 장치의 작동 개시 후에 제1 단계(10)에 의해 영상 변형 장치(4)에서 예컨대 원통 변형인 적용되고 있는 변형으로서 시작 변형에 관한 제1 상태 "실제 변형"을 확인한다. 다음으로, 제2 단계(11)에 의해 표준 또는 디폴트 변형(default deformation)에 관한 제2 상태 "새로운 변형", 예컨대 역시 원통 변형을 정하고, 이어서 장면 분석 장치(3)에 의해 실제 공급된 영상의 장면 타입을 전술된 설명대로 파악한다.

다음으로, 제3 단계(12)에 의해 장면 타입으로서 클로즈업 뷰(N)가 파악되었는지의 여부를 조회한다. 그 경우에 해당되면, 제4 단계(13)에 따라 제2 상태 ""새로운 변형 = 구면 투영"을 세팅하고, 제9 단계(18)로 계속 진행한다.

제3 단계(12)에서의 조회가 "NO"로 응답되면, 제5 단계(14)에 의해 장면 타입으로서 미듐 뷰(M)가 파악되었는지의 여부를 조회한다. 그 경우에 해당되면, 제6 단계(15)에 따라 제2 상태 "새로운 변형 = 스페어-틸트 변형"으로 세팅하고, 제9 단계(18)로 계속 진행한다.

제5 단계(14)에서의 조회가 "NO"로 응답되면, 제7 단계(16)에 의해 장면 타입으로서 와이드앵클 뷰(W)가 파악되었는지의 여부를 조회한다. 그 경우에 해당되면, 제8 단계(17)에 따라 제2 상태 "새로운 변형 = 틸트 변형"으로 세팅하고, 제9 단계(18)로 계속 진행한다.

제7 단계(16)에서의 조회마저 "NO"로 응답되면, 제1 및 제2 상태로써 세팅된 변형이 동일한 것인지를 조회하는 제9 단계(18)로 계속 진행한다.

그러한 단계(11 내지 18)는 장면 분석 장치(3)에 의해 행해진다.

제9 단계(18)에 의한 조회가 "YES"로 응답되면, 제10 단계(19)에 따라 실제 영상을 영상 변형 장치(4)를 사용하여 영상 변형(바뀌지 않은)에 의해 처리하여 제2 영상 시퀀스의 영상으로서 출력한다. 다음으로, 제2 단계(11)에 의해 다음 영상에 대해 이상의 방법 경과를 반복한다.

제9 단계(18)에서의 조회가 "NO"로 응답되면, 전이 함수를 적용해야 하는데, 우선 제11 단계(20)에 따라 카운터의 값 k를 k = 0으로 세팅한다.

이어서, 제12 단계(21)에 의해 영상 메모리(1)의 실제 영상을 제1 전이 행렬에 의해 변형하여 제2 영상 시퀀스의 영상으로서 출력한다. 또한, 카운터의 값을 1만큼 증가시킨다(k = k + 1). 다음으로, 제13 단계(22)에 의해 카운터 레벨이 전이 행렬의 수 K보다 더 큰지의 여부를 조회한다.

그 경우에 해당되지 않으면, 제12 단계(21)를 반복하여 영상 메모리(1)의 현재의 실제 영상을 특히 제2 행렬(다음 행렬)에 의해 변형함으로써 그런 연후에 그것을 제2 영상 시퀀스의 다음 영상으로서 출력하도록 한다.

예정된 수 K의 전이 행렬을 적용하고 나면, 전이 변형의 종료를 위해 이제의 실제 영상을 제13, 제 15, 또는 제17 단계에 따라 세팅된 새로운 영상 변형에 의해 처리하고, 카운터 레벨을 다시 1의 값만큼 증가시킨다. 제13 단계(22)에 의해 행해진 조회가 "YES"로 응답되면, 제1 상태 "실제 변형"을 새로운 변형으로 세팅하는 제14 단계(23)로 계속 진행한다. 이어서, 제2 단계(11)로 되돌아감으로써 공급된 다음 영상으로써 방법을 반복한다.

도 1에 도시된 장치는 2차원적으로 전송되거나 저장된 영상으로부터 3차원재생을 일으키는 디지털 영상 처리 시스템으로 구현되는 것이 바람직하다.

전술된 방법은 개별 방법 단계를 컴퓨터, 특히 마이크로프로세서 유닛에 의해 실행하는 프로그램 코드 수단을 구비한 하나 이상의 컴퓨터 프로그램의 형태로 구현되는 것이 바람직하다.

그러한 방법은 프로그램 코드가 디지털 영상 처리 시스템의 구성 요소인 프로그램화될 수 있는 마이크로프로세서 유닛에 로딩되거나 컴퓨터에서 실행되는 경우에는 장치에 의해 판독될 수 있는 캐리어에 저장되어 방법 단계를 행하는 프로그램 코드를 구비한 컴퓨터 프로그램 제품으로서 구현될 수도 있다.

Claims (17)

1. 2차원 영상을 클로즈업 뷰, 노말 뷰(미듐 뷰), 및 와이드앵글 뷰로서 정해진 그 장면(scene) 타입에 관해 분석하고, 파악된 장면 타입에 배정된 변형에 의해 2차원 영상을 변형하여 하나 이상의 시청 채널에 공급하되, 장면 타입 클로즈업 뷰에 스페어 변형을, 장면 타입 노말 뷰에 스페어-틸트 변형을, 그리고 장면 타입 와이드앵글 뷰에 틸트 변형을 배정하는 것을 특징으로 하는 2차원 영상의 시퀀스로부터 3차원(3D) 영상 생성 방법.
2. 제1항에 있어서, 스페어 변형의 경우에는 변형된 영상의 화소를 영상의 중심점으로부터 바깥쪽으로 동심상으로 왜곡시키는 것을 특징으로 하는 3차원 영상 생성 방법.
3. 제1항에 있어서, 스페어-틸트 변형의 경우에는 변형된 영상의 화소를 동시에 위로부터 아래로, 그리고 영상의 중심점으로부터 동심상으로 각각 왜곡시키고 회전시키는 것을 특징으로 하는 3차원 영상 생성 방법.
4. 제1항에 있어서, 틸트 변형의 경우에는 변형된 영상의 화소를 수평으로 점차 위로부터 아래로 연속 회전시키는 것을 특징으로 하는 3차원 영상 생성 방법.
5. 제1항에 있어서, 장면 타입 클로즈업 뷰에 구면 변형을 배정하되, 제1 및 제2 시청 채널을 변형된 영상으로의 상이한 시선 각으로써 주는 것을 특징으로 하는 3차원 영상 생성 방법.
6. 제1항에 있어서, 장면 타입 와이드 앵글 뷰에 원통 변형을 배정하되, 제1 및 제2 시청 채널을 변형된 영상으로의 상이한 시선 각으로써 주는 것을 특징으로 하는 3차원 영상 생성 방법.
7. 선행 항들 중의 어느 한 항에 있어서, 하나 이상의 시청 채널에 대해 변형 처리되는 2차원 영상을 미리 정해진 수의 연속 영상의 보간에 의해 얻어지는 영상으로 하는 것을 특징으로 하는 3차원 영상 생성 방법.
8. 제1항에 있어서, 이전의 제1 영상에 대해 제2 영상의 장면 타입을 변경할 때에 부자연스러운 영상감을 피하기 위해 그것을 이전의 장면 타입에 배정된 변형으로부터 새로운 장면 타입에 배정된 변형에 맞춰 지속적으로 적합화시키는 전이 함수에 의해 제2 영상을 처리하는 것을 특징으로 하는 3차원 영상 생성 방법.
9. 제8항에 있어서, 전이 함수를 미리 정해진 수 K의 전이 변형 및 새로운 영상 변형에 의해 형성하되, 각각의 화소에 대해 이전의 변형과 새로운 변형의 선형 보간에 의해 전이 변형을 파악하는 것을 특징으로 하는 3차원 영상 생성 방법.
10. 하나 이상의 부분 영상을 정의하여 그 부분 영상을 전체 영상과 비교함으로써 공급된 영상의 장면을 분석하는 장치(3)와, 장면 타입 및 각각의 장면 타입에 배정된 하나 이상의 변형을 저장하는 영상 변형 메모리(5)를 구비하는 것을 특징으로 하는 선행 항들 중의 어느 한 항에 따른 방법을 행하는 3차원 영상 생성 장치.
11. 제10항에 있어서, 전체 영상의 영상 중심 영역에서 가변 크기로 부분 영상을 정의하고 부분 영상과 전체 영상의 평균 제곱 표준 편차를 산출하여 그로부터 장면 타입 클로즈업 뷰 및 노말 뷰를 파악하는 장면 분석 장치(3)가 마련되는 것을 특징으로 하는 3차원 영상 생성 장치.
12. 제10항에 있어서, 전체 영상의 에지 영역에서 다수의 부분 영상을 정의하고 여러 영상 영역 사이의 상호 상관성의 절대치를 산출하여 그로부터 장면 타입 와이드앵글 뷰를 파악하는 장면 분석 장치(3)가 마련되는 것을 특징으로 하는 3차원 영상 생성 장치.
13. 제10항에 있어서, 영상 변형 메모리(5)는 2개의 변형 사이의 각각의 전이에 배정된 전이 변형을 저장하기 위해 마련되는 것을 특징으로 하는 3차원 영상 생성 장치.
14. 프로그램이 컴퓨터에서 실행될 경우에 제1항 내지 제9항 중의 어느 한 항에 따른 방법의 단계를 행하는 프로그램 코드 수단을 구비하는 것을 특징으로 하는 컴퓨터 프로그램.
15. 제14항에 있어서, 컴퓨터에 의해 판독될 수 있는 데이터 캐리어 저장되는 것을 특징으로 하는 컴퓨터 프로그램.
16. 프로그램이 컴퓨터에서 실행될 경우에 장치에 의해 판독될 수 있는 캐리어에 저장되어 제1항 내지 제9항 중의 어느 한 항에 따른 방법의 단계를 행하는 프로그램 코드 수단을 구비하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
17. 제10항 내지 제13항 중의 어느 한 항에 따른 장치를 구비하는 것을 특징으로 하는 2차원적으로 전송되거나 저장된 영상으로부터 3차원 재생을 생성하는 디지털 영상 처리 시스템.