KR101213855B1 - 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법 - Google Patents

Abstract

전방향성 카메라에 의해 캡쳐된 이미지에서의 왜곡 및 지각의 문제점들을 경감시키기 위한 대략 360도 실시간 이미지 보정 시스템 및 방법. 일반적으로, 실시간 파노라마 이미지 보정 방법은 파노라마 이미지의 화소 좌표로부터 와프 테이블을 생성하고, 와프 테이블을 파노라마 이미지에 적용시켜 보정된 파노라마 이미지를 생성한다. 보정은 SVU(Spatially Varying Uniform) 스케일링 함수를 포함하는 와핑 함수의 파라미터 클래스를 이용하여 수행된다. SVU 스케일링 함수 및 스케일링 비율은 파노라마 이미지 화소 좌표에 대해 수직 스케일링과 수평 스케일링을 수행하는 데 이용된다. 수평 왜곡 보정은 적어도 2개의 서로 다른 스케일링 비율에서 SUV 스케일링 함수를 이용하여 수행된다. 이런 프로세싱은 보정된 파노라마 이미지를 산출하기 위해 파노라마 이미지에 적용될 수 있는 와프 테이블을 생성한다. 일 실시예에서, 와프 테이블은 파노라마 이미지을 생성하는 데 이용되는 스티칭 테이블과 연결된다.

파노라마 이미지, 스케일링, 실시간 보정

Description

360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한 시스템 및 방법{SYSTEM AND METHOD FOR HEAD SIZE EQUALIZATION IN 360 DEGREE PANORAMIC IMAGES}

본 출원은 발명의 명칭이 "REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING"인 2002년 6월 28일자로 출원된 출원번호 10/186,915호의 부분 연속 출원이다.

본 발명은 일반적으로 컴퓨터를 이용하여 이미지를 관측하는 것에 관한 것이며, 보다 구체적으로는 이러한 이미지와 관련된 왜곡 및 지각의 문제점들을 경감시키기 위하여 전방향성 카메라에 의해 캡쳐된 파노라마 이미지를 실시간으로 보정하는 시스템 및 방법에 관한 것이다.

통상적으로 60도보다 큰 시야를 갖는 광각(wide angle) 카메라가 종종 대규모 장면을 캡쳐하기 위해 사용된다. 광각 카메라에 의해 촬영된 광각 이미지는 적어도 2개 타입의 투사법(projection)을 사용하여 관측될 수 있다. 직선 원근 투사법(linear perspective rojection) 및 원주 투사법(cylindrical projection)이 광각 이미지를 관측하는 데 사용되는 가장 통상적인 투사법이다.

직선 원근 투사는 필름의 평평한 부분 상에 투사되는, 광각 렌즈에 의해 캡 쳐된 이미지이다. 직선 원근 투사는 형태를 유지하는 대신에 직선을 일직선으로 유지시킨다. 이것이 원근 변형을 야기한다. 이미지의 관측자가 그 눈을 투사 중앙에 둔다면, 이러한 이미지는 정확하고 변형되지 않게 보일 것이다. 그러나, 보다 작은 시야로 광각 이미지를 관측하는 경우에, 물체가 회전함에 따라 관측자는 이미지 평면 상에서의 광각 이미지가 약간 변형될 뿐만 아니라 이미지 사이즈가 약간 증가하였다고 생각하게 된다. 이것은 물체가 가장자리에서 신장되어 보이기 때문이다. 이미지 평면 상에서 사이즈 및 변형의 예기된 변화보다 더 큰 변화는, 특히 파노라마 이미지를 관측하는 경우에 사용자로 하여금 마치 장면이 관측자 주위로 유영(swimming)하는 것처럼, 장면이 고정되지 않게 느끼게 한다.

원주 투사는 굴곡된 필름 및 회전하는 슬릿 렌즈를 갖는 광각 카메라를 사용할 때 발생된다. 원주 투사는 형태를 유지하는 점에서는 직선 투사보다 우수하다. 또한 원주 투사는 임의의 명백한 유영 움직임(motion)을 완화시킨다. 원주 투사가 직선 투사에 비해 관측 개선점이 있다고 하더라도, 왜곡 및 지각의 문제점들은 여전히 존재한다. 특히 원주 투사는 직선을 필요 이상으로 굴곡시킨다. 또한, 원주 투사는 파노라마 이미지를 관측하는 경우에 고개를 돌리는 착각(illusion)을 거의 완전히 제거한다.

광각 이미지에서의 왜곡 및 굴곡 문제점들은 시야 부정합(mismatch)에 의해 야기된다. 특히, 컴퓨터 모니터 상의 제한된 관측 사이즈 및 표준 관측 거리로 인해, 관측할 때의 이미지에 의해 정해지는 각은 원래 장면을 이미지 평면에 투사했던 카메라의 시야보다 훨씬 더 작다. 이러한 부정합이 많은 왜곡과 지각의 문제점 들의 원인이다.

관측 시에 보다 작은 시야로 광각 이미지를 관측함으로써 야기되는 관련 문제점은 심도(depth)에 대한 오인식이다. 광각 이미지는 부근의 물체와 멀리 있는 물체 사이의 심도차를 과장한다. 장면 내의 물체의 심도의 중요한 하나의 시각적 단서(cue)는 부근의 위치와 멀리 떨어진 위치에 놓인 유사한 물체들의 이미지 사이즈 사이의 비(심도 축소비(depth foreshortening ratio)라 함)이다. 결과적으로, 시야가 작을수로 축소비가 작아진다. 예를 들어, 장면이 서로 옆에 서 있는 2명의 사람을 포함하고 있고, 한 사람이 다른 사람보다 카메라로부터 다소 더 멀리 떨어져 있다고 가정한다. 만일 장면이 표준의(대략 60도) 시야 카메라에 의해 캡쳐되고, 동일한 장면이 광각 시야 카메라로 캡쳐된다면, 장면 내의 물체들의 사이즈는 다르게 나타날 것이다. 특히, 표준의 시야 카메라의 경우에, 카메라로부터 더 멀리 떨어진 사람은 다른 사람보다 카메라로부터 다소 더 멀리 있는 것처럼 보일 것이다. 그러나, 광각 시야 카메라의 경우에, 카메라로부터 더 멀리 떨어진 사람은 다른 사람보다 훨씬 더 작게 보일 것이다. 이 과장된 사이즈 차로 인해, 카메라로부터 더 멀리 있는 사람은 실제 그 사람이 있는 곳보다 더 멀리 있는 것으로보인다. (비디오 회의 장면과 같이) 심도있는 장면의 광각 이미지가 컴퓨터 모니터 상에 관측되는 경우에, 일반적으로 관측자의 시야는 실제 이미지의 시야보다 훨씬 더 작을 것이다. 따라서, 관측자가 지각하는 심도는 실제 심도보다 훨씬 더 크다.

이러한 왜곡 및 지각의 문제점들이 자체적으로 명백히 드러나는 하나의 응용이 비디오 회의 시스템이다. 광각 카메라는 종종 비디오 회의 시스템에 사용되어 회의실에 존재하는 모든 참가자들을 포함하는 이미지를 캡쳐하여 전송한다. 그러나, 한가지 문제점은 비디오 회의를 관측할 때 광각 이미지가 회의실의 심도를 과장한다는 것이다. 이것은 극단적인 축소로 인해 이미지의 중앙에 있는 사람들(보통은 카메라로부터 가장 멀리 떨어진 사람들임)을 회의실 내의 다른 사람들에 비해 매우 작게 보이게 한다.

광각 카메라 이미지에서의 통상적인 이러한 왜곡 및 지각의 문제점들은 360도의 시야를 커버하는 파노라마 이미지를 관측할 때 더욱 더 명백하다. 파노라마 이미지는 단일 카메라로부터 획득된 입력 이미지를 정렬하고 "스티칭(stitching)"함으로써 생성될 수 있다. 대안으로, 파노라마 이미지는 입력 이미지를 획득하는 복수의 카메라를 이용하고, 이러한 이미지를 함께 스티칭함으로써 생성될 수 있다. 예를 들어, 이것은 복수의 카메라가 파노라마 비디오를 생성하는 데 이용되는 경우이다. 본질적으로, 파노라마 비디오의 생성에는 주위 장면의 완전한 360도를 나타내는 복수의 비디오를 필요로 한다. 서로 등을 댄(back-to-back) 형태로 배치된 복수의 카메라로 이루어진 카메라 장비는 때때로 이러한 비디오를 캡쳐할 목적으로 사용된다. 입력 이미지에서의 화소 위치를 파노라마 이미지에서의 화소 위치에 매핑하는 스티칭 테이블은 통상적으로 파노라마에서 이미지들을 함께 스티칭하는 데 이용된다. 360도의 전방향성 카메라는 회의 기록 및 비디오 회의에 이용되어 왔다. 카메라는 통상적으로 테이블의 중앙에 놓이고, 회의 참가자들이 테이블 주위에 앉는다. 회의 테이블이 직사각형 형태를 가진다면, 파노라마 이미지 상의 사람들의 머리 사이즈는 카메라에 대한 거리에 따라 다를 것이다. 예를 들어, 테이블 의 먼 끝에 앉아 있는 사람은 카메라에 더 가까이 앉아 있는 사람보다 휠씬 작게 보일 것이다. 파노라마 이미지에서의 이러한 머리 사이즈 편차는 시각적으로 마음을 끄는 것으로 보이지 않고, 테이블의 먼 끝에 있는 사람들을 인식하거나 그들의 표정을 인식하기가 종종 곤란하다.

파노라마 이미지를 사용하는 비디오 회의에서의 또 다른 문제점은, 몇몇 전방향성 카메라가 3700×600 화소의 파노라마 이미지를 생성하지만, 대부분의 사용자들은 단지 1024×166 화소의 파노라마만을 디스플레이할 수 있는 1024×768 화소의 디스플레이만을 갖는다는 것이다. 이러한 해상도의 매우 큰 감소로 인해, 테이블의 먼 끝에 있는 사람은 머리 사이즈 정규화 없이는 관측될 수 없다.

따라서, 이러한 이미지와 연관된 왜곡 및 지각의 문제점들을 경감하기 위하여 파노라마 카메라에 의해 캡쳐된 이미지를 실시간으로 보정하는 시스템 및 방법이 필요하다. 이러한 시스템 및 방법에서는 파노라마 이미지 내의 머리 사이즈를 정규화해야 하며, 이미지 내의 사람들을 표준 해상도 모니터로 관측할 수 있어야 한다. 또한, 이러한 시스템 및 방법은 설정하고 동작하기에 용이해야 하며, 연산적으로 효율적이어야 한다.

본 발명은 대략 360도의 파노라마 이미지에서의 왜곡 및 지각의 결함을 실시간으로 보정하는 시스템 및 방법을 제공한다. 이러한 실시간 파노라마 이미지 보정 시스템 및 방법은, 공간적으로 변하는 균일한(SVU: Spatially Varying Uniform) 스케일링 함수인 파라미터식 와핑 함수(parametric warping function)를 사용하여 불연속을 도입시키지 않으면서 사람들의 머리 사이즈를 균등화하기 위해 파노라마 이미지를 와핑한다. SVU 함수는 발명의 명칭이 "REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING"인, 2002년 6월 28일로 출원된 특허 출원 번호 10/186,915호에 이미 개시되어 있다. 그러나, 상술한 특허 출원은 단지 180도의 이미지까지에 대해서만 이러한 기술을 사용하였다. 본 발명에서는, SVU 스케일링 함수가 대략 360도의 파노라마 이미지에 적용되며, 회의 테이블 기하형태 및 회의 참가자들의 머리에 접하는 평면과 같은 수평 특징(feature)을 고려한다. 상술한 특허 출원에서는, SVU 스케일링 함수가 회의실 테이블의 일단에 놓인 광각 카메라에 의해 통상적으로 생성되는 180도까지의 이미지에 대하여 사용되었다. 이에 반해, 360도의 전방향성 카메라는 통상적으로 테이블의 중앙에 놓인다. 따라서, 광각 이미지와 대략 360도의 파노라마 이미지에 대하여 SVU 스케일링 함수를 연산하는 데 이용되는 상부 및 하부 곡선은 상이하다.

실시간 파노라마 이미지 보정 시스템 및 방법은 머리 사이즈 정규화를 제공하여 머리와 같은 멀리 있는 물체를 더 가깝게 보이도록, 즉 더 크게 보이도록 한다. 또한, 가까이 있는 큰 머리는 더 작게 된다. 따라서, 테이블의 먼 끝에 있는 사람들이 더 커지고, 1024×166의 화소 디스플레이 상에서도 관측가능하다. 본 발명의 시스템 및 방법의 일 실시예에서, 사용자는 회의 테이블 형태 및 사이즈를 또한 선택하고, 실시간 파노라마 이미지 보정 시스템은, 회의 참가자들의 머리 사이즈가 스티칭이 연산되는 것과 동시에 정규화되도록, 파노라마 스티칭 테이블을 회의 테이블에 매칭되도록 수정한다.

일반적으로, 본 발명의 일 양태에 있어서, 실시간 파노라마 이미지 보정 방법은 테이블 치수 및 사람들의 머리 상부와 같이 이미지에서의 수평 특징 파라미터 뿐만 아니라, 카메라에 근접해 있는 물체보다 멀리 떨어져 있는 물체가 더 작은 파노라마 이미지를 입력한다. 그런 후, 과장된 심도 및 수평 왜곡을 보정하고, 보정된 파노라마 이미지를 출력한다. 보정은 파노라마 이미지와 연관된 대부분의 문제를 극복하면서 새로운 왜곡의 도입을 최소화하도록 설계된 워핑 함수의 클래스를 이용하여 수행된다. 이런 클래스의 워핑 함수는 SUV 스케일링 함수를 포함한다. 일반적으로, 글로벌 컨텍스트를 보호하면서 로컬 레벨에서 스케일링이 수행된다. 비디오 회의 응용의 경우, 이것은 각각의 개인을 왜곡시킴 없이 방의 컨텍스트를 유지하면서, 워프가 멀리 있는 사람을 확대하는 것을 의미한다.

전술된 실시예에서, 실시간 파노라마 이미지 보정 방법은 거의 360도 파노라마 이미지의 화소 좌표와 수평 특징 치수를 수신하고, 파노라마 이미지의 화소 좌표에 대해 수직 및 수평 스케일링을 수행한다. 스케일링은 파라미터 이미지 워핑 함수를 이용하여 수행된다. 이런 스케일링은 수직선을 직선으로 유지하지만 수평 선은 왜곡시킬 수 있는 이미지에 대응하는 예비의 워프 테이블을 산출한다. 결과적인 출력은 보정된 이미지 화소 좌표를 원래 이미지 화소 좌표에 매핑하는 워프 테이블이다. 즉, 워프 테이블은 새로운, 보정된 파노라마 이미지 내에서의 원래 화소 좌표 각각의 위치를 지시한다. 보정된 파노라마 이미지는 원래 파노라마 이미지로부터 실시간으로 구성된다.

본 발명의 다른 실시예에서, 워프 테이블은, 입력 이미지가 파노라마 이미지 로 스티칭되고 있는 동안에, 머리 사이즈의 정규화를 허용하고 연산 효율성을 향상시키기 위해 스티칭 테이블과 연결된다. 이런 실시예에서, 한 세트의 이미지들이 스티칭 테이블을 이용하여 스티칭되어 가공의 스티칭된 파노라마 이미지가 된다. 세팅된 이미지 이외에, 수평 특징 파라미터가 또한 입력된다. 가공의 파노라마 이미지는 워프 테이블을 연산하는 데 이용되고, 그런 다음 워프 테이블은 스티칭 테이블과 연결된다. 그 후, 이런 연결된 워핑 및 스티칭 테이블은, 한 세트의 입력 이미지들을 실제, 왜곡 보정된 파노라마로 스티칭하는 데 이용된다.

전술된 양쪽 실시예들에서, 수직 및 수평 왜곡이 워프 테이블, 또는 적용가능하다면 연결된 워핑 및 스티칭 테이블을 이용하여 보정된다.

수직 스케일링은 파노라마 이미지 워핑 함수 및 워핑률을 이용하여 파노라마 이미지, 또는 가공의 파노라마 이미지에서 수직 주사선마다 개별적으로 수행된다. 주 스케일링 비율은 소스 곡선, 워핑률, 및 소스 곡선과 워핑률로부터 연산된 타겟 곡선을 이용하여 연산된다. 본 발명의 일 양태는 사용자에 의해 정의된 소스 곡선과 워핑률을 갖는다. 또는, 소스 곡선은 소정의 워핑률에 대하여 수평 특징 기하형태 및 카메라 파라미터들로부터 자동으로 연산될 수 있다. 주 스케일링 비율은 화소 좌표를 수직 방향으로 스케일링하는 데 이용된다. 가상적 의미에서, 이런 수직 스케일링은 선택된 주사선에 대해 주 스케일링 비율만큼 수직으로 파노라마 이미지(또는 가공의 파노라마 이미지)를 "신장하고"/"축소한다". 종횡비(aspect ratio)를 유지하기 위해, 수직 주사선의 수평 스케일링도 동일한 주 스케일링 비율을 사용하여 수행된다. 수직 스케일링과 유사하게, 수평 스케일링은 파노라마 이미지의 주사선의 폭을 국부적으로 주 스케일링 비율만큼 수평으로 "신장하고"/"축소한다". 가상적 의미에서, 한 세트의 스티칭되지 않은 입력 이미지들의 경우에, 원래 파노라마 이미지 또는 예비의 파노라마 이미지에 수직 및 수평 스케일링을 적용함으로써, 예비의 보정된 이미지를 획득한다. 연산 속도를 높이기 위해, 예비의 보정된 이미지를 원래 이미지 화소 좌표에 매핑할 수 있는 예비의 와프 테이블이 생성된다.

수평 왜곡은 화소 좌표의 위치에 따라 예비의 와프 테이블을 섹션들로 분할함으로써 보정된다. 이들 세션들 각각은 서로 다른 스케일링 비율을 이용하여 수평으로 스케일된다. 본 발명의 일 양태에서, 제1 섹션은 하부 소스 곡선과 상부 소스 곡선 사이에 위치한 화소에 대응하는 그러한 화소 좌표들을 포함하는 것으로 정의된다. 그런 후, 주 스케일링 비율이 이 섹션의 화소 좌표를 수직으로 스케일링하는 데 이용된다. 다른 섹션들의 화소 좌표는 주 스케일링 비율과는 다른 값의 제2 스케일링 비율을 이용하여 수직으로 스케일링된다. 연속성을 유지하기 위해, 각각의 섹션은 평활 함수를 이용하여 연결된다. 일단 수평 왜곡 정정 프로세스가 예비의 와프 테이블의 화소 좌표에 대하여 수행되면, 와프 테이블이 생성된다. 이런 와프 테이블을 이용하여, 파노라마 이미지의 실시간 와핑이 수행되어 보정된 파노라마 이미지를 실시간으로 생성한다. 전술된 바와 같이, 본 발명의 일 실시예에서, 파노라마 이미지를 스티칭하는 동시에 보정을 행함으로써 연산 효율성을 향상시키기 위해, 와프 테이블은 스티칭 테이블과 연결된다.

본 발명은 이하의 설명 및 본 발명의 양태를 도시하는 첨부된 도면을 참조함으로써 더욱 잘 이해될 수 있다. 다른 측징 및 이점은 본 발명의 원리를 예시의 방식으로 도시하는 첨부된 도면과 결부된 이하의 본 발명의 상세한 설명으로로부터 명백해질 것이다.

도 1은 회의실 내의 360도 파노라마 카메라에 의해 촬영된 이미지를 도시한다.

도 2는 본 발명의 실시간 파노라마 이미지 보정 시스템 및 방법에 의해 보정된 도 1의 이미지를 도시한다.

도 3은 180도 이미지에 대한 SVU 스케일링 함수(녹색 곡선)에 대한 상한 및 하한 곡선을 도시한다.

도 4는 360도 파노라마 이미지에 대한 SVU 스케일링 함수(녹색 곡선)에 대한 상한 및 하한 곡선을 도시한다.

도 5A는 본 발명의 실시간 파노라마 이미지 보정 시스템의 일 실시예의 전반적인 개관을 도시하는 블록도이다.

도 5B는 연결된 스티칭 및 와핑(warping) 테이블을 사용하는, 본 발명의 실시간 파노라마 이미지 보정 시스템의 또 다른 실시예의 전반적인 개관을 도시하는 블록도이다.

도 6은 본 발명을 수행하기에 적절한 연산 장치를 도시하는 블록도이다.

도 7은 도 5A 및 5B에 도시한 실시간 파노라마 이미지 보정 시스템의 와프(warp) 테이블 생성 모듈의 세부사항을 도시하는 블록도이다.

도 8A는 도 5A에 도시한 실시간 파노라마 이미지 보정 시스템의 동작을 도시하는 전반적인 흐름도이다.

도 8B는 도 5B에 도시한 실시간 파노라마 이미지 보정 시스템의 동작을 도시하는 전반적인 흐름도이다.

도 9는 도 7에 도시한 수직 스케일링 모듈의 세부사항을 도시하는 흐름도이다.

도 10은 2개 세트의 곡선에 의한 와핑 함수의 결정을 도시한다.

도 11은 원주 필름 상으로의 테이블 가장자리의 투사를 나타내는 도면이다(표준 카메라 방향을 가정함).

도 12는 도 7에 도시한 수평 스케일링 모듈의 세부사항을 도시하는 흐름도이다.

도 13은 도 7에 도시한 수평 왜곡 보정 모듈의 세부사항을 도시하는 흐름도이다.

도 14는 수직 스케일링 함수 및 3개의 섹션으로의 예비 화소 좌표의 분할에 대한 개념도를 도시한다.

도 15는 네트워크 전송 또는 디스플레이를 위한 표준 사이즈에 따르도록 여분의 화소가 이미지 주변에 추가되는 패딩된(padded) 보정된 파노라마 이미지를 도시한다.

이하의 본 발명의 설명에서, 본 발명의 일부를 형성하고 구체적인 예를 도시 하는 방식으로 도시된 첨부 도면에 참조부호가 주어짐으로써 본 발명이 실시될 수 있다. 다른 실시예들이 이용될 수도 있고, 본 발명의 범위를 벗어나지 않고 구조적인 변경이 이루어질 수 있음이 이해될 것이다.

1.0 전반적인 개관

도 1은 회의실 내의 테이블 중앙에 놓인 360도 전방향성 카메라에 의해 촬영된 이미지를 도시한다. 카메라 구성은 비디오 회의 응용에서 사용할 수 있는 통상적인 것이다. 도 1에서, 흰색 옷을 입은 사람이 다른 2사람보다 훨씬 작게 보이는 것을 알 수 있다. 이는 그가 카메라로부터 더 멀리 떨어져 앉아 있기 때문이다. 우선, 흰색 옷을 입은 사람은 훨씬 잘 보이지 않고, 관측자로부터 멀리 떨어져 보여 실시간 대화의 경험에 영향을 미친다. 두 번째로, 이미지 사이즈가 네트워크 대역 제한 및 제한된 스크린 공간으로 인해 보통은 제한된다. 사람들의 이미지가 매우 작다면, 전송된 많은 화소들이 낭비된다. 따라서, 사람들의 머리 사이즈를 균등화하여 전송 및 디스플레이되는 화소들의 개수를 최대한으로 이용하는 것이 바람직하다. 도 2는 실시간 파노라마 이미지 보정 시스템 및 방법을 이용하여 보정된 도 1의 이미지를 도시한다.

실시간 파노라마 이미지 보정 시스템 및 방법은 이미지 불연속을 생성시키지 않으면서 사람들의 머리 사이즈를 균등화하거나 정규화하는 기술을 사용한다. 이러한 기술은 발명의 명칭이 "REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING"인 2002년 6월 28일자로 출원된 특허 출원 번호 10/186,915호에 개시된 SVU 스케일링 함수의 확장이다. 상술한 특허 출원에서, SVU 스케일링 함수는 회의실 테이블의 일단에 놓인 광각 카메라에 의해 일반적으로 생성된 180도 이미지에 대해 사용되었다. 이에 반해, 상술한 바와 같이, 360도 카메라는 보통 테이블의 중앙에 놓인다. 따라서, 360도 파노라마 이미지를 위해 생성된 SVU 스케일링 함수를 연산하기 위한 상한 및 하한 곡선은 광각(예를 들어, 180도까지) 이미지에 사용되는 상한 및 하한 곡선과는 상이하다. 도 3은 180도 이미지에 대한 SVU 스케일링 함수(녹색 곡선)를 계산하는 데 이용되는 상한 및 하한 소스 곡선을 도시한다. 도 4는 360도 이미지에 대한 SVU 스케일링 함수(녹색 곡선)를 계산하는 데 이용되는 상한 및 하한 소스 곡선을 도시한다. 녹색 소스 곡선 및 타겟 곡선(적색 곡선)이 주어진다면, 상술한 특허 출원에서 설명된 동일한 방식으로 SVU 스케일링 함수를 생성할 수 있다.

이전에 언급된 공동 출원중인 특허 출원에서와 같이, 파노라마 이미지의 보정은 심도 오인식에 대한 국부적인 스케일링 원근법 및 보정을 유지하는 SVU(Spatially Varying Uniform) 스케일링 함수라 하는 파라미터식 와핑 함수들의 클래스를 이용하여 달성된다. SVU 스케일링 함수들 및 스케일링 비율(factor)들은 이미지의 화소 좌표에 대해 수직 스케일링 및 수평 스케일링을 수행하는 데 이용된다. 이것은 예비의 보정된 이미지의 화소 위치를 원래 화소 좌표에 매핑하는 예비의 와프 테이블을 생성한다. 이러한 예비의 보정된 이미지는 가상의 이미지이며, 실제로 구성되지는 않는다. 그러나, 예비의 보정된 이미지는 수직선을 일직선으로 유지하지만 수평선을 왜곡시킨다. 이러한 수평 왜곡은 SVU 스케일링 함수 및 적어도 2개의 상이한 스케일링 비율들을 이용하여 수평 왜곡 보정을 수행함으로써 보정 된다. 이러한 프로세싱은 와프 테이블을 산출한다. 와프 테이블은 보정된 파노라마 이미지 내의 위치들을 왜곡된 파노라마 이미지 내의 원래 화소 좌표에 매핑한다. 이미지가 스티칭되어 파노라마 이미지를 생성하는 본 발명의 몇몇 실시예에서, 와핑 테이블은 스티칭 테이블과 연결되어 연산적인 효율성을 증가시킬 수 있다. 와프 테이블, 또는 연결된 스티칭 및 와프 테이블을 이용하여, 보정된 파노라마 이미지가 원래 파노라마 이미지로부터 실시간으로 구성된다.

도 5A는 본 발명의 실시간 파노라마 이미지 보정 시스템(500A)의 일 실시예의 전반적인 개관을 도시하는 블록도이다. 일반적으로, 시스템(500A)는 수평 특징 기하형태(505)(예를 들어, 회의 테이블 기하형태 및 사람들의 머리 상부에 접하는 평면) 및 파노라마 이미지(510)를 획득하여, 수평 특징 기하형태(505) 및 파노라마 이미지 내의 화소 각각의 좌표에 대응하는 파노라마 이미지 화소 좌표(520)를 입력한다. 수평 특징 기하형태(505) 및 파노라마 이미지 화소 좌표(520)는 실시간 파노라마 이미지 보정 시스템(500A)에 의해 처리되어 보정된 파노라마 이미지(530)가 출력된다.

파노라마 이미지(510)는 (스틸 카메라로부터의 이미지와 같은) 단일의 스티칭된 이미지 또는 (비디오 카메라로부터의 이미지와 같은) 이미지의 시퀀스 중 일부일 수 있다. 파노라마 이미지(510) 내의 각 화소의 좌표가 획득되어 파노라마 이미지 화소 좌표(520)를 생성한다. 예를 들어, 직교 좌표 프레임에서, 화소 좌표(520)는, 파노라마 이미지를 획득하기 위하여 스티칭된 일련의 이미지들에 통상적으로 대응하는 파노라마 이미지(510) 내의 각 화소들의 (x, y) 위치이다. 실시 간 파노라마 이미지 보정 모듈(500A)은 와프 테이블 생성 모듈(540), 와프 테이블(550) 및 실시간 이미지 와핑 시스템(560)을 포함한다.

와프 테이블 생성 모듈(540)은 파라미터식 이미지 와핑 함수를 이용하여 와프 테이블(550)을 생성하는 데 이용된다. 파노라마 이미지 화소 좌표(520)는 처리되어 와프 테이블(550)을 생성한다. 와프 테이블 생성 모듈(540)의 세부사항은 아래에서 설명한다. 와프 테이블(550)은 보정된 파노라마 이미지(530) 내의 위치에 대응하는 방식으로 배열된 파노라마 이미지 화소 좌표(520)를 포함한다. 따라서, 와프 테이블(550)은 파노라마 이미지 화소 좌표(520)에 대한 보정된 파노라마 이미지(530) 내의 새로운 위치를 결정한다.

일단 와프 테이블(550)이 생성되면, 파노라마 이미지(510)는 실시간 와핑 시스템(560)에 입력으로 수신된다. 실시간 파노라마 이미지 와핑 시스템(560)은 와프 테이블(550)을 파노라마 이미지(510)에 적용하여 보정된 파노라마 이미지(530)를 생성한다. 실시간 와핑 시스템(560)은 와프 테이블(550)에 포함된 화소 좌표에 위치한 파노라마 이미지(510)에 대한 RGB 값을 획득함으로써 보정된 파노라마 이미지(530) 내의 각각의 위치에 대한 보정된 파노라마 이미지(530)를 생성한다. 따라서, 파노라마 화소 좌표(520)에서의 RGB 값들은 보정된 파노라마 이미지(530)에 재위치된다. 새로운 위치는 와프 테이블(550)을 이용하여 결정된다. 예를 들어 YUV와 같은 임의의 컬러 공간이 사용될 수 있음에 유의해야 한다.

도 5B에 도시한, 본 발명의 또 다른 실시예(500B)에서, 와프 테이블은 파노라마 이미지를 함께 스티칭하는 데 이용되는 스티칭 테이블과 연결된다. 본 실시 예에서, 입력 이미지들의 세트(512)는 가상의 파노라마 이미지(515)로 스티칭되고, 가상의 스티칭된 파노라마 이미지(522)에 대한 이미지 화소 좌표가 시스템(500B)에 입력된다. 실시간 파노라마 이미지 보정 모듈(500B)은 와프 테이블 생성 모듈(540), 와프 테이블(550), 연결된 스티칭 및 와핑 테이블(555)(섹션 4.5에서 보다 상세하게 설명함) 및 실시간 이미지 와핑 시스템(560)을 포함한다.

와프 테이블 생성 모듈(540)은 파라미터식 이미지 와핑 함수를 이용하여 와프 테이블(550)을 생성하는 데 이용된다. 가상의 파노라마 이미지(515)의 파노라마 이미지 화소 좌표(522)는 처리되어 와프 테이블(550)을 생성한다. 와프 테이블 생성 모듈(540)의 세부사항은 아래에서 설명한다. 와프 테이블(550)은 보정된 파노라마 이미지(530) 내의 위치에 대응하는 방식으로 배열된 파노라마 이미지 화소 좌표(522)를 포함한다. 따라서, 와프 테이블(550)은 파노라마 이미지 화소 좌표(522)에 대해 보정된 파노라마 이미지(530) 에서의 새로운 위치를 결정한다.

일단 와프 테이블(550)이 생성되면, 그 와프 테이블을 입력 이미지들의 세트(512)를 스티칭하는 데 이용되는 스티칭 테이블과 연결시켜, 연결된 와핑 및 스티칭 테이블(555)을 생성한다. 입력 이미지들의 세트(512)는 실시간 이미지 와핑 시스템(560)에 입력으로 수신된다. 실시간 파노라마 이미지 와핑 시스템(560)은 연결된 와핑 및 스티칭 테이블(555)을 입력 이미지들의 세트(512)에 적용하여 보정된 파노라마 이미지(530)를 생성한다. 실시간 이미지 와핑 시스템(560)은, 연결된 와핑 및 스티칭 테이블(555)에 포함된 화소 좌표에 위치된 입력 이미지들의 세트(512)에 대한 RGB 값들(또는 YUV 또는 기타 컬러 공간)을 획득함으로써 보정된 파노라마 이미지(530) 내의 각각의 위치에 대한 보정된 파노라마 이미지(530)를 생성한다. 따라서, 가상의 파노라마 화소 좌표(522)에서의 RGB 값들은 입력 이미지들의 세트(512)가 스티칭되는 동안 보정된 파노라마 이미지(530) 내에 재위치된다. 새로운 위치가 연결된 와핑 및 스티칭 테이블(555)을 이용하여 결정된다.

와핑 프로세스는, 스티처(stitcher)가 정적이고 최소의 연산을 필요로 하기 때문에 실시간으로 발생한다. 신속하게 수행될 수 있는 와프 테이블의 생성은, 보정된 파노라마 이미지(530)를 생성하는 데 필요한 모든 것은 와핑 테이블(550)(또는 연결된 와프 및 스티칭 테이블)을 파노라마 이미지(510) 또는 입력 이미지들의 세트(512)에 적용시키기만 하면 되는 것을 의미한다.

2.0 예시적인 동작 환경

본 발명의 실시간 파노라마 이미지 보정 시스템(500A 또는 500B)은 컴퓨팅 환경에서 동작하도록 설계된다. 이하의 설명은 본 발명이 구현될 수 있는 적절한 컴퓨팅 환경의 간략하고 일반적인 설명을 제공하려고 한 것이다.

도 6은 본 발명을 수행하기에 적합한 컴퓨팅 장치를 도시하는 블록도이다. 요구되는 것은 아니지만, 본 발명은 일반적으로 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 기술될 것이다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함한다. 또한, 본 기술분야의 당업자라면, 본 발명은 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능한 가전제품, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터 등을 포함하는 다양한 컴퓨터 시스템 구성으로 실시될 수 있음을 이해할 것이다. 본 발명은 또한 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시되도록 설계된다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘다에 위치할 수 있다.

도 6과 관련하여, 본 발명을 구현하는 예시적인 시스템은 범용 컴퓨팅 장치(600)를 포함한다. 특히, 컴퓨팅 장치(600)는 처리 장치(602), 시스템 메모리(604), 및 시스템 메모리(604)를 비롯한 각종 시스템 컴포넌트들을 처리 장치(602)에 연결시키는 시스템 버스(606)를 포함한다. 시스템 버스(606)는 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스 및 각종 버스 아키텍처 중 임의의 것을 이용하는 로컬 버스를 비롯한 몇몇 유형의 버스 구조 중 어느 것이라도 될 수 있다. 시스템 메모리는 판독 전용 메모리(ROM)(610) 및 랜덤 액세스 메모리(RAM)(612)를 포함한다. 시동 중과 같은 때에, 컴퓨팅 장치(600) 내의 구성요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(614)은 ROM(610)에 저장되어 있다. 또한 컴퓨팅 장치(600)는 도시되지 않은 하드 디스크에 기록을 하거나 그로부터 판독을 하는 하드 디스크 드라이브(616), 이동식 자기 디스크(620)에 기록을 하거나 그로부터 판독을 하는 자기 디스크 드라이브(618) 및 CD-ROM 또는 기타 광 매체 등의 이동식 광 디스크(624)에 기록을 하거나 그로부터 판독을 하는 광 디스크 드라이브(628)를 포함한다. 하드 디스크 드라이브(616), 자기 디스크 드라이브(628) 및 광 디스크 드리이브(622)는 각각 하드 디스크 드라이브 인터페이스(626), 자기 디스크 드라이브 인터페이스(628) 및 광 디스크 드라이브 인터페이스(630)를 통해 시스템 버스(606)에 접속된다. 이러한 드라이브들 및 이들과 관련된 컴퓨터 저장 매체는, 컴퓨팅 장치(600)를 위해, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 비휘발성 저장 장치를 제공한다.

본 명세서에 설명된 예시적인 환경은 하드 디스크, 이동식 자기 디스크(620) 및 이동식 광 디스크(624)를 포함하지만, 본 기술분야의 당업자라면 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베르누이(Bernoulli) 카트리지, RAM, ROM 등과 같은 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능 매체가 예시적인 동작 환경에서 또한 사용될 수 있음을 이해할 것이다.

다수의 프로그램 모듈들이 운영 체제(632), 하나 이상의 애플리케이션 프로그램(634), 기타 프로그램 모듈(636) 및 프로그램 데이터(638)를 포함하는 하드 디스크, 자기 디스크(620), 광 디스크(624), ROM(610) 또는 RAM(612) 상에 저장될 수 있다. 사용자(도시되지는 않았음)는 키보드(640) 및 포인팅 장치(642)와 같은 입력 장치를 통해 명령 및 정보를 컴퓨팅 장치(600)에 입력할 수 있다. 또한, (비디오 카메라와 같은) 카메라(643)는 예를 들어, 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함하는 다른 입력 장치(도시되지는 않았음) 뿐만 아니라 컴퓨팅 장치(600)에도 접속될 수 있다. 이들 및 기타 입력 장치는 종종 시스템 버스(606)에 결합된 직렬 포트 인터페이스(644)를 통해 처리 장치(602)에 접속되지 만, 병렬 포트, 게임 포트 또는 USB(universal serial bus) 등의 다른 인터페이스에 의해 접속될 수도 있다. 모니터(646)(또는 다른 유형의 디스플레이 장치)도 비디오 어댑터(648)와 같은 인터페이스를 통해 시스템 버스(606)에 접속된다. 모니터(646) 외에, 퍼스널 컴퓨터와 같은 컴퓨팅 장치는 스피커 및 프린터와 같은 기타 주변 출력 장치(도시되지는 않았음)를 통상적으로 포함한다.

컴퓨팅 장치(600)는 원격 컴퓨터(650)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 단지 메모리 저장 장치(652)만이 도 6에 도시되었지만, 원격 컴퓨터(650)는 또 하나의 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있고, 통상적으로 컴퓨팅 장치(600)와 관련하여 상술된 구성요소들의 대부분 또는 그 전부를 포함한다. 도 6에 도시된 논리적 접속은 LAN(654) 및 WAN(656)을 포함한다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷 및 인터넷에서 일반적인 것이다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨팅 장치(600)는 네트워크 인터페이스 또는 어댑터(658)를 통해 LAN(654)에 접속된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨팅 장치(600)는 통상적으로 인터넷과 같은 WAN(656)을 통해 통신을 설정하기 위한 모뎀(660) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(660)은 직렬 포트 인터페이스(644)를 통해 시스템 버스(606)에 접속된다. 네트워크화된 환경에서, 컴퓨팅 장치(600) 또는 그의 일부와 관련하여 기술된 프로그램 모듈은 원격 메모리 저장 장치(652)에 저장될 수 있다. 도시된 네트워크 접속은 예시적인 것이며 이 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 이해할 것이다.

3.0 실시간 파노라마 이미지 보정 시스템 세부사항

일반적으로, 실시간 파노라마 이미지 보정 시스템(500)은 파노라마 이미지(510)의 실시간 보정을 제공하며, 특히 카메라로부터 멀리 앉아 있는 사람들의 머리 사이즈를 정규화하거나 균등화한다. 시스템(500)은 수직 및 수평 방향에서의 굴곡 및 왜곡을 보정한다. 또한, 시스템(500)은 심도 및 유영 움직임과 같은 지각의 문제점들을 보정한다.

도 7은 도 5A 또는 5B에 도시된 와프 테이블 생성 모듈(540)의 세부사항을 도시하는 블록도이다. 특히, 와프 테이블 생성 모듈(540)은 파노라마 이미지 화소 좌표(520) 또는 가상의 파노라마 이미지의 화소 좌표(522)와 수평 특징 기하형태(505)를 입력하기 위한 입력 모듈(700)을 포함한다. 이러한 화소 좌표들(520, 522)은 파노라마 이미지(510) 또는 가상의 파노라마 이미지(515) 내의 각 화소의 위치를 나타낸다. 또한 모듈(540)은 수직 스케일링 모듈(710)을 포함한다. 수직 스케일링 모듈(710)은 파노라마 이미지 화소 좌표들(520, 522)이 수직 방향으로 스케일링되도록, 와핑 함수를 사용하여 파노라마 이미지 화소 좌표(520) 또는 가상의 파노라마 이미지의 화소 좌표(522)의 각각의 수직 주사선을 처리한다. 개념적으로, 이는 파노라마 이미지(510)(또는 가상의 파노라마 이미지(515))를 수직 방향으로 "신장하는(stretching)" 것으로 간주될 수 있다. 이러한 수직 스케일링은 파노라마 이미지(510)(또는 가상의 파노라마 이미지(515))에서의 과장된 심도에 대하여 부분적으로 보정한다.

또한, 와프 테이블 생성 모듈(540)은 파라미터식 이미지 와핑 함수를 사용하여 이미지 화소 좌표들(520, 522)을 수평 방향으로 스케일링하는 수평 스케일링 모듈(720)을 포함한다. 수직 스케일링과 유사하게, 개념적으로 이는 파노라마 이미지(510) 또는 가상의 파노라마 이미지(515)를 수평 방향으로 "신장하는" 것으로 간주될 수 있다. 또한, 파라미터식 이미지(510) 또는 가상의 파라미터식 이미지(515)의 종횡비가 보존되도록, 수평 스케일링은 각각의 수직 주사선에 대하여 개별적으로 수행된다.

수직 스케일링 모듈(710) 및 수평 스케일링 모듈(720)은 예비의 화소 좌표를 원래 화소 좌표에 매핑하는 예비의 와프 테이블을 생성한다. 이러한 예비의 와프 테이블은 예비의 보정된 이미지를 생성하는 데 이용될 수 있다. 실제로 이것을 행하지는 않으며, 예비의 보정된 이미지는 가상 이미지이다. 예비의 보정된 이미지는 수직선은 수직으로 유지되지만 수평선은 왜곡되는 성질을 갖는다.

이러한 수평 왜곡을 보정하기 위하여, 또한 수평 왜곡 모듈(730)이 와프 테이블 생성 모듈(540)에 포함된다. 수평 왜곡 모듈(730)은 예비의 와프 테이블 내의 예비의 화소 좌표를 위치에 따라 다른 양만큼 수직으로 스케일링한다. 와프 테이블 생성 모듈(540)의 출력이 와프 테이블(550)이다. 와프 테이블은 보정된 파노라마 이미지(530) 내의 화소 좌표를 원래의 파노라마 이미지 화소 좌표(520) 또는 가상의 스티칭된 이미지의 화소 좌표(522)에 매핑한다. 와프 테이블은 스티칭 테이블과 연결되어 연결된 와핑 및 스티칭 테이블을 생성할 수 있으며, 입력 이미지 들의 세트로부터 파노라마 이미지를 함께 스티칭하는 데 이용될 수 있다.

4.0 실시간 파노라마 이미지 보정 방법

본 발명의 실시간 파노라마 이미지 보정 방법은 공간적으로 변하는 균일한(Spatially Varying Uniform) 스케일링 함수, 즉 SVU 스케일링 함수라 하는 파라미터식 이미지 와핑 함수를 사용한다. SVU 스케일링 함수가 종횡비를 보존하는 균일한 스케일링 함수와 부분적으로 유사하더라도, 스케일링 비율은 와프를 생성하는 이미지에 대해 변한다. 파노라마 이미지를 관측할 때, SVU 스케일링 함수는 회전을 회피하고 유영 움직임을 제거한다.

도 8A는 도 5A에 도시한 실시간 파노라마 이미지 보정 시스템(500A)의 실시간 파노라마 이미지 보정 방법의 일 실시예의 동작을 도시하는 전반적인 흐름도이다. 파노라마 이미지(510)로부터의 파노라마 이미지 화소 좌표(520) 및 수평 특징 기하형태(505)가 입력으로 수신된다(박스 800). 다음으로, 와프 테이블(550)이 생성된다(박스 810). 이러한 와프 테이블(550)은 보정된 파노라마 이미지 화소 좌표(530)의 위치를 결정하는 데 이용된다.

이하 상세히 설명할 바와 같이, 와프 테이블(550)의 생성에는 수직 스케일링, 수평 스케일링 및 수평 왜곡 보정이 포함된다. 수직 스케일링은 과장된 심도에 대하여 파노라마 이미지(510)를 보정한다. 과장된 심도를 보정하기 위해, 파노라마 이미지(510)의 중앙에 있는 멀리 떨어져 있는 물체 또는 사람들은 카메라에 근접해 있는 물체 또는 사람들에 비해 확대될 필요가 있다.

파노라마 이미지(510)의 종횡비를 유지하기 위하여, 수평 스케일링이 또한 수행된다. 구체적으로, (SVU 스케일링 함수와 같은) 파라미터식 이미지 와핑 함수가 수평 스케일링을 수행하는 데 사용되어 파노라마 이미지(510)에 대한 각각의 수직 주사선에 대한 새로운 폭을 생성한다. SVU 스케일링 함수가 수직선을 수직으로 유지하지만, 이는 일정한 양의 수직 전단(shear)을 유발한다. 시각적으로, 이는 경사지고 왜곡된 수평선으로서 지각된다. 장면은 회의실의 테이블 및 천장과 같이, 이미지의 상부 및 하부 부근의 수평면을 종종 포함하는데, 여기에서 이러한 왜곡이 관찰될 수 있다.

이러한 수직 전단을 보정하기 위하여, 실시간 파노라마 이미지 보정 방법은 수평 왜곡 보정을 수행하는 것을 더 포함하여 수평 왜곡에 대하여 파노라마 이미지(510)를 보정한다. 일반적으로, 이것은 수직 스케일링의 균일성을 완화시키고, (수직 주사선을 따르는 것과 같이) 파노라마 이미지(510) 내의 수직 위치에서 비선형으로 스케일링함으로써 달성된다. 수직 스케일링, 수평 스케일링, 수평 왜곡 보정 후에, 보정된 파노라마 이미지(530) 내의 화소를 파노라마 이미지(510)에 매핑하는 와프 테이블(550)이 생성된다.

일단 와프 테이블(550)이 생성되면, 파노라마 이미지(510)가 입력으로서 수신된다(박스 820). 그 후에, 파노라마 이미지(510)는 실시간으로 와핑되어 보정된 파노라마 이미지(530)를 생성한다. 파노라마 이미지(510) 내의 화소가 보정된 파노라마 이미지(530) 내의 각 위치마다 검색될 수 있는 와프 테이블이 확립되어 왜곡이 없는 파노라마 이미지를 생성한다.

도 8B는 도 8A에 대하여 설명한 것과 매우 유사한 방식으로 동작하는, 도 5B 에 도시한 실시간 파노라마 이미지 보정 시스템(500B)의 실시간 파노라마 이미지 보정 방법의 일 실시예의 동작을 도시하는 전반적인 흐름도이다. 가상의 파노라마 이미지(515)로부터의 이미지 화소 좌표(522) 및 수평 특징 기하형태(505)가 입력으로서 수신된다(박스 800). 다음으로, 와프 테이블(550)이 생성된다(박스 810). 그 후에, 와프 테이블은 스티칭 테이블과 연결되어, 연결된 와핑 및 스티칭 테이블을 생성한다(박스 815). 가상의 파노라마 이미지를 생성하는 데 이용되는 입력 이미지들의 세트가 입력된다(박스 820). 그 후에, 연결된 와핑 및 스티칭 테이블(555)은 입력 이미지들의 세트를 스티칭하는 동안 보정된 파노라마 이미지 화소 좌표(530)의 위치를 결정하는 데 이용된다(박스 830). 그 후에 보정된 파노라마 이미지가 출력된다(박스 840).

다양한 스케일링 절차 및 모듈의 세부사항을 이하 더욱 상세히 설명한다.

4.1 수직 스케일링

도 9는 도 7에 도시한 수직 스케일링 모듈의 세부사항을 도시하는 흐름도이다. 수평 특징 기하형태(505) 및 파노라마 화소 좌표(520 또는 522)가 입력으로서 수신된다(박스 900). 다음으로 (SVU 스케일링 함수와 같은) 파라미터식 이미지 와핑 함수가 곡선 및 스케일링 비율의 세트를 이용하여 결정된다. 특히, 소스 곡선이 와핑 비율(박스 920)과 함께 지정된다(박스 910). 이러한 소스 곡선 및 와핑 비율을 이용하여 타겟 곡선이 연산된다(박스 930).

도 10은 2개 세트의 곡선((1) 소스 곡선 및 (2)타겟 곡선)에 의해 와핑 함수를 결정하는 것을 도시한다. 본 발명의 일 양태에서, 소스 곡선은 단순한 사용자 인터페이스를 통해 사용자에 의해 입력된다. 이러한 소스 곡선은 파라미터식 이미지 와핑 함수에 파라미터들을 제공한다. 사용자 인터페이스를 통해 사용자는 2개의 입체 곡선을 정의할 것을 요청받는다. 이러한 2개의 소스 곡선은 사람들의 머리 상부 및 테이블의 가장자리와 같은 통상적인(실제의) 수평 특징들을 정의한다. 도 10에 도시한 바와 같이, 상부 소스 곡선(S_t) 및 하부 소스 곡선(S_b)이 지정된다. 도 10을 도 4와 비교함으로써, 파노라마에 대한 소스 및 타겟 곡선을 연산하기 위하여, 상부 및 하부 소스 곡선의 4개의 상이한 부분들이 전체 파노라마 이미지에 대한 소스 곡선을 정의하기 위하여 정의되어야 함을 알 수 있다.

소스 곡선을 수동으로 지정하는 대신, 예를 들어 회의 참가자들의 머리의 상부에 접하는 평면 및 회의 테이블과 같은 수평 특징 기하형태로부터 자동으로 결정될 수 있다. 회의 테이블은 직사각형이라고 가정한다. 테이블 폭(W), 길이(L), 카메라 높이(h), 카메라의 초점 길이(r) 및 카메라의 방향(θ)을 알고 있다면, 녹색의 소스 곡선은 연산될 수 있다. 카메라가 제조되면, 초점 길이(r) 및 카메라 높이(h)는 알려진다. 테이블 치수는 설치 동안에 사용자에 의해 제공될 수 있다. 도 11은 원주형 필름 상으로의 테이블 가장자리의 투사를 설명하는 도면이다(표준 카메라 방향을 가정함). 이하는 원주형 이미지 상의 테이블 경계를 나타내는 하부 소스 곡선의 4개의 부분에 대한 수식이다.

유사하게, 이하는 원주형 이미지 상의 사람들의 머리의 상부에 접하는 평면을 나타내는 상부 소스 곡선의 4개의 부분에 대한 수식이며, 여기서 h'는 카메라로부터 회의 참가자들의 머리 상부의 평면까지의 거리를 나타낸다.

사용자에 의해 또한 선택될 수 있는 와핑 비율(α)은 이미지가 얼마나 많이 와핑되는지를 판단한다. 와핑 비율(α)은 0 과 1 사이에 있으며, α=0은 와핑이 없는 것이며, α=1은 최대 와핑인 것이다. 개념적으로, α=0으로 지정하는 것은 이미지를 손대지 않은 채 그대로 두는 것이며, α=1로 지정하는 것은 소스 곡선 상의 화소를 종점들(end points) 사이의 선들로 끌어올 것이다. 통상적으로, 이상적인 와핑 비율은 0과 1 사이의 대략 중간에 있다.

일단 소스 곡선 및 와핑 비율이 지정되면, 타겟 곡선이 연산될 수 있다(박스 930). y=S_t(x) 및 y=S_b(x)를 각각 상부 및 하부 소스 곡선의 수식으로 한다. 2개의 타겟 곡선(이러한 타겟 곡선으로 소스 곡선 상의 지점들이 이동할 것임)이 소스 곡선 및 α에 의해 결정된다. 구체적으로, 상부 타겟 곡선(T_t) 및 하부 타겟 곡선(T_b)이 정의된다. 이러한 선의 수식이 S_t(x)의 종점들 사이에서 y=y_t(x)로서 정의되고, 하부 소스 말단들을 연결하는 선의 수식이 y=y_b(x)라면, 상부 타겟 곡선의 수식은 T_t(x)=(1-α)S_t(x)+αy_t(x)이고, T_b(x)=(1-α)S_b(x)+αy_b(x)이다.

그 후, 주 스케일링 비율(r(x))이 소스 곡선 및 타겟 곡선을 이용하여 연산된다(박스 940). 특히, 도 10에 도시한 바와 같이 임의의 수직 주사선 x가 주어진 경우에, A, B는 소스 곡선과의 교차점을 나타내는 것으로 하고, A', B'는 타겟 곡선과의 교차점을 나타내는 것으로 한다. SVU 스케일링 함수는 AB를 A'B'로 스케일링 할 것이다.

이라 한다.

비(r(x))는 수평 위치 x에 위치한 수직 주사선에 대한 주 스케일링 비율이다. 그 후에, 수직 주사선의 파노라마 화소 좌표(520)는 주 스케일링 비율(r(x)) 을 이용하여 수직 방향으로 스케일링된다(박스 950).

4.2 수평 스케일링

종횡비를 보존하기 위하여, 파노라마 화소 좌표(520)는 또한 수평 방향으로 스케일링된다. 이 수평 스케일링은 동일한 주 스케일링 비율(r(x))을 사용한다. 즉, 수직 스케일링의 경우와 마찬가지로, 수직 주사선도 주 스케일링 비율(r(x))에 의해 수평으로 스케일링되어 종횡비를 보존한다.

도 12는 도 7에 도시한 수평 스케일링 모듈의 세부사항을 도시하는 흐름도이다. 수직으로 스케일링된 파노라마 화소 좌표가 입력으로서 수신된다(박스 1200). 주 스케일링 비율(r(x))을 이용하여, 수직으로 스케일링된 파노라마 화소 좌표가 수평 방향으로 스케일링된다(박스 1210). 일단, 수직으로 스케일링된 파노라마 화소 좌표(520)가 스케일링되면, 예비의 보정된 이미지의 전체 폭(w')은 이하와 같이 된다.

여기서, w는 파노라마(또는 소스) 이미지(510)의 폭이다.

다음으로, 예비의 와프 테이블이 생성된다(박스 1220). 예비의 와프 테이블은 예비의 화소 좌표를 포함한다. 예비의 화소 좌표는 수직 및 수평으로 스케일링된 파노라마 화소 좌표이다. 개념적으로, 예비의 화소 좌표는 예비의 보정된 이미지를 구성하는 데 이용될 수 있다. 따라서, 파노라마 이미지(510) 내의 임의의 화소(x, y)에 대하여, (x', y')를 예비의 보정된 이미지에서의 그 새로운 위치를 나 타내는 것으로 한다. 이는 다음의 수식을 산출한다.

상술한 수식은 SVU 스케일링 함수에 대한 순방향 매핑 수식이다. SVU 스케일링 함수는 모든 지점에서 최적의 균일한 스케일링은 아니다. 모든 지점에서 최적의 균일한 스케일링을 하는 유일한 함수는 균일한 글로벌 스케일링 함수라는 것을 입증하는 것은 용이하다.

SVU 스케일링 함수는 일반화된 원주형 표면 상으로의 주사와 유사하다. 그러나, 이러한 단순한 투사는 국부적으로 균일한 스케일링을 생성하지 않는다. 국부적으로 균일한 스케일링이 바람직하며, 국부적으로 균일한 스케일링이 부족하면, 예비의 보정된 이미지에서의 물체가 신장된 것처럼 보이게 된다.

4.3 수평 왜곡 보정

일단 파노라마 화소 좌표(520)가 수직 및 수평 방향으로 스케일링되면, 결과적인 예비의 와프 테이블은 수평 왜곡에 대해 보정된다. (SVU 스케일링 함수와 같은) 이미지 와핑 함수의 파라미터 클래스가 수직선을 수직으로 유지하지만, 수평선을 왜곡하기 때문에, 수평 왜곡 보정이 필요하다. 이러한 문제점을 최소화하기 위해 스케일링의 균일성을 완화시키고, 각각의 수직 주사선에서 비선형적으로 스케일링시킨다.

도 13은 도 7에 도시한 수평 왜곡 모듈(730)의 세부사항을 도시하는 흐름도 이다. 일반적으로, 모듈(730)은 예비의 와프 테이블 내의 예비의 화소 좌표를 섹션들로 분할하고, 해당 섹션에 대해 특정한 스케일링 비율에 따라 각 섹션을 수직 방향으로 스케일링한다. 스케일링 비율은 섹션들마다 다를 수 있고, 보통은 적어도 하나의 섹션에 대해서는 상이하다.

구체적으로, 처음에 수평 왜곡 보정 모듈(730)은 예비의 와프 테이블을 섹션들로 분할한다(박스 1300). 본 발명의 일 양태에서, 예비의 보정된 이미지는 도 14에 도시한 바와 같이 개념적으로 분할된다. 도 14는 수직 스케일링 함수 및 예비의 보정된 이미지를 3개의 섹션으로 분할하는 개념도를 도시한다. 도 14에서 y는 수직 방향인 것에 유의해야 한다. 도 14에서, 제1 섹션(1400)은 하부 소스 곡선(S_b)과 상부 소스 곡선(S_t) 사이에서 범위가 정해진다. 다른 섹션들은 소스 곡선 아래의 제2 섹션(1410) 및 소스 곡선 위의 제3 섹션(1420)을 포함하는 소스 곡선 외부의 섹션을 포함한다.

소스 곡선들 사이의 제1 섹션(1400)에 위치한 예비의 화소 좌표는 주 스케일링 비율(r(x))을 이용하여 수직(y) 방향으로 스케일링된다(박스 1310). 수직 방향으로의 이러한 스케일링은 상술한 바와 같이 수행된다. 소스 곡선들 외부의 섹션들(제2 섹션(1410) 및 제3 섹션(1420))에 위치한 예비의 화소 좌표는 수직 방향으로 더 적게 스케일링된다. 이것은 제2 스케일링 비율을 처음에 지정함으로써 수행된다(박스 1320). 제2 스케일링 비율(s)은 도 14에서 주 스케일링 비율(r(x)) 아래에 도시된다. 다음으로, 소스 곡선들 외부의 다른 섹션들(1410, 1420)에 위치한 예비의 화소 좌표가 제2 스케일링 비율을 이용하여 수직 방향으로 스케일링된다(박스 1330). 수직선이 직선으로 유지되도록, 수평 스케일링이 동일하게 유지되는(즉, 메인 스케일링 비율(r(x))을 이용함) 것에 유의해야 한다. 섹션들 간의 연속성을 유지하기 위하여, 평활(smoothing) 파라미터(w)를 적용함으로써 섹션들 간의 이행(transition)이 이루어진다(박스 1340). 평활 파라미터는 수직 스케일링 함수를 평활화하고, 수직 스케일링 함수가 소스 곡선을 교차할 때 서로 다른 스케일링 비율들을 평활하게 연결한다.

도 10 및 14에서, 도 10에 도시한 x에서의 수직선을 고려한다. 도 14에 도시한 바와 같이, g(y)는 이러한 수직선 상의 임의의 점(y)에서의 수직 스케일링 비율인 것으로 정의될 수 있는 수직 스케일링 함수이다. g(y)는 x에 의존한다는 것에 유의해야 한다. 함수 g(y)는 2개의 파라미터, 즉 제2 스케일링 비율(s)과 평활 파라미터(w)에 의해 제어된다. 소스 곡선으로부터 w/2 거리보다 먼 수직 주사선 부분은 소스 곡선들 사이에서는 주 스케일링 비율(r(x))로 스케일링되고, 소스 곡선들 외부에서는 제2 스케일링 비율(s)로 스케일링된다. 3개의 일정한 세그먼트는 [S_t-0.5w, S_t+0.5w]에서의 2개의 입체 스플라인(cubic spline)들에 의해 서로 이어진다. 각각의 입체 스플라인은 s 및 r(x) 값과 양 말단에서 0의 기울기를 갖는 말단을 갖는다.

평활 파라미터(w)는 소스 곡선들에서의 연속성을 제어한다. 예를 들어, 소스 곡선들에서 장면이 불연속이라면, 눈에 띄는 아티팩트(artifact) 없이도 매우 작은 w를 선택할 수 있다. s=r(x)인 특수한 경우에서, g(y)는 상수가 되며, 이는 예비의 보정된 이미지에서의 새로운 화소 위치를 도출할 때 가정된 것이다. 일단 수평 왜곡 보정 함수가 예비의 와프 테이블에 적용되었다면, 보정된 파노라마 이미지(530)에서의 파노라마 화소 좌표의 위치를 포함하는 와프 테이블(550)이 생성된다(박스 1350). 그 후에 와프 테이블(550)은 출력으로서 전송된다(박스 1360). 와프 테이블은 파노라마 이미지(510)로부터 보정된 파노라마 이미지(530)를 구성하는 데 이용된다.

4.4 파노라마 이미지 관측 오지각에 대한 보정

SVU 스케일링 함수는 심도 오지각의 문제점들을 보정하는 데 도움이 된다. 이것은 파노라마 이미지를 관측하는 동안 대칭 SVU 스케일링 함수를 이용함으로써 달성된다. 하부 소스 곡선은 상부 소스 곡선의 미러(mirror)이다. 소스 곡선들은 이미지 가장자리를 통과하고 중앙의 수직 주사선에서 최소(또는 최대)를 갖는다. 상술한 바와 같이, 하나의 파라미터는 중앙 지점의 높이를 지정하고, 두번째 파라미터는 와핑 비율(α)이다.

4.5 연결된 와핑 / 스티칭 테이블

상술한 바와 같이, 와핑 테이블은 이미지들을 파노라마 이미지로 스티칭하는 데 이용되는 스티칭 테이블과 연결될 수 있다. 예를 들어, 일 실시예에서 둥근 테이블의 경우에 회의실의 원주 투사가 복수의 카메라로부터 캡쳐된 이미지를 함께 스티칭함으로써 생성될 수 있다. 스티처는 카메라 이미지들을 파노라마 이미지에 매핑하는 스티칭 테이블을 사용한다. 스티칭 테이블은 제조상의 조정 동안에 카메 라 제조자에 의해 공장에서 통상적으로 생성된다. 이러한 테이블은 파노라마에서의 각 화소(x, y)에 대하여 이하의 정보를 포함한다:

(x, y) - 파노라마 화소 좌표

(u1, v1) - 카메라 1에 대한 이미지 화소 좌표

(u2, v2) - 카메라 2에 대한 이미지 화소 좌표

카메라1 - 주 소스 카메라

카메라2 - (x, y)가 중첩 영역에 있는 경우의 제2 소스 카메라.

S(x, y)는 화소(x, y)에서의 스티처 테이블 입력사항을 나타내는 것으로 한다. 즉, S(x, y)={카메라1, u1, v1, 카메라2, u2, v2}이다. 스티처를 원주에서 직사각형으로 변환하기 위해서, 스티칭 테이블을 와핑 테이블과 연결하는 것이 필요하다. (머리-사이즈 정규화 후의) 최종 파노라마 이미지 상의 각 화소(x, y)에 대하여, W(x, y)는 원주형 파노라마 이미지 상의 화소 좌표인 테이블 입력사항을 나타내고, T는 S와 W의 연결된 테이블을 나타내는 것으로 한다. 그렇다면 T(x, y)=S(W(x, y))이다. 이렇게 연결된 테이블은 설치시에 미리 연산될 수 있다. 실행시, 동작은 파노라마 스티칭에 대한 동작과 동일하다.

5.0 사용자 인터페이스

실시간 파노라마 이미지 보정 시스템의 일 실시예는 사용자를 위한 시스템 동작을 단순하게 하는 사용자 인터페이스(UI)를 제공한다. UI는 희망하는 환경 설정을 입력하기 위한 제어 패널(예를 들어, 터치 패널 LCD) 뿐 아니라, 정규화된 머리가 파노라마 이미지로부터 추출되어 디스플레이되는 화자 윈도우를 갖는 디스플 레이를 포함할 수 있다. 또한, UI는 보정 또는 스케일링된 파노라마 이미지를 디스플레이하는 디스플레이를 포함할 수 있는데, 파노라마 이미지의 사이즈는 적용된 와핑 비율 및 이미지 주변의 여분의 화소들에 따라 변할 것이다. 이것은 상이한 사이즈 및 해상도의 이미지들을 전송하기 위하여, 네트워크 스택을 재협상할 필요 없이, 표준 사이즈로 네트워크를 통해 보정된 이미지를 전송할 수 있게 한다.

5.1 제어 패널

파노라마 이미지를 캡쳐하는 데 사용되는 전방향성 카메라는 터치 LCD 스크린과 같은 제어 패널을 구비할 수 있는데, 이는 본 발명의 실시간 파노라마 이미지 보정 시스템의 설치 및 통상적인 사용에 이용된다. 일 실시예에서, 테이블 형태 및 사이즈, 카메라 위치 및 방향, 및 머리 사이즈 정규화 설정(0-100%)이 입력될 수 있다. 테이블 형태 및 사이즈 설정은 원형(바람직하게는 디폴트); 소형 직사각형(예를 들어, 10×5'); 대형 직사각형(예를 들어, 16×5') 및 기타 형태를 포함할 수 있다(본 경우에서는, 사용자가 테이블의 길이 및 폭을 지정하도록 요청받음). 디폴트 테이블 설정(원형)은 비원형 테이블의 경우 스티칭된 이미지를 생성하지만, 이러한 테이블 유형마다 머리 사이즈를 정규화하지는 않는다.

상술한 바와 같이, 본 발명의 일 실시예에서 전방향성 카메라 위치 및 방향은 제어 패널을 통해 설정될 수 있다. 디폴트 위치는 테이블의 중앙이다. 디폴트 방향은 테이블의 긴 말단 부근의 판독가능한 LCD에 따른다(즉, 테이블의 주 대칭축에 평행하다는 뜻임). 카메라의 방향은 매우 중요한데, 왜냐하면 그 방향이 정확하지 않으면, 와핑은 머리 사이즈를 균등하게 하는 대신 더욱 차이가 나게 할 수 있기 때문이다. 카메라 방향은 현저한 영향 없이도 +/- 15도로 변할 수 있다. 다양한 종래 방법들이 설치 후의 카메라 방향을 유지하는 데 이용될 수 있다. 카메라 테이블 형태와 사이즈, 및 전방향성 카메라의 위치 및 방향은 또한 자동으로 결정될 수 있다.

또한, 본 발명의 일 실시예에서 머리 사이즈 정규화 퍼센티지는 LCD를 통해 설정될 수 있다. 이러한 파라미터는 0% 정규화(원주형)로부터 100% 정규화(직사각형)까지의 연속적인 설정을 허용하는 슬라이더로 설정될 수 있다. 100%로 설정을 하지 않는 주요 이유는 정규화를 카메라 위치 및 회전 변화에 대해 보다 강인하게 만들고, 또한 일부 사용자가 희망할 수 있는 일부 원근 왜곡을 제공하기 위해서이다.

5.2 화자 윈도우

UI는 화자 윈도우를 갖는 디스플레이 페인(pane)을 포함할 수 있으며, 여기서는 서브-원도우를 파노라마 이미지로부터 직접 복사함으로써 파노라마 이미지로부터 머리가 추출된다. 그 후, 이러한 서브-윈도우는 별도의 디스플레이 페인으로서 디스플레이된다. 추출된 머리는 비정규화 또는 정규화될 수 있다. 이러한 특징은, 사람이 비디오 회의에서 이야기하고 있는 경우, 특히 사람들이 카메라로부터 비교적 멀리 떨어져 위치한 경우에 특별히 유용하다. 확대된 머리를 추출함으로써, 사람의 표정을 볼 수 있다. 이것은 특히 사람들이 이야기하고 있는 경우에 유용하다.

5.3 패딩된 ( padded ) 파노라마 이미지 및 왜상의 ( anamorphic ) 파노라마 이미지

또한, UI는 패딩된 파노라마 이미지를 디스플레이 및 전송하는 특징을 포함할 수 있다. 상이한 와프 비율로 이미지를 디스플레이하는 것은 상이한 사이즈로 보정될 것이므로, 이러한 패딩된 파노라마 이미지는 보정된 이미지 주변에 여분의 화소들을 추가하여 표준 사이즈로 만든다. 예를 들어, 검은 막대와 같은 막대들이 이미지의 상부 및 하부에 추가될 수 있다. 패딩된 보정된 이미지의 예가 도 15에 도시되어 있다. 이렇게 패딩된 파노라마 이미지는 시스템으로 하여금 각각의 보정된 파노라마 이미지에 대하여 일정한 사이즈 및 해상도를 유지하게 한다. 또한, 이것은 상이한 사이즈 및 해상도의 이미지를 전송하기 위하여 네트워크 스택을 재협상하지 않고 각각의 보정된 파노라마 이미지의 전송을 가능하게 한다. 이미지를 수신하는 측은 막대와 함께 또는 막대 없이 패딩된 파노라마 이미지를 디스플레이할 수 있다.

본 발명의 상술한 설명은 예시 및 설명의 목적으로 제시되었다. 이것은 본 발명을 개시된 상세한 형태로 총망라하거나 제한하려는 것이 아니다. 다수의 수정 및 변화가 상술한 교시의 관점에서 가능하다. 본 발명의 범위는 이러한 본 발명의 상세한 설명에 의해 제한되기보다는 본 명세서에 첨부된 청구범위에 의해 정해진다.

Claims (22)

1. 컴퓨터 상에서 파노라마 이미지의 실시간 보정을 수행하기 위한 방법으로서,

   상기 컴퓨터에 의하여 360도 파노라마 이미지로부터 파노라마 화소 좌표를 획득하는 단계;

   상기 컴퓨터에 의하여 상기 파노라마 화소 좌표에 SVU(Spatially Varying Uniform) 스케일링 함수를 적용하여 워프 테이블을 생성하는 단계 - 워프 테이블을 생성하는 단계는, 소스 곡선을 지정하는 단계, 워핑률을 지정하는 단계, 상기 소스 곡선 및 상기 워핑률을 이용하여 타겟 곡선을 연산하는 단계, 수직으로 스케일링된 파노라마 이미지의 화소 좌표를 생성하도록 상기 SVU 스케일링 함수를 이용하여 상기 파노라마 이미지의 화소 좌표를 수직으로 스케일링하는 단계, 및 예비의 화소 좌표를 포함하는 예비의 워프 테이블을 생성하도록 상기 SVU 스케일링 함수를 이용하여 수직으로 스케일링된 파노라마 이미지의 화소 좌표를 수평으로 스케일링하는 단계를 더 포함하고, 상기 소스 곡선은 하부 소스 곡선 및 상부 소스 곡선을 더 포함하고, 상기 하부 소스 곡선은 수평 특징 기하형태에 의해 정의되고, 수직으로 스케일링하는 단계는 주 스케일링 비율을 이용하여 상기 파노라마 이미지의 화소 좌표를 수직 방향으로 스케일링하는 단계를 포함하고, 상기 주 스케일링 비율은 상기 소스 곡선 및 타겟 곡선을 이용하여 연산됨 - ;

   상기 컴퓨터에 의하여 상기 워프 테이블을 생성하도록 상기 SVU 스케일링 함수를 이용하여 상기 예비의 워프 테이블에 대한 수평 왜곡 보정을 수행하는 단계; 및

   상기 컴퓨터에 의하여 보정된 파노라마 이미지를 생성하도록 상기 워프 테이블 및 상기 파노라마 이미지의 수평 특징의 기하형태를 이용하여 상기 파노라마 이미지를 워핑하는 단계

   를 포함하는 파노라마 이미지의 실시간 보정 수행 방법.
2. 제1항에 있어서, 상기 수평 특징은 테이블이고, 상기 파노라마 이미지를 캡쳐하는 카메라는 상기 테이블의 가운데에 위치하는 파노라마 이미지의 실시간 보정 수행 방법.
3. 제2항에 있어서, 상기 하부 소스 곡선은 다음의 수식들:

   

   

   

   

   에 의해 정의되며, W 는 테이블 폭, L 은 테이블 길이, h 는 상기 카메라 높이, r 은 상기 카메라의 초점 길이, α는 0부터 1 사이의 워핑률, θ 는 상기 카메라 방향인 파노라마 이미지의 실시간 보정 수행 방법.
4. 제1항에 있어서, 상기 상부 소스 곡선은 테이블 주변에 위치하는 사람의 머리의 상부에 맞닿는 평면에 기초하고, 상기 파노라마 이미지를 캡쳐하는 카메라는 가운데에 위치하는 파노라마 이미지의 실시간 보정 수행 방법.
5. 제1항에 있어서, 수평으로 스케일링하는 단계는 수직 주사선 각각마다 주 스케일링 비율을 이용하여 수평 방향으로 상기 파노라마 이미지의 화소 좌표를 스케일링하는 단계를 더 포함하는 파노라마 이미지의 실시간 보정 수행 방법.
6. 제1항에 있어서, 수평 왜곡 보정을 수행하는 단계는,

   상기 예비의 워프 테이블을 복수의 섹션으로 분할하는 단계; 및

   적어도 2개의 상이한 스케일링 비율을 이용하여 상기 섹션 각각에 포함된 예비의 화소 좌표를 수직 방향으로 스케일링하는 단계를 더 포함하는 파노라마 이미지의 실시간 보정 수행 방법.
7. 컴퓨터 상에서 파노라마 이미지의 실시간 보정을 수행하는 방법으로서,

   상기 컴퓨터에 의하여 360도 파노라마 이미지로부터 파노라마 화소 좌표를 획득하는 단계;

   상기 컴퓨터에 의하여 상기 파노라마 화소 좌표에 SVU(Spatially Varying Uniform) 스케일링 함수를 적용하여 워프 테이블을 생성하는 단계 - 상기 워프 테이블은 사용자 지정된 테이블 치수 및 카메라 파라미터로부터 연산됨 - ; 및

   상기 컴퓨터에 의하여 보정된 파노라마 이미지를 생성하도록 상기 워프 테이블 및 상기 파노라마 이미지의 수평 특징의 기하형태를 이용하여 상기 파노라마 이미지를 워핑하는 단계

   를 포함하는 파노라마 이미지의 실시간 보정 수행 방법.
8. 제7항에 기재된 방법을 수행하는 컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 기록 매체.
9. 컴퓨터 상에서 360도 파노라마 이미지의 왜곡을 보정하는 방법으로서,

   상기 컴퓨터에 의하여 이미지의 세트를 입력하는 단계;

   상기 컴퓨터에 의하여 상기 입력된 이미지의 세트로부터 생성된 가상의(imaginary) 파노라마 이미지의 화소 좌표에 대응하는 이미지 화소 좌표를 입력하는 단계;

   상기 컴퓨터에 의하여 이미지 왜곡을 보정하는 보정된 화소 좌표를 포함하는 워프 테이블을 생성하도록 스케일링 비율을 갖는 SVU(Spatially Varying Uniform) 스케일링 함수를 이용하는 단계;

   상기 컴퓨터에 의하여 상기 가상의 파노라마 이미지를 생성하는데 이용되는 스티칭 테이블을 상기 워프 테이블과 연결하는 단계; 및

   상기 컴퓨터에 의하여 상기 연결된 워프 테이블과 스티칭 테이블을 이용하여 상기 입력된 이미지의 세트로부터 보정된 파노라마 이미지를 생성하는 단계

   를 포함하는 파노라마 이미지 왜곡 보정 방법.
10. 제9항에 있어서, 상기 보정된 파노라마 이미지는 실시간으로 생성되는 파노라마 이미지 왜곡 보정 방법.
11. 파노라마 이미지의 실시간 보정 및 관측을 위한 컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 기록 매체로서,

    파노라마 이미지를 생성하는데 이용되는 이미지의 시퀀스에서 화소를 워핑하기 위한 워프 테이블을 생성하는 명령어;

    상기 파노라마 이미지 상에서 소스 곡선을 지정하는 명령어;

    상기 파노라마 이미지의 화소 좌표에 적용된 워핑의 양에 대응하는 워핑률을 지정하는 명령어;

    상기 소스 곡선 및 상기 워핑률을 이용하여 타겟 곡선을 연산하는 명령어;

    상기 소스 곡선 및 상기 타겟 곡선을 이용하여 주 스케일링 비율을 연산하는 명령어;

    상기 주 스케일링 비율을 이용하여 상기 파노라마 이미지의 화소 좌표를 스케일링함으로써 상기 워프 테이블을 생성하는 명령어;

    상기 파노라마 이미지를 생성하는데 이용되는 스티칭 테이블과 상기 워프 테이블을 연결하는 명령어; 및

    상기 이미지의 시퀀스를 보정된 파노라마 이미지에 스티칭하면서 상기 연결된 워프 테이블과 스티칭 테이블을 적용하는 명령어

    를 포함하는 컴퓨터 판독가능 기록 매체.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제

Images