KR20200043483A

KR20200043483A - 컴퓨터 장치에서 이미지를 수정하는 방법

Info

Publication number: KR20200043483A
Application number: KR1020207009991A
Authority: KR
Inventors: 로버트 페페렐; 앨리스테어 벌리
Original assignee: 포보 테크놀로지 리미티드
Priority date: 2017-09-06
Filing date: 2018-08-20
Publication date: 2020-04-27
Also published as: US20210037225A1; GB2566276B; WO2019048819A1; EP3679453A1; GB2566276A; GB201714341D0; CN111164542A; US11212502B2

Abstract

컴퓨터 장치에서 이미지를 수정하는 방법 및 그 방법이 구현되는 시스템이 개시된다. 상기 방법은 3차원 장면의 적어도 일부를 나타내는 이미지 데이터를 제공하는 단계, 상기 장면은 장면 내에서 시각적 고정 포인트(visual fixation point)에 고정될 때 뷰잉 포인트(viewing point)에서 인간 관찰자에게 보여짐; 상기 이미지 데이터를 디스플레이 장치에 렌더링하여 이미지를 디스플레이하는 단계; 사용자 입력 캡처 수단에 의해 사용자 입력을 캡처하는 단계; 상기 이미지 내에서 고정 영역(fixation region)을 계산적으로 분리시키는 단계, 상기 고정 영역은 상기 이미지 내의 이미지 객체를 나타내는 이미지 데이터의 서브 세트에 의해 정의되며, 상기 이미지 객체는 상기 시각적 고정 포인트와 관련됨, 상기 고정 영역을 계산적으로 확장하기 위해 이미지 데이터의 상기 서브 세트를 공간적으로 재구성하는 단계, 상기 고정 영역으로부터의 거리의 함수로서 점진적으로 상기 고정 영역에 대한 상기 이미지의 주변 영역을 계산적으로 압축하기 위해 이미지 데이터의 상기 서브 세트에 대해 나머지 이미지 데이터를 공간적으로 재구성하는 단계에 의해 이미지를 수정하는 단계;를 포함하고, 인간 관찰자에 의해 3차원 장면을 인식하는 방법을 합성적으로 모방하는 수정된 이미지가 생성되도록 상기 이미지의 수정은 사용자 입력에 의해 변조된다.

Description

컴퓨터 장치에서 이미지를 수정하는 방법

본 발명은 컴퓨터 장치에서 이미지를 수정하는 방법에 관한 것이다. 특히, 본 발명은 컴퓨터 장치의 카메라로부터 기록된 정지 이미지 및 동영상을 수정하는 방법에 관한 것이다.

카메라, 센서 및 터치스크린이 장착된 컴퓨터 장치, 예를 들어 사진 카메라, 영화 카메라, 스마트 폰 및 태블릿 등이 사진 및 영화를 기록하고 조작하는 데 점점 더 많이 사용되고 있다. 이러한 장치들에 사용되는 종래의 광학 및 이미지 처리 방법은 일반적으로 상기 장치에 장착된 렌즈 또는 렌즈에 들어가는 3차원(3D) 세계로부터의 광선들을 2차원(2D) 이미지 평면에 매핑(mapping)하기 위해 선형 원근법의 기하학적 구조에 의존한다. 상기 컴퓨터 장치는 표준 광학, 기하학적 이미지 처리 방법을 사용하여 이 선형 원근 2D 이미지의 다양한 속성을 수정할 수 있다. 예를 들어, 상기 2D 이미지는 사용자 제어 알고리즘 또는 통상의 기술자에게 공지된 다른 프로세스를 적용함으로써 사용자의 요구 사항을 만족시키기 위해 줌(zoom), 크롭(crop), 워프(warp), 스트레치, 회전 또는 필터링될 수 있다.

그러나 3D 세계의 이미지를 캡처하고 디스플레이하기 위해 선형 원근법에 의존하는 카메라 장치와 관련된 많은 문제와 제한 사항이 있다. 선형 원근법은 광선들이 이미지 평면에 투영되기 위해 광 베리어의 핀홀을 통해 직선으로 이동한다는 원리에 따라 작동한다. 좁은 시야각(수평으로 < 30°)의 경우, 선형 원근법의 기하학적 구조에 따라 상기 이미지 평면에 투영되고 디스플레이에 렌더링(rendering)되는 객체의 모양은 기하학적 왜곡의 영향을 받지 않는다. 그러나, 좁은 시야각의 이미지에 대한 제한은 이미지화되는 상기 장면의 넓은 영역들이 잘려서 이미지에 기록되지 않는다는 점이다. 시야각이 증가하면 (수평으로 > 60°) 이미지에 더 많은 장면을 기록할 수 있지만 이미지의 가장자리에 있는 선형 원근 객체들의 기하학적 구조가 점점 늘어나기 시작하고 중앙에 있는 객체들은 많은 사람들이 지각적으로 부자연스럽게 보이는 방식으로 점점 축소되기 시작한다. 시야각이 더 증가할수록 (수평으로 > 100°), 위에서 언급한 왜곡이 더 심해져서 160°보다 큰(> 160°) 시야각 이미지들은 점점 더 읽기 어려워진다.

다른 방법들이 표준 선형 원근 투영과 관련된 왜곡을 피하는 3D 장면의 광각 뷰(view)를 얻기 위해 사용될 수 있다. 이들은 어안 렌즈, 360° 렌즈 및 파노라마의 사용을 포함한다. 그러나 이러한 모든 방법들은 다른 종류의 왜곡을 발생시키므로 바람직하지 않으며 실제 3D 장면과 컴퓨터 이미지 간의 매핑 정확도가 떨어진다. 상기 이미지가 구면 또는 곡면에 수학적으로 투영되고 적절한 인터페이스를 사용하여 보여질 경우 이러한 방법들의 왜곡 문제를 줄일 수 있다. 360° 비디오 및 유사한 기술에서와 같이 사용자가 상기 이미지의 잘린 부분을 보다 자연스러운 관점에서 보면서 상기 이미지를 스캔할 수 있다. 그러나, 이러한 방법들은 장면의 시야를 시청 장치(viewing device)의 프레임 내에서 좁은 각도로 제한하는 문제를 되살린다.

이론적으로, 선형 원근법의 원리를 사용하여 생성된 광각 이미지는 상기 이미지를 충분히 가까운 거리에서, 즉 광선의 정확한 투영 중심에서 보는 경우 왜곡되지 않은 것처럼 보일 수 있다. 그 이유는 이 시점에서 시청자의 망막에 도달하는 광선의 패턴이 실제 장면으로부터 투영되는 것보다 광 경로의 패턴과 밀접하게 일치하기 때문이다. 그러나 대부분의 실제 상황에서, 특히 광각 이미지의 경우, 정확한 투영 중심이 상기 이미지 표면에 너무 가까워 정상적인 인간의 눈이 편안하게 초점을 맞출 수 없다. 따라서, 선형 원근 투영은 넓은 각도에서 객체를 정확하고 편안하게 묘사하기 위한 실용적인 방법이 아니다.

어떤 방식으로 보더라도, 선형 원근법의 원리에 따라 생성된 비입체 이미지들은 그들이 대표하는 3D 현실 세계(real world)에 대한 우리의 경험과 비교할 때 특징적으로 평평하게 보인다. 이는 상기 이미지의 깊이 단서들(depth cues)(예: 폐색(occlusion), 시차(parallax), 음영(shading) 등)이 상기 이미지가 평평함을 나타내는 단서들(이미지 평면의 기하학적 구조, 화면의 표면 눈부심 등)에 의해 억제된다는 사실을 포함하는 여러 가지 이유들 때문이다. 다른 이유는, 종래의 기하학적 방법들에 의해 생성된 이미지에서 시각적 공간의 구성이 상기 언급한 바와 같이 지각적으로 자연스럽지 않기 때문에 상기 이미지에서 인식되는 깊이의 양을 제한하기 때문이다.

카메라 및 터치스크린이 장착된 컴퓨터 장치 또는 컴퓨터 하드웨어 및 터치스크린이 장착된 카메라는 1인칭 시점을 모방하는 이미지를 만드는 데 점점 더 많이 사용되고 있다. 그러나, 자신의 관점에서 정상적인 양안 시야를 가진 사람이 경험하는 3D 세계의 공간 구조는 종래의 방법, 즉 선형 원근법 또는 어안 렌즈 투영에 의해 생성된 이미지와 구조가 실질적으로 다르다. 시각적 공간의 지각적 구조는 선형 원근법의 기하학적 법칙을 사용하여 이미지 평면 상에 표현될 수 없으며, 이는 그러한 법칙에 의존하는 장치가 그 구조를 효과적으로 표현하는 것을 제한한다.

카메라가 장착된 컴퓨터 장치는 점점 더 상기 장면으로부터 3D 깊이 정보를 캡처할 수 있는 시스템을 점점 더 갖추어 가고 있다. 이는 추가 카메라, 라이트 필드(light field) 캡처 시스템, 레이저 또는 적외선 측정 시스템, 비행 시간(time of flight) 시스템, 모션 시스템으로부터의 깊이 또는 기타 시스템의 제공을 통해 이루어진다. 3D 깊이 데이터의 추가는 그것이 자연 시야에서 객체의 외관을 시뮬레이션하고 이미지의 공간적 특성을 계산적으로 조작할 수 있는 더 큰 능력을 허용하기 때문에 원칙적으로 지각적 자연스러움, 이미지의 인식되는 깊이를 향상시킬 수 있다. 그러나, 깊이 캡처 기술을 사용하는 현재의 시스템은 결과적인 3D 이미지를 상기 장치의 2D 디스플레이에 투영하기 위해 선형 원근법의 기하학적 구조에 의존하는 경향이 있어, 위에서 언급된 한계들을 되살린다.

또한, 스마트폰 및 태블릿 상의 종래의 사용자 인터페이스, 또는 터치스크린이 장착된 다른 컴퓨터 이미지 캡처 장치는 기존의 투영 기하학에 따라 생성되거나 투영된 이미지보다 더 지각적으로 자연스러운 이미지를 생성하기 위해 사용자가 상기 언급된 문제점 또는 제한을 극복하는 방식으로 이미지의 공간, 깊이 및 속성을 조작하는 것을 허용하지 않는다.

카메라 및 터치스크린이 장착된 컴퓨터 장치의 사용자가, 2D 또는 3D 깊이 데이터를 사용하여, 현재 방법과 비교하여 1인칭 시점의 지각적 자연스러움, 인식된 깊이 및 효과를 개선하는 방식으로 조작될 수 있는 3D 장면의 사진 또는 동영상을 촬영할 수 있는 방법이 필요하다.

미국 특허 출원 14/763,454는 인간의 눈을 통해 인간의 뇌에 의해 인식되는 이미지에 일반적으로 대응하는 장면(하기 방법에 의해 만들어진 장면을 포함)의 이미지를 만드는 방법을 개시하며, 상기 방법은 상기 장면 내에서 주어진 영역에 고정할 때 주어진 '뷰잉 포인트(Viewing Point)'(VP)에서 인간 관찰자가 볼 수 있는 전체 시야 또는 일부 시야로 구성되는 장면을 임의의 적절한 순서로 캡처, 기록, 생성 또는 표현하는 단계와, 상기 장면의 상기 영역을 향하여 이미지를 점차 확대해 가는 단계와, 주변 시야에 대응하는 상기 장면의 영역을 점차 압축하여 상기 장면이 인간 지각자(human perceiver)에 어떻게 보일 것인지에 일반적으로 대응하는 상기 장면의 변경된 이미지를 만드는 단계를 포함한다.

본 발명의 목적은 상술한 문제들 중 적어도 일부에 대한 기술적 해결책을 제공하는 것이다.

본 발명의 제1 측면에 따르면, 컴퓨터 장치에서 이미지를 수정하는 방법이 제공된다. 상기 방법은 3차원 장면의 적어도 일부를 나타내는 이미지 데이터를 제공하는 단계, 상기 장면은 장면 내에서 시각적 고정 포인트(visual fixation point)에 고정될 때 뷰잉 포인트(viewing point)에서 인간 관찰자에게 보여짐; 상기 이미지 데이터를 디스플레이 장치에 렌더링하여 이미지를 디스플레이하는 단계; 사용자 입력 캡처 수단에 의해 사용자 입력을 캡처하는 단계;

상기 이미지 내에서 고정 영역(fixation region)을 계산적으로 분리시키는 단계, 상기 고정 영역은 상기 이미지 내의 이미지 객체를 나타내는 이미지 데이터의 서브 세트에 의해 정의되며, 상기 이미지 객체는 상기 시각적 고정 포인트와 관련됨, 상기 고정 영역을 계산적으로 확장하기 위해 이미지 데이터의 상기 서브 세트를 공간적으로 재구성하는 단계, 상기 고정 영역으로부터의 거리의 함수로서 점진적으로 상기 고정 영역에 대한 상기 이미지의 주변 영역을 계산적으로 압축하기 위해 이미지 데이터의 상기 서브 세트에 대해 나머지 이미지 데이터를 공간적으로 재구성하는 단계에 의해 이미지를 수정하는 단계;를 포함하고,

인간 관찰자에 의해 3차원 장면을 인식하는 방법을 합성적으로 모방하는 수정된 이미지가 생성되도록 상기 이미지의 수정은 사용자 입력에 의해 변조된다.

일 실시예에서, 상기 이미지를 수정하는 단계는 상기 고정 영역의 축 주위에서 상기 이미지를 회전시키는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 이미지를 수정하는 단계는 상기 이미지에 기하학적 변환을 적용하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 이미지를 수정하는 단계는 상기 이미지의 수평 또는 수직 축에서 상기 이미지의 시야각을 변경하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 고정 영역은 상기 사용자의 시야각과 양의(positively) 상관 관계를 가지는 양(amount)만큼 계산적으로 확장될 수 있다.

일 실시예에서, 상기 주변 영역은 상기 사용자의 시야각과 역의(inversely) 상관 관계를 가지는 양(amount)만큼 계산적으로 압축될 수 있다.

일 실시예에서, 상기 사용자 입력은 디스플레이 장치에 대한 상기 사용자의 모션(motion)을 나타내는 모션 데이터(motion data)를 포함할 수 있다. 상기 이미지의 수정은 상기3차원 장면에서 인간 관찰자에 의해 인식되는 모션 시차(motion parallax)를 모방하기 위해 상기 사용자의 모션에 따라 상기 이미지의 경계에 대해 상기 고정 영역을 정적으로 위치시키는 단계 및 상기 고정 영역에 대해 상기 주변 영역을 이동시키는 것을 포함할 수 있다. 상기 이미지를 수정하는 단계는 상기 사용자의 지시 제스처에 응답하여 상기 고정 영역을 계산적으로 분리시키는 단계를 포함할 수 있다. 상기 사용자 입력의 캡처는 3차원 장면 내에서 고정 포인트의 재배치에 대응하는 상기 사용자의 눈의 움직임을 모니터링하는 것을 포함할 수 있고, 상기 이미지를 수정하는 단계는 재배치된 고정 포인트를 포함하는 상기 고정 영역을 계산적으로 분리시키는 것을 포함한다. 상기 사용자 입력의 캡처는 3차원 장면 내에서 고정 포인트의 재배치에 대응하는 상기 디스플레이 장치의 터치스크린 상에서 터치 제스처를 모니터링하는 것을 포함할 수 있고, 상기 이미지를 수정하는 단계는 재배치된 고정 포인트를 포함하는 상기 고정 영역을 분리시키는 것을 포함한다.

일 실시예에서, 상기 이미지 데이터는 3차원 장면에서 객체들과 상기 뷰잉 포인트 사이의 거리와 관련된 데이터를 포함할 수 있다.

일 실시예에서, 상기 고정 영역을 계산적으로 분리시키는 단계는 상기 시각적 고정 포인트와 관련된 적어도 하나의 이미지 객체의 경계를 결정하기 위해 상기 이미지 데이터의 서브 세트를 계산적으로 처리하는 단계, 적어도 하나의 이미지 객체를 분리하고 각각의 이미지 객체를 별도의 깊이 층에 렌더링하는 단계를 포함한다.

일 실시예에서, 상기 방법은 상기 이미지의 각 수정 단계에 후속하여 상기 디스플레이 장치의 디스플레이를 업데이트하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 이미지 데이터는 직선수차교정(rectilinear) 카메라 렌즈, 어안 카메라 렌즈, 360° 렌즈, 다중 렌즈 및 기계적으로 조정 가능한 렌즈를 포함하는 그룹으로부터 선택된 렌즈를 포함하는 광학 장치에 의해 생성될 수 있다.

일 실시예에서, 상기 방법은 상기 이미지의 높이, 폭 및 깊이 축들 중 적어도 하나에서 상기 고정 포인트로부터 반경 방향으로 점진적으로 증가하는 이미지 블러(image blur) 효과를 적용하기 위해 이미지 데이터를 계산적으로 처리하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 방법은 3차원 장면에서 인간 관찰자의 얼굴에 근접하여 보여지는 객체로 상기 이미지를 오버레이(overlay)하기 위해 상기 이미지 데이터를 계산적으로 처리하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 사용자 입력을 캡처하는 단계는 상기 이미지와 상기 사용자의 머리 사이의 거리를 계산하는 단계를 포함할 수 있다. 상기 고정 영역은 상기 이미지와 상기 사용자의 머리 사이의 거리와 역의 상관 관계를 가지는 양만큼 계산적으로 확장될 수 있다. 상기 주변 영역은 상기 이미지와 상기 사용자의 머리 사이의 거리와 양의 상관 관계를 가지는 양만큼 계산적으로 압축될 수 있다.

본 발명의 제2 측면에 따르면, 제1 측면에 따른 상기 방법의 단계들을 구현하도록 구성된 컴퓨터 시스템이 제공되며, 상기 시스템은 사용자 입력을 캡처하도록 구성된 사용자 입력 캡처 수단; 캡처된 사용자 입력에 기초하여 처리된 이미지 데이터를 생성하도록 구성된 제어 유닛; 처리된 이미지 데이터를 디스플레이하도록 구성된 디스플레이 장치를 포함한다.

일 실시예에서, 상기 시스템은 3차원 장면을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 수단을 더 포함할 수 있다.

일 실시예에서, 상기 시스템은 상기 3차원 장면으로부터 깊이 정보를 캡처하도록 구성된 깊이 센서를 더 포함할 수 있고, 상기 제어 유닛은 캡처된 깊이 정보와 함께 캡처된 이미지 데이터를 처리하도록 구성된다.

일 실시예에서, 상기 사용자 입력 캡처 수단은 상기 디스플레이 장치에 적용된 모션을 캡처하도록 구성된 디스플레이 장치 모션 센서를 포함할 수 있다.

일 실시예에서, 상기 사용자 입력 캡처 수단은 상기 디스플레이 장치에 대한 사용자의 모션을 캡처하도록 구성된 사용자 모션 센서를 포함할 수 있다.

일 실시예에서, 상기 사용자 입력 캡처 수단은 상기 디스플레이 장치와 통합되도록 구성된 터치스크린을 포함할 수 있다.

일 실시예에서, 상기 시스템은 수정된 이미지 데이터를 생성하기 위해 캡처된 이미지 데이터를 처리하도록 구성된 그래픽 프로세서를 더 포함할 수 있다.

본 발명은 위에서 설명되었지만, 위에서 또는 다음의 설명에서 제시된 특징들의 임의의 창의적인 조합으로 확장된다. 본 발명의 예시적인 실시예들이 첨부 도면들을 참조하여 본 명세서에서 상세하게 설명되지만, 본 발명은 이러한 정확한 실시예들로 제한되지 않음을 이해해야 한다.

또한, 다른 특징들 및 실시예들이 특정 특징을 언급하지 않더라도, 개별적으로 또는 실시예의 일부로서 기술된 특정 특징은 다른 개별적으로 기술된 특징들 또는 다른 실시예들의 일부와 결합될 수 있는 것으로 고려된다. 따라서, 본 발명은 아직 설명되지 않은 그러한 특정 조합으로 확장된다.

본 발명은 다양한 방법으로 수행될 수 있으며, 예를 들어 다음과 같은 도면을 참고하여 그 실시예들이 설명될 것이다.
도 1은 본 발명의 제1 실시 예에 따른 컴퓨터 장치에서 이미지를 수정하는 방법의 단계들의 흐름도를 도시한다.
도 2는 도 1의 상기 방법의 단계들을 구현하는 컴퓨터 시스템의 블록 다이어그램을 도시한다.
도 3은 선형 원근법의 기하학적 원리를 설명하는 예를 도시한다.
도 4는 도 1의 상기 방법의 단계들에 따른 이미지 수정을 도시한다.
도 5는 유클리드 공간의 개략도를 도시한다.
도 6은 본 발명에 따른 공간적 변형을 도시한다.
도 7은 카메라 또는 유사한 장치에서 선형 원근 투영에 의해 생성된 3D 장면의 개략도를 도시한다.
도 8은 도 1의 상기 방법의 한 단계를 보여주는 예시적인 장면을 도시한다.
도 9는 도 1의 상기 방법의 한 단계를 보여주는 다른 예시적인 장면을 도시한다.
도 10은 도 1의 상기 방법의 한 단계를 보여주는 예시적인 장면을 도시한다.
도 11은 도 1의 상기 방법의 한 단계를 보여주는 예시적인 장면을 도시한다.
도 12는 본 발명의 실시예에서 사용되는 사용자 인터페이스의 예를 도시한다.

본 발명의 제1 실시예에 따른 컴퓨터 장치에서 이미지를 수정하는 방법(100)이 이제 도 1을 참조하여 설명될 것이다. 단계(101)에서, 가능한 경우, 카메라, 카메라 어레이 및 깊이 센서로부터의 이미지 데이터가 액세스된다. 단계(102)에서, 고정 영역(102a)은 고정 좌표 및 고정 객체의 조합으로서 정의되며, 상기 고정 좌표는 눈(eye or eyes)이 고정되는 상기 장면에서의 포인트에 대응하고, 상기 고정 객체는 상기 고정 좌표와 연관된 상기 장면의 객체이다. 상기 고정 영역은 3가지 기술들(102b) 중 하나에 의해 선택될 수 있다. 상기 3가지 기술들은 기본 설정, 사용자 제스처에 의해 또는 상기 장치에 통합된 눈 추적 센서를 통해이다. 상기 기본 설정은 상기 이미지의 중심에 있거나 상기 이미지의 중심에 근접한 영역을 선택하거나, 사람 또는 사람의 얼굴과 같은 상기 이미지 내의 중요한 특징 또는 상기 이미지의 중심에 있는 객체를 감지하고 이를 상기 고정 영역으로 선택하는, 통상의 기술자에 의해 상기 장치에 프로그램된, 적절한 알고리즘을 사용하여 적용될 수 있다.

상기 사용자 제스처 선택은 상기 사용자가 터치스크린 디스플레이에 적절한 제스처를 적용함으로써 가능할 수 있으며, 단계(103)에서 상기 이미지가 선택적으로 터치스크린 디스플레이에 디스플레이된다. 예를 들어, 상기 사용자의 손가락은 상기 터치스크린의 영역을 터치하여 상기 이미지의 해당 포인트를 상기 고정 영역으로 선택한다. 상기 터치스크린을 가로 질러 손가락을 움직이면 그에 따라 상기 고정 영역이 이동한다.

상기 눈 추적 선택은 화면에 상기 이미지가 디스플레이되고, 상기 방법이 구현된 상기 장치에 통합된 적절한 센서가 디스플레이에 대한 사용자의 눈의 움직임과 위치를 감지하고, 상기 이미지에 대한 시선의 위치를 사용하여 상기 고정 영역을 선택하면 가능해진다. 상기 이미지를 가로 질러 상기 시선을 움직이면 그에 따라 상기 고정 영역이 이동한다.

단계(104)에서, 상기 이미지는 다음 방식에 따라 수정된다. 이전 단계에서 선택된 상기 고정 영역에 대응하는 상기 이미지의 영역은 3D 장면으로부터의 이미지 데이터에 적용된 선형 원근 기하학에 의해 생성된 상기 이미지의 원래의 투영(original projection)에서 그 크기에 비해 확대된다(104a). 상기 이미지의 나머지는 3D 장면으로부터의 이미지 데이터에 적용된 선형 원근 기하학에 의해 생성된 상기 이미지의 원래의 투영에서의 크기에 비해 축소된다(140b). 본 발명에서 확장(확대) 또는 압축(축소)과 같이 특정된 공간 수정을 수행하기 위해 사용될 수 있고 통상의 기술자에 의해 구현될 수 있는 몇 가지 계산 기법들이 있다. 단지 예로서, 하나의 기법은 3D 장면 또는 3D 장면의 2D 이미지를 모델링하는 데 사용된 3D 좌표에 적합한 메시 변환(mesh transformation)을 적용하는 것이다. 다른 기법은 3D 장면에서 광 경로들을 나타내는 데 사용되는 컴퓨터 데이터에 적합한 매트릭스 변환(matrix transformation)을 적용하는 것이다.

단계(105)에서, 제1 실시 예에 따라 수정된 상기 이미지는 터치스크린 장치일 수 있는 상기 이미지 디스플레이로 렌더링된다. 상기 터치스크린은 버튼, 슬라이더, 스위치 또는 유사한 사용자 인터페이스 메커니즘의 형태로 사용자 인터페이스(105a)를 제공할 수 있으며, 이 인터페이스를 조작함으로써 사용자는 상기 이미지에 대한 추가 수정을 수행할 수 있다. 개시된 상기 방법에 따르면, 이들은 상기 고정 영역을 추가로 선택 또는 수정하는 단계, 상기 고정 영역에 대응하는 상기 장면의 객체를 분리하는 단계, 수평 또는 수직 축에서 상기 이미지의 시야각을 변경하는 단계, 상기 고정 영역의 축 또는 적절한 인터페이스 제어 메커니즘을 통해 사용자가 지정한 다른 축을 중심으로 상기 이미지를 회전시키는 단계, 상기 이미지의 곡률을 변경하는 단계, 상기 이미지를 뒤트는 단계, 또는 다른 기하학적 변형을 상기 이미지에 적용하는 단계를 포함한다. 이러한 수정 사항들을 선택하면 상기 이미지 디스플레이의 상기 이미지가 실시간으로 업데이트된다.

단계(106)에서, 눈 추적기, 머리 추적기, 가속도계 또는 자이로스코프와 같이 상기 장치에 통합된 센서들(106a)로부터 전달된 데이터에 응답하여 상기 이미지에 대한 추가 수정이 이루어질 수 있으며, 따라서 사용자 행동, 제스처, 모션, 또는 상기 장치의 모션에 응답하여 상기 이미지가 실시간으로 수정된다.

단계(107)에서, 이미지 효과들(107a)이 상기 이미지를 수정하기 위해 적용될 수 있다. 이러한 효과들은 통상의 기술자에 의해 상기 장치에 프로그래밍된 알고리즘을 사용하여 적용될 수 있으며, 따라서 사용자 개입 없이 상기 이미지를 자동으로 수정하거나, 터치스크린을 통해 제어될 수 있는 적절한 인터페이스를 통해 사용자의 제어 하에 적용될 수 있다. 상기 이미지 효과들은 블러(blur), 이미지 대비, 채도, 휘도, 해상도의 수정들을 포함한다. 1인칭 관점의 지각적 진실성(perceptual authenticity)을 향상시키도록 설계된 추가적인 이미지 효과들 (107b)이 사용자의 제어 하에 또는 자동적으로 상기 이미지 상에 오버레이(overlay)될 수 있다. 포함된 항목들은 일반적으로 눈에 가까운 자연 시야에서 볼 수 있으며, 예들의 대략적인 목록(non-exhaustive list of examples)에 안경, 선글라스, 모자, 코, 보석, 머리카락, 바디 피어싱 및 우산 등이 포함된다.

제1 실시예에 따른 컴퓨터 장치에서 이미지를 수정하는 방법은 도 1에 도시된 바와 같이 컴퓨터 시스템(200)에서 구현될 수 있다. 3D 장면으로부터의 광선들을 선형 원근법의 기하학적 구조를 사용하여 센서 또는 센서들(도시되지 않음)로 투영하고, 이를 휘도, 색상, 모션(motion) 등을 나타내는 계산 데이터(201a)로 변환하고 저장함으로써 카메라 또는 카메라 어레이(201)는 광선들을 기록할 수 있다. 저장된다. 또한, 상기 장면으로부터의 깊이 정보(202a)는 센서들(202)을 사용하여, 다수의 카메라들 사이의 불일치 (disparity)를 계산함으로써, 카메라 움직임으로부터, 라이트 필드(light field) 캡처 기술들 또는 통상의 기술자에게 알려진 다른 기술들을 적용함으로써 기록될 수 있다. 계산 데이터로 변환되어 장치에 저장된다.카메라 렌즈는 구조상 직선수차교정(rectilinear) 렌즈 또는 어안 렌즈일 수 있으며, 상기 장치는 상기 3D 장면의 잘린 영역(cropped region) 또는 3D 장면의 360°뷰(view)를 모노(mono) 또는 스테레오(stereo) 투영으로, 또는 평면 투영(flat projection)으로, 3D 장면에 대한 3D 깊이 정보를 사용하여 또는 라이트 필드(light field) 시스템 또는 3D 장면에서 라이트 어레이(light arrays)를 기록하기 위한 유사한 시스템을 사용하여 기록할 수 있다.

상기 3D 장면을 나타내는 데이터는 중앙 프로세서(203)에 의해 액세스되고, 도 1을 참조하여 위에서 논의된 수정된 데이터(203a)를 얻기 위해 다수의 단계들에 따라 수정된다. 수정된 이미지 데이터(203a)는 도 1을 참조하여 개시된 단계들에 따라 추가 수정(204a)을 위해 그래픽 프로세서(204)로 전달되고, 렌더링된 이미지(205a)를 얻기 위해 터치스크린 디스플레이일 수도 있는 이미지 디스플레이(205)로 렌더링된다.

사용자 동작(예를 들어, 손가락 제스처)에 응답하여 생성된 터치스크린 디스플레이(205)로부터의 데이터(205b)는 도 1을 참조하여 특정된 단계들에 따라 상기 이미지에 대한 추가 수정들을 시작하기 위해 중앙 프로세서(203)로 전달될 수 있다.

상기 이미지는 상기 장치에 통합된 자이로스코프 또는 가속도계(206a)와 같은 모션 센서(206)로부터, 또는 눈 추적 또는 머리 추적 센서들(207a)과 같은 사용자의 모션, 위치 또는 행동을 검출하는 센서들(207)로부터 도출된 데이터에 응답하여 추가로 수정될 수 있다. 일단 수정되면 중앙 프로세서(203)를 통해 그래픽 프로세서(204)로 다시 전달되어 디스플레이(205)로 렌더링된다.

시스템(200)은 사용자가 디스플레이(205)를 통해 수정된 이미지를 지속적으로 모니터링하고, 사용자 제스처 입력에 의해 또는 모션, 눈 또는 머리 추적 센서(207, 207a)에 응답하여 실시간으로 그 속성을 추가로 수정하도록 구성된다.

도 3은 선형 원근법의 기하학적 원리를 도시한다. FF에 있는 스크린의 이미지는 AA에서 평면 뷰(view)로 보여진 상기 방의 광각 뷰(view)(수평으로 120°)를 보여준다. 3D 장면의 넓은 시야각으로 인해 BB의 상기 방에 있는 큐브는 BB'의 상기 이미지에서 지나치게 작게 보이고, 상기 방의 벽은 AA'에서 지나치게 늘어난 것처럼 보인다. CC로 투사될 때 CC의 가장 앞쪽 큐브가 지나치게 커 보인다. 그리고 GG에 파선으로 표시된 표준 카메라 크롭 프레임이 적용되면 상기 방의 대부분이 가시 영역을 벗어난다. 상기 방을 지각적으로 자연스럽게 표현하기 위해 이 방법은 부적절하다.

이론적으로, 시청자(viewer)가 정확한 투영 중심을 뷰잉 포인트(viewing point)로 채택하면, 상기 방의 이 이미지에서 크기 및 형태의 명백한 왜곡이 중화될 수 있다. 이러한 조건 하에서, 눈의 동공에 입사하는 광선들의 패턴은 실제 장면으로부터 투영되는 광선들의 패턴과 매우 유사할 것이다. 그러나 광각 뷰의 경우, 이미지가 비실용적으로 커지지 않는 한, 투영 중심이 이미지 평면에 너무 가까워서 시청자의 눈이 편안하게 초점을 맞출 수 없다.

도 4는 본 발명에서 사용된 이미지 수정 원리를 도시한다. 도 3과 같은 방이 표시되었지만 EEE에서 이미지 평면에 투영된 광선들의 경로는 비선형이므로 3D 장면의 이미지가 수정된다. BBB에 있는 큐브로부터 투영되는 광선들은 비선형이며, 본 발명에서 특정된 방식으로, 도 3에서 보다 어퍼쳐에서 더 발산하여, 도 3에서의 투영에 비해 BBB'에 있는 큐브의 확대를 초래한다. 상기 방의 외부 가장자리에서 나오는 광선들은 도 3보다 어퍼쳐에서 더 수렴하여, AAA'에서 상기 방의 외벽의 축소를 초래한다. 큐브 CCC는 BBB보다 EEE에 더 가깝기 때문에, 그것은 본 발명에 따라 CCC에 투영될 때 축소된다. BBB에 있는 큐브 뒤의 벽은 또한 본 발명에 따라 축소되며, 도 3에서 보다 BBB'에서의 큐브에 비례하여 AAA'에서의 이미지에서 더 작게 도면에 도시된다. 이러한 수정의 효과는 3D 장면에서 객체들의 상대 크기가 본 발명에 따라 3D 장면의 깊이 축에서의 그들의 위치의 함수로서 수정된다는 것이다.

도 4에 표시된 상기 방의 투영에서 전체 방은 GGG의 표준 카메라 크롭 프레임 내에서 볼 수 있다. 이 방법은 선형 원근법의 기하학적 구조에 따라 생성된 이미지보다 더 지각적으로 자연스럽고 보기에 더 편안하고 더 큰 지각적 깊이를 갖는 장면의 이미지를 생성한다.

도면에서 장면에 적용되는 확대 및 축소 정도는 예시의 목적으로만 도시되며, 상기 방법을 구현하는 장치에서 사용되는 정확하거나 유일한 수정 정도를 나타내지는 않는다.

도 4에 도시된 3D 공간의 이미지는 선형 원근법의 기하학적 구조에 의해 생성된 이미지에서 언급된 일부 문제들을 겪지 않으며, 도 3에서 생성된 3D 장면의 이미지와 비교하여, 상기 이미지의 레이아웃, 가독성(legibility), 지각적 깊이 및 지각적 자연스러움을 향상시키도록 설계된다.

도 5는 유클리드 공간의 개략도이다. 3D 공간을 나타내는 3개의 교차하는 평면들이 직교 투영법으로 표시된다. 각 평면에는 균일하게 분포된 그리드 선들이 표시되어 유클리드 공간에서 3D 좌표가 볼륨 전체에 균등하게 배치된다는 원리를 보여준다. 표준 선형 원근 투영은 어퍼쳐(aperture)를 통과하고 평면과 교차하는 직선 광 경로들을 사용하여 이 좌표들을 2D 평면에 투영한다.

도 6은 본 발명에 적용된 공간적 수정의 개략도이다. 3D 공간을 나타내는 그리드 선들로 표시된 3개의 교차하는 평면들이 도 5와 같이 직교 투영법으로 표시된다. 여기서 그리드 선들은 고르게 분포되지 않는다. 모든 평면들 이 교차하는 좌표는 3D 공간에서 고정 포인트로, 그리고 원점으로 간주된다. 이 영역에서 점들 사이의 공간이 확장되고, 이 영역 너머의 공간은 원점과의 거리에 따라 증가하는 방식으로 압축된다. 이 3D 공간이 2D 평면에 투영되면 3D 공간의 비유클리드 투영(non-Euclidean projection)이 생성된다. 도 5와 비교할 때 공간 중심의 큐브는 도 6에서 확대되고 가장자리의 공간은 점점 더 축소된다.

도면에서 장면에 적용되는 확대 및 축소 정도는 단지 예시의 목적으로 도시된 것이며, 본 발명에서 사용되는 정확한 또는 유일한 수정 정도를 나타내지는 않는다. 예를 들어, 통상의 기술자는 자동으로 또는 사용자 제어 하에서 확대 및 축소 정도를 제어하는 알고리즘을 상기 장치에 프로그래밍할 것이다.

본 방법에서 특정된 공간적 수정을 수행하기 위해 사용될 수 있고, 통상의 기술자에 의해 본 발명을 구현하는 장치에서 구현될 수 있는 몇 가지 계산 기법들이 있다. 단지 예로서, 하나의 기법은 3D 장면 또는 3D 장면의 2D 이미지를 모델링하는데 사용된 3D 좌표에 적합한 메시 변환을 적용하는 것이다. 다른 기법은 3D 장면에서 광 경로들을 나타내는 데 사용되는 컴퓨터 데이터에 적합한 매트릭스 변환을 적용하는 것이다.

도 7은 카메라 또는 유사한 장치에서 선형 원근 투영에 의해 생성된 3D 장면의 개략도(30)를 도시한다. 나무(31)는 상기 장면에서 나무(32)와 크기가 동일하지만, 투영 평면으로부터 더 멀어 질수록 상기 이미지에서 더 작게 나타난다는 점에 유의한다. 직선수차교정 렌즈(rectilinear lens) 또는 이와 동등한 광학 장치가 장착된 본 발명을 구현하는 장치는 이러한 종류의 이미지를 생성할 것이다.

도 8은 3D 장면(300)의 이미지에서 고정 영역을 선택하고 분리 하는(102) 예시적인 장면(300)을 도시한다. 패턴-채워진 원(301)은 (302)로 표시된 나무에 위치된 고정 좌표를 나타내고, 상기 장면에서 다른 객체들로부터의 나무의 계산적 분리(computational isolation)는 (302)에서 나무의 파선 윤곽선으로 표시된다. 고정 좌표(301)는 터치스크린 인터페이스를 통한 사용자 제어에 의해; 적절한 알고리즘을 적용하여 자동으로; 눈 추적 시스템과 같은 센서에 응답으로 등을 포함하는 다수의 기법들에 의해 선택될 수 있다. 예를 들어, 사용자는 터치스크린 상의 이미지를 터치하고, 손가락과 스크린의 접촉 지점은 통상의 기술자에게 공지된 기법들을 사용하여 고정 좌표로서 취해진다.

상기 고정 영역과 관련된 객체는 터치스크린 인터페이스를 통한 사용자 제어에 의해; 적절한 알고리즘을 적용하여 자동으로; 눈 추적 시스템과 같은 센서에 응답으로 등을 포함하는 다수의 방식들로 결정될 수 있다. 예를 들어, 사용자는 터치스크린 상의 이미지에서 객체 주위에 손가락으로 루프(loop)를 그리며, 2D 또는 3D에 관계없이 상기 루프로 둘러싸인 객체는 통상의 기술자에게 공지된 기법들을 사용하여 상기 관련된 객체로 취해진다.

상기 고정 영역과 관련된 객체는 터치스크린 인터페이스를 통한 사용자 제어에 의해; 적절한 알고리즘을 적용하여 자동으로; 눈 추적 시스템과 같은 센서에 응답하여 등을 포함하는 다수의 방식으로 상기 장면에서 다른 객체들로부터 계산적으로 분리될 수 있다. 예를 들어, 사용자는 터치스크린 상의 이미지에서 객체 주위에 손가락으로 루프(loop)를 그리며, 2D 또는 3D에 관계없이 상기 루프로 둘러싸인 객체는 상기 분리된 객체로 취해지고, 통상의 기술자에게 공지된 기법들을 사용하여 계산적으로 분리된다.

도 9는 예시적인 장면(400)을 도시한다. 고정 영역(301)을 확대하고(104a) 장면(400)의 나머지 영역 및 객체들을 축소하는(104b) 단계와 401 및 404에서의 나무에 대한 영향 및 405에서의 꽃에 대한 영향이 보여진다. 406에서의 파선 경계는 제1 실시 예에 따른 수정 이전의 이미지의 원래의 시야각을 나타내며, 파선 내부의 영역은 도 8에 도시된 사전 수정된 버전에서 볼 수 있다. 파선 외부의 영역은 이제 프레임(407) 내에서 볼 수 있게 된다. 굵은 화살표(402a, 402b, 402c, 402d)는 확대 방향을 나타내고, 굵은 화살표(403a, 403b, 403c, 403d, 403e, 403f)는 축소 방향을 나타낸다.

이제 음영 처리된 401의 나무는 도 8에서 보다 이미지에서 더 크고 404의 나무는 더 작다. 상기 이미지의 오른쪽 하단 모서리에 있는, 401에서 나무에 더 가까운 꽃들(405)은 이제는 도 8에서보다 더 작지만 또한 더 많이 보인다. 406에서의 파선 경계는 도 8의 이미지 프레임 내에서 볼 수 있는 3D 장면의 일부를 보여주고, 도 9는 이미지 프레임 내에서 볼 수 있는 3D 장면의 추가 영역을 보여준다.

본 발명에 따른 이미지에 적용된 수정들은 3D 장면의 이미지의 지각적 자연스러움 및 깊이를 개선하고 그 가독성을 향상시키도록 설계된다.

도면에서 상기 장면에 적용되는 확대 및 축소 정도는 단지 예시의 목적으로 도시되어 있고, 상기 방법을 구현하는 상기 장치에서 사용되는 정확한 또는 유일한 수정 정도를 나타내지는 않는다.

도 10은 상기 고정 영역 외부에 있는 객체들을 움직이는 것을 나타내는 장면 (500)을 도시한다. 501에서의 음영 처리된 나무는 상기 고정 영역이고, 이미지 프레임(502)에 대해 정적인 상태로 유지되는 반면, 상기 장면에서 나머지 객체들은 이동되거나 달리 수정된다. 도 10의 도면은 예로서 상기 고정 영역의 축에 대한 회전(503a, 503b, 503c, 503d)의 영향을 도시한다. 회전, 평행 이동, 전진 또는 후진, 줌잉(zooming), 워핑(warping) 또는 벤딩(bending)을 포함하지만 이에 제한되지 않는 다른 형태의 모션 또는 수정이 구현될 수 있다.

사용되는 모션의 유형은 상기 방법을 구현하는 상기 장치의 모션에 의해 결정될 수 있고, 상기 이미지의 모션이 상기 장치의 모션에 대응하도록 가속도계 또는 자이로스코프와 같은 적절한 센서를 통해 검출될 수 있고, 따라서 상기 고정 영역과 상기 장면의 나머지 사이의 모션 시차의 효과를 가능하게 한다. 이 모션 시차의 효과는 상기 이미지의 지각적 깊이를 더욱 향상시킬 수 있다.

사용되는 모션의 유형은 상기 방법을 구현하는 상기 장치의 사용자의 눈 또는 머리 움직임에 의해 추가로 결정될 수 있고, 상기 이미지의 모션이 눈 또는 머리의 모션에 대응하도록 눈 또는 머리 추적 시스템과 같은 적절한 센서를 통해 검출될 수 있고, 따라서 상기 고정 영역과 상기 장면의 나머지 사이의 모션 시차 효과를 가능하게 한다.

도 11은 상기 이미지에 의해 표현된 1인칭 관점의 지각적 자연스러움을 향상시키기 위해 상기 이미지에 이미지 효과의 오버레이를 보여주는 장면(600)을 예시적으로 도시한다. 단지 예로서, 도면은 3D 장면의 이미지 상에 오버레이된 안경(601)을 도시한다. 도면은 두 눈으로 보는 착용자에게 보여지는 안경(601)을 도시하며, 그 이미지는 도면에서 대략적인 방식으로 시각 시스템에 의해 융합된다. 오버레이된 이미지는 눈에 근접하여 보이는 객체의 지각적 외관을 더 모방하기 위해, 통상의 기술자에게 공지된 기법들로 적용된 이미지 블러 및 투명도 효과로 렌더링될 수 있다. 예를 들어, 사람의 코의 경우 자연 시야에서와 같이 이미지에 약간의 흐림과 투명도가 있는 이미지에 나타난다.

도 12는 사용자 인터페이스(700)의 예를 도시한다. 이러한 인터페이스(700)는 물리적이든 가상이든, 변경될 때 이미지를 수정하거나 상기 장치의 동작을 제어하기 위해 중앙 프로세서로 데이터를 전송하는 일련의 슬라이더들 또는 버튼들을 구비할 수 있다. 이 도면에 도시된 예에서, 0과 100 사이의 값을 리턴할 수 있는 7개의 슬라이더들(701, 702, 703, 704, 705, 706, 707)가 존재한다. 예로서, 본 발명의 일 실시예에서, 슬라이더(701)는 상기 고정 영역의 크기를 제어하며, 0은 작은 영역이고 100은 큰 영역이며; 슬라이더(702)는 상기 고정 영역에 적용되는 확대 정도를 제어하고, 슬라이더(703)는 비고정(non-fixation) 영역에 적용되는 축소 정도를 제어하고; 슬라이더(704)는 상기 이미지의 시야각을 제어하는데, 0은 좁은 각도(수평으로 < 20°)이고 100은 광각(수평으로 > 170°)이고; 슬라이더(705)는 상기 이미지의 회전 정도를 제어하며, 0-50은 왼쪽 회전이고 51-100은 오른쪽 회전임; 슬라이더(706)는 상기 이미지에서 겉보기 곡률(apparent curvature)을 제어하며, 0은 곡률이 아니며 100은 3D 장면의 모든 직선이 시선의 위도 라인들 또는 시선의 경도 라인들을 제외하고 이미지의 곡선으로 렌더링된다는 것을 의미함; 슬라이더(707)는 1인칭 이미지 오버레이 효과가 적용되는 것을 제어하며, 1은 안경, 2는 선글라스, 3은 코 등이다.

Claims

컴퓨터 장치에서 이미지를 수정하는 방법으로서,
3차원 장면의 적어도 일부를 나타내는 이미지 데이터를 제공하는 단계, 상기 장면은 장면 내에서 시각적 고정 포인트(visual fixation point)에 고정될 때 뷰잉 포인트(viewing point)에서 인간 관찰자에게 보여짐;
상기 이미지 데이터를 디스플레이 장치에 렌더링하여 이미지를 디스플레이하는 단계;
사용자 입력 캡처 수단에 의해 사용자 입력을 캡처하는 단계, 상기 사용자 입력은 디스플레이 장치에 대한 상기 사용자의 모션(motion)을 나타내는 모션 데이터(motion data)를 포함함;
상기 이미지 내에서 고정 영역(fixation region)을 계산적으로 분리시키는 단계, 상기 고정 영역은 상기 이미지 내의 이미지 객체를 나타내는 이미지 데이터의 서브 세트에 의해 정의되며, 상기 이미지 객체는 상기 시각적 고정 포인트와 관련됨; 상기 고정 영역을 계산적으로 확장하기 위해 이미지 데이터의 상기 서브 세트를 공간적으로 재구성하는 단계; 상기 고정 영역으로부터의 거리의 함수로서 점진적으로 상기 고정 영역에 대한 상기 이미지의 주변 영역을 계산적으로 압축하기 위해 이미지 데이터의 상기 서브 세트에 대해 나머지 이미지 데이터를 공간적으로 재구성하는 단계; 상기 3차원 장면에서 인간 관찰자에 의해 인식되는 모션 시차(motion parallax)를 에뮬레이트(emulate)하기 위해 상기 사용자의 모션에 따라 상기 이미지의 경계에 대해 상기 고정 영역을 정적으로 위치시키는 단계 및 상기 고정 영역에 대해 상기 주변 영역을 이동시키는 단계에 의해 이미지를 수정하는 단계;를 포함하고,
인간 관찰자에 의해 3차원 장면을 인식하는 방법을 합성적으로 모방하는 수정된 이미지가 생성되도록 상기 이미지의 수정은 사용자 입력에 의해 변조되는 방법.
제1항에 있어서, 상기 이미지를 수정하는 단계는 상기 고정 영역의 축 주위에서 상기 이미지를 회전시키는 단계를 더 포함하는 방법.
제1항 또는 제2항에 있어서, 상기 이미지를 수정하는 단계는 상기 이미지에 기하학적 변환을 적용하는 단계를 더 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 이미지를 수정하는 단계는 상기 이미지의 수평 또는 수직 축에서 상기 이미지의 시야각을 변경하는 단계를 더 포함하는 방법.
제4항에 있어서, 상기 고정 영역은 상기 사용자의 시야각과 양의(positively) 상관 관계를 가지는 양(amount)만큼 계산적으로 확장되는 방법.
제4항 또는 제5항에 있어서, 상기 주변 영역은 상기 사용자의 시야각과 역의(inversely) 상관 관계를 가지는 양(amount)만큼 계산적으로 압축되는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 이미지를 수정하는 단계는 상기 사용자의 지시 제스처에 응답하여 상기 고정 영역을 계산적으로 분리시키는 단계를 포함하는 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 사용자 입력의 캡처는 3차원 장면 내에서 고정 포인트의 재배치에 대응하는 상기 사용자의 눈의 움직임을 모니터링하는 단계를 포함하고, 상기 이미지를 수정하는 단계는 재배치된 고정 포인트를 포함하는 상기 고정 영역을 계산적으로 분리시키는 단계를 포함하는 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 사용자 입력의 캡처는 3차원 장면 내에서 고정 포인트의 재배치에 대응하는 상기 디스플레이 장치의 터치스크린 상에서 터치 제스처를 모니터링하는 것을 포함하고, 상기 이미지를 수정하는 단계는 재배치된 고정 포인트를 포함하는 상기 고정 영역을 분리시키는 것을 포함하는 방법.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 이미지 데이터는 3차원 장면에서 객체들과 상기 뷰잉 포인트 사이의 거리와 관련된 데이터를 포함하는 방법.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 고정 영역을 계산적으로 분리시키는 단계는 상기 시각적 고정 포인트와 관련된 적어도 하나의 이미지 객체의 경계를 결정하기 위해 상기 이미지 데이터의 서브 세트를 계산적으로 처리하는 단계, 적어도 하나의 이미지 객체를 분리하고 각각의 이미지 객체를 별도의 깊이 층에 렌더링하는 단계를 포함하는 방법.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 이미지의 수정의 각 단계에 후속하여 상기 디스플레이 장치의 디스플레이를 업데이트하는 단계를 더 포함하는 방법.
제1항 내지 제12항 중 어느 한 항에 있어서, 상기 이미지 데이터는 직선수차교정(rectilinear) 카메라 렌즈, 어안 카메라 렌즈, 360° 렌즈, 다중 렌즈 및 기계적으로 조정 가능한 렌즈를 포함하는 그룹으로부터 선택된 렌즈를 포함하는 광학 장치에 의해 생성되는 방법.
제1항 내지 제13항 중 어느 한 항에 있어서, 상기 이미지의 높이, 폭 및 깊이 축들 중 적어도 하나에서 상기 고정 포인트로부터 반경 방향으로 점진적으로 증가하는 이미지 블러(image blur) 효과를 적용하기 위해 이미지 데이터를 계산적으로 처리하는 단계를 더 포함하는 방법.
제1항 내지 제14항 중 어느 한 항에 있어서, 상기 3차원 장면에서 인간 관찰자의 얼굴에 근접하여 보여지는 객체로 상기 이미지를 오버레이(overlay)하기 위해 상기 이미지 데이터를 계산적으로 처리하는 단계를 더 포함하는 방법.
제1항 내지 제15항 중 어느 한 항에 있어서, 상기 사용자 입력을 캡처하는 단계는 상기 이미지와 상기 사용자의 머리 사이의 거리를 계산하는 단계를 포함하는 방법.
제16항에 있어서, 상기 고정 영역은 상기 이미지와 상기 사용자의 머리 사이의 거리와 역의(inversely) 상관 관계를 가지는 양만큼 계산적으로 확장되는 방법.
제16항 또는 제17항에 있어서, 상기 주변 영역은 상기 이미지와 상기 사용자의 머리 사이의 거리와 양의(positively) 상관 관계를 가지는 양만큼 계산적으로 압축되는 방법.
제1항 내지 제18항 중 어느 한 항에 따른 상기 방법의 단계들을 구현하도록 구성된 컴퓨터 시스템으로서,
사용자 입력을 캡처하도록 구성된 사용자 입력 캡처 수단; 캡처된 사용자 입력에 기초하여 처리된 이미지 데이터를 생성하도록 구성된 제어 유닛; 처리된 이미지 데이터를 디스플레이하도록 구성된 디스플레이 장치를 포함하는 시스템.
제19항에 있어서, 3차원 장면을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 수단을 더 포함하는 시스템.
제19항 또는 제20항에 있어서, 상기 3차원 장면으로부터 깊이 정보를 캡처하도록 구성된 깊이 센서를 더 포함하고, 상기 제어 유닛은 캡처된 깊이 정보와 함께 캡처된 이미지 데이터를 처리하도록 구성된 시스템.
제19항 내지 제21항 중 어느 한 항에 있어서, 상기 사용자 입력 캡처 수단은 상기 디스플레이 장치에 적용된 모션을 캡처하도록 구성된 디스플레이 장치 모션 센서를 포함하는 시스템.
제19항 내지 제22항 중 어느 한 항에 있어서, 상기 사용자 입력 캡처 수단은 상기 디스플레이 장치에 대한 사용자의 모션을 캡처하도록 구성된 사용자 모션 센서를 포함하는 시스템.
제19항 내지 제23항 중 어느 한 항에 있어서, 상기 사용자 입력 캡처 수단은 상기 디스플레이 장치와 통합되도록 구성된 터치스크린을 포함하는 시스템.
제19항 내지 제24항 중 어느 한 항에 있어서, 수정된 이미지 데이터를 생성하기 위해 캡처된 이미지 데이터를 처리하도록 구성된 그래픽 프로세서를 더 포함하는 시스템.