KR20190085087A

KR20190085087A - 화상 처리 장치, 화상 처리 방법 및 저장 매체

Info

Publication number: KR20190085087A
Application number: KR1020197017753A
Authority: KR
Inventors: 에이토 사카키마
Original assignee: 캐논 가부시끼가이샤
Priority date: 2016-11-30
Filing date: 2017-10-26
Publication date: 2019-07-17
Also published as: CN110073414B; EP3550522A1; JP2018092580A; KR102246010B1; EP3550522A4; JP6948171B2; CN110073414A

Abstract

가상 시점 화상을 생성하는 화상 처리 장치는, 가상 시점 화상을 생성하기 위해 사용되는 화상을 촬상하는 카메라 그룹의 설치에 관련된 정보 및 가상 시점에 관련된 가상 시점 정보를 획득하고; 카메라 그룹의 설치에 관련된 정보 및 가상 시점 정보에 기초하여 가상 시점 화상을 생성하기 위해 사용될 화상 처리 방법을 결정하며; 결정된 화상 처리 방법을 사용하여 가상 시점에 대응하는 가상 시점 화상을 생성한다.

Description

화상 처리 장치 및 방법

본 발명은 복수의 카메라로부터의 촬상 화상을 사용하여 가상 시점 화상을 생성하는 화상 처리 장치 및 방법에 관한 것이다.

최근에, 상이한 위치에 복수의 카메라를 설치하고 화상 촬상으로부터 얻어진 복수의 시점 화상을 사용하여 가상 시점 콘텐츠를 생성함으로써 복수의 시점에서 동기화된 화상 촬상을 행하는 기술이 주목받고 있다. 복수의 시점 화상으로부터 가상 시점 콘텐츠를 생성하는 그러한 기술은, 예를 들어, 축구 게임 또는 농구 게임의 하이라이트를 촬상하는 장면이 다양한 각도로부터 관찰될 수 있게 한다. 따라서, 사용자는 통상의 화상과 비교하여 현실적인 느낌을 즐길 수 있다. 복수의 시점 화상에 기초한 가상 시점 콘텐츠는 서버와 같은 화상 처리 유닛이 복수의 카메라에 의해 촬상된 화상을 수집하게 하고 3차원 형상 모델 생성, 렌더링 등과 같은 처리를 수행하게 함으로써 생성된다. 생성된 가상 시점 콘텐츠는 사용자 단말기에 전송되고 사용자에 의해 관찰된다.

복수의 방법이 화상 처리 유닛 내의 가상 시점 콘텐츠 생성 방법으로서 사용될 수 있다. 예를 들어, 3차원 모델을 생성할 때 렌더링이 수행되는 모델 기반 렌더링, 카메라에 의해 촬상된 화상이 3차원 모델을 생성하지 않고 3차원 공간에 배치되는 화상 기반 렌더링 등이 존재한다. 각각의 화상 생성 방법은 자체 화상 품질 및 처리 부하 특성을 갖는다. 특허문헌 1은, 3차원 형상 데이터에 기초하여 동화상을 표시하기 위해서, 복수의 렌더링 방법으로부터, 리소스량, 3차원 형상 데이터 양 및 프레임 레이트에 기초하여 하나의 프레임 내에서 처리를 행할 수 있는 렌더링 방법을 선택함으로써 렌더링이 행해지는 것을 개시하고 있다.

일본 특허 공개 제2004-086508호

동일한 화상 생성 방법을 사용하여 생성되는 가상 시점 화상의 화상 품질은 복수의 카메라의 배치 위치 및 가상 시점의 위치에 따라 변화된다. 즉, 최고 화상 품질을 갖는 가상 시점 화상을 생성할 수 있는 화상 생성 방법은 카메라 배치 및 가상 시점 위치에 따라 변화할 것이다. 특허문헌 1에서 하나의 프레임 내에서 처리를 행할 수 있는 렌더링 방법을 선택할 수 있지만, 선택된 결과가 화상 품질 방법인 것을 보장하지 않는다. 따라서, 높은 화상 품질을 갖는 가상 시점 화상을 안정적으로 생성하는 것은 불가능했다.

본 발명의 일 실시예에 따르면, 가상 시점의 위치가 변화될 때에도 높은 화상 품질을 갖는 가상 시점 화상을 생성할 수 있는 화상 생성 장치 및 방법이 제공된다.

본 발명의 일 양태에 따른 화상 처리 장치는 이하의 배치를 포함한다. 즉, 복수의 카메라에 의해 상이한 방향으로부터 획득된 복수의 촬상 화상에 기초하여 가상 시점 화상을 출력하는 화상 처리 장치로서,

지정된 가상 시점의 위치 및 방향을 나타내는 시점 정보를 획득하기 위한 시점 정보 획득 수단;

상기 복수의 촬상 화상에 기초하여 상기 가상 시점에 대응하는 가상 시점 화상을 생성하기 위해 사용될 화상 처리 방법을, 상기 시점 정보 획득 수단에 의해 획득된 상기 시점 정보에 기초하여 복수의 화상 처리 방법으로부터 결정하는 결정 수단; 및

상기 결정 수단에 의해 결정된 상기 화상 처리 방법을 사용하여 생성된 상기 가상 시점 화상을 출력하기 위한 출력 수단을 포함하는 화상 처리 장치가 제공된다.

본 발명에 따르면, 가상 시점에 기초하여 가상 시점 화상을 생성하는데 적합한 화상 생성 방법이 결정될 수 있다. 결과적으로, 가상 시점의 위치가 변화될 때에도 높은 화상 품질을 갖는 가상 시점 화상을 생성할 수 있다.

본 발명의 다른 특징 및 장점은 첨부 도면을 참조하여 이하에 제공된 설명으로부터 명백해질 것이다. 동일한 도면 부호는 첨부 도면에서 동일하거나 유사한 구성요소를 나타낸다는 것에 유의한다.

본 명세서에 포함되며 본 명세서의 일부를 구성하는 첨부 도면은 본 발명의 실시예를 예시하며, 설명과 함께 본 발명의 원리를 설명하는 역할을 한다.
도 1은 실시예에 따른 화상 처리 시스템을 설명하기 위한 블록도이다.
도 2는 제1 실시예에 따른 기능 블록을 설명하기 위한 블록도이다.
도 3은 제1 실시예에 따른 가상 시점 화상 생성 처리를 설명하는 흐름도이다.
도 4는 제1 실시예에 따른 화상 생성 방법의 결정을 설명하기 위한 도면이다.
도 5는 화상 생성 방법을 결정하기 위한 조건이 설명되는 테이블의 예를 도시하는 도면이다.
도 6은 제2 실시예에 따른 화상 생성 방법의 결정을 설명하는 도면이다.
도 7은 화상 생성 방법을 결정하기 위한 조건이 설명되는 테이블의 예를 도시하는 도면이다.
도 8은 제3 실시예에 따른 기능 블록을 설명하기 위한 블록도이다.
도 9는 제3 실시예에 따른 가상 시점 화상 생성 처리를 설명하기 위한 흐름도이다.
도 10은 제4 실시예에 따른 기능 블록을 설명하기 위한 블록도이다.
도 11은 제4 실시예에 따른 가상 시점 화상 생성 처리를 설명하기 위한 흐름도이다.
도 12는 제5 실시예에 따른 기능 블록을 설명하기 위한 블록도이다.
도 13은 제5 실시예에 따른 가상 시점 화상 생성 처리를 설명하는 흐름도이다.
도 14는 제6 실시예에 따른 기능 블록을 설명하기 위한 블록도이다.
도 15는 제6 실시예에 따른 가상 시점 화상 생성 처리를 설명하기 위한 흐름도이다.
도 16은 화상 컴퓨팅 서버의 하드웨어 배치의 예를 도시하는 블록도이다.
도 17은 가상 시점 화상이 생성될 때의 3차원 모델 처리를 도시한 흐름도이다.
도 18은 3차원 모델의 도트 간격을 설명하기 위한 도면이다.
도 19는 사용자가 가상 시점 화상 생성 방법을 선택하게 하는 처리를 나타내는 흐름도이다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해 구체적으로 설명한다.

<제1 실시예>

제1 실시예가 이하에서 설명될 것이다. 제1 실시예에서, 적절한 화상 생성 방법이 복수의 카메라(카메라의 그룹)의 설치 조건 및 생성될 가상 시점 화상의 가상 시점 정보에 기초하여 복수의 화상 생성 방법으로부터 선택되고, 가상 시점 화상이 선택된 화상 생성 방법에 의해 생성된다. 카메라 그룹의 설치 조건은 각각의 카메라의 설치 위치, 배향, 및 화각과 같은 정보를 포함한다. 가상 시점 정보는 위치, 배향, 화각 및 가상 시점의 방향과 같은 정보를 포함한다.

본 실시예에서, 용어 "화상"은 달리 구체적으로 언급되지 않는 한 동화상 및 정지 화상의 양자 모두의 개념을 포함한다는 것에 유의한다. 즉, 본 실시예에 따른 화상 처리 시스템(100)은 정지 화상 및 동화상을 처리할 수 있다. 또한, 본 실시예는 화상 처리 시스템(100)에 의해 제공되는 가상 시점 콘텐츠가 가상 시점 화상 및 가상 시점 소리를 포함하는 예를 주로 설명할 것이다. 그러나, 본 발명은 이것으로 한정되지 않는다. 예를 들어, 소리는 가상 시점 콘텐츠에 포함될 필요는 없다. 부가적으로, 예를 들어, 가상 시점 콘텐츠에 포함되는 소리는 가상 시점에 가장 가까운 마이크로폰에 의해 수집된 소리일 수 있다. 본 실시예에서, 소리에 관한 설명은 설명의 간략화를 위해 부분적으로 생략될 것이지만, 기본적으로 화상과 소리가 함께 처리되는 것으로 가정한다.

<화상 처리 시스템의 개요>

제1 실시예에 따른 화상 처리 시스템을 도 1에 도시된 시스템 배치도를 참고하여 설명할 것이다. 화상 처리 시스템(100)은 아레나(경기장) 또는 콘서트 홀과 같은 시설에 복수의 카메라 및 마이크로폰을 설치함으로써 화상 촬상 및 소리 수집을 행함으로써 임의의 가상 시점으로부터 가상 시점 콘텐츠를 생성한다. 화상 처리 시스템(100)은 센서 시스템(110a 내지 110z), 화상 컴퓨팅 서버(122), 제어기(123), 스위칭 허브(121) 및 최종 사용자 단말기(126)를 포함한다.

센서 시스템(110a)은 마이크로폰(111a), 카메라(112a), 팬 헤드(113a), 외부 센서(114a), 및 카메라 어댑터(120a)를 포함한다. 센서 시스템(110a)은 이러한 배치로 한정되지 않고 적어도 하나의 카메라 어댑터(120a), 적어도 하나의 카메라(112a) 또는 하나의 마이크로폰(111a)을 포함하면 충분하다는 것에 유의한다. 예를 들어, 센서 시스템(110a)은 하나의 카메라 어댑터(120a) 및 복수의 카메라(112a)에 의해 형성될 수 있거나 하나의 카메라(112a) 및 복수의 카메라 어댑터(120a)에 의해 형성될 수 있다. 화상 처리 시스템(100) 내의 복수의 카메라 및 복수의 카메라 어댑터는 N-대-M(N 및 M은 1 이상의 정수임) 대응에 있다. 또한, 센서 시스템(110a)은 마이크로폰(111a), 카메라(112a), 팬 헤드(113a), 및 카메라 어댑터(120a) 이외의 장치를 포함할 수 있다. 본 실시예에서, 센서 시스템(110a 내지 110z)은 카메라(112a 내지 112z)의 하나의 대응하는 카메라를 각각 포함한다. 즉, 화상 처리 시스템(100)은 복수의 방향으로부터 대상물을 촬상하기 위한 복수의 카메라를 포함한다.

또한, 본 실시예는 카메라(112a)와 카메라 어댑터(120a)가 분리되어 있는 배치를 갖지만, 이들은 단일 하우징을 사용하여 통합될 수 있다. 이 경우, 마이크로폰(111a)은 통합된 카메라(112a)에 통합될 수 있거나, 카메라(112a)의 외부에 연결될 수 있다. 센서 시스템(110b 내지 110z)은 각각 센서 시스템(110a)과 동일한 배치를 갖는다. 센서 시스템(110a 내지 110z)은 동일한 배치를 가질 필요는 없다는 것에 유의한다.

본 실시예에서, 구체적으로 달리 언급되지 않는 한, 센서 시스템(110a)으로부터 센서 시스템(110z)까지의 26개의 시스템 세트는 구별 없이 센서 시스템(110)으로서 나타낸다. 유사한 방식으로, 구체적으로 달리 언급되지 않는 한, 각각의 센서 시스템(110) 내의 장치는 마이크로폰(111), 카메라(112), 팬 헤드(113), 외부 센서(114), 및 카메라 어댑터(120)로서 구별 없이 표현될 것이다. 센서 시스템의 수는 26개로 설명된다는 것에 유의한다. 그러나, 센서 시스템의 수는 단지 일례이며 이것으로 한정되지 않는다.

화상 처리 시스템(100)에서, 센서 시스템(110a 내지 110z)은 스위칭 허브(121)를 통해서 화상 컴퓨팅 서버(122)에 연결된다. 또한, 센서 시스템(110a 내지 110z)은 스위칭 허브(121)를 통해 센서 시스템(110) 사이의 데이터 송신/수신이 수행되는 스타 네트워크를 형성하기 위해 스위칭 허브(121)에 연결된다. 마이크로폰(111a)에 의해 수집된 소리 및 카메라(112a)에 의해 촬상된 화상은 카메라 어댑터(120a)를 통해 스위칭 허브(121)에 전송된다.

제어기(123)는 제어 스테이션(124) 및 가상 카메라 조작 UI(125)를 포함한다. 제어 스테이션(124)은, 네트워크(180a 내지 180z 및 190a 내지 190c)를 통해, 화상 처리 시스템(100)을 형성하는 블록의 작동 상태 및 파라미터 설정을 관리한다. 각각의 네트워크는 IEEE 표준에 따르는 GbE(Gigabit Ethernet) 또는 10 GbE일 수 있거나, 상호연결 인피니밴드(interconnect Infiniband), 산업 이더넷® 등을 조합함으로써 형성될 수 있다. 네트워크는 이들에 한정되는 것은 아니고 다른 유형의 네트워크일 수 있다.

제어 스테이션(124)은 가상 시점 화상 생성 타겟인 경기장 등의 3차원 모델을 화상 컴퓨팅 서버(122)에 전송한다. 또한, 제어 스테이션(124)은 각각의 카메라의 설치시에 캘리브레이션을 수행한다. 더 구체적으로는, 마커가 화상 촬상 타겟 필드에 설정되고, 세계 좌표계에서의 각각의 카메라(112)의 화각, 초점 길이 및 위치 및 배향은 카메라(112)에 의해 획득된 촬상 화상으로부터 계산된다. 각각의 카메라를 위해서 계산된 위치, 배향, 화각, 및 초점 길이의 정보가, 카메라의 설치와 관련된 카메라 정보로서, 화상 컴퓨팅 서버(122)에 전송된다. 상술된 바와 같이 전송된 각각의 카메라의 3차원 모델 및 정보는 화상 컴퓨팅 서버(122)가 가상 시점 화상을 생성할 때 사용된다.

가상 카메라 조작 UI(125)는 생성되는 화상의 가상 시점에 관련된 가상 시점 정보를 화상 컴퓨팅 서버(122)에 전송한다. 가상 시점 정보는 예를 들어 가상 시점의 위치, 배향, 화각, 및 초점 길이를 포함한다. 센서 시스템(110)으로부터 획득된 데이터에 기초하여, 화상 생성 장치로서의 화상 컴퓨팅 서버(122)는 가상 카메라 조작 UI(125)에 의해 지정된 가상 시점으로부터 획득된 가상 시점 화상을 생성한다. 생성된 가상 시점 화상은 화상 컴퓨팅 서버(122)로부터 최종 사용자 단말기(126)에 전송된다.

시간 서버(127)는 스위칭 허브(121)를 통해 센서 시스템(110a 내지 110z)에 시간 및 동기화 신호를 분배한다. 시간 및 동기화 신호를 수신한 카메라 어댑터(120a 내지 120z)는 시간 및 동기화 신호에 기초하여 각각 카메라(112a 내지 112z)를 젠로킹(genlocking)함으로써 화상 프레임 동기화를 수행한다. 즉, 시간 서버(127)는 복수의 카메라(112)의 화상 촬상 타이밍을 동기화한다. 이는 화상 처리 시스템(100)이 동일한 타이밍에 촬상된 복수의 화상에 기초하여 가상 시점 화상을 생성할 수 있게 하기 때문에, 화상 촬상 타이밍의 시프트로 인한 가상 시점 화상의 품질 열화를 억제할 수 있게 된다. 시간 서버(127)는 본 실시예에서 복수의 카메라(112)의 시간 동기화를 관리하지만, 본 발명은 이것으로 한정되지 않는다는 것에 유의한다. 예를 들어, 카메라(112) 또는 카메라 어댑터(120)는 시간 동기화를 위한 처리를 독립적으로 수행할 수 있다.

화상 컴퓨팅 서버(122)에 의해 생성된 가상 시점 화상은 최종 사용자 단말기(126)에 전송된다. 최종 사용자 단말기(126)를 조작하는 사용자는 가상 카메라 조작 UI(125)로부터 지정된 가상 시점에 대응하는 화상 및 소리를 관찰하고 들을 수 있다. 본 실시예는 소리 데이터(오디오 데이터)가 가상 시점 콘텐츠에 포함되는 경우의 예를 주로 설명할 것이지만, 소리 데이터는 항상 포함될 필요는 없다는 것에 유의한다. 화상 컴퓨팅 서버(122)는 가상 시점 화상을 H.264 또는 HEVC로 나타내는 표준 기술에 의해 압축-코딩할 수 있고, 그 다음 가상 시점 화상을 MPEG-DASH 프로토콜을 사용하여 최종 사용자 단말기(126)에 전송할 수 있다. 가상 시점 화상은 또한 압축되지 않은 상태에서 최종 사용자 단말기(126)에 전송될 수 있다. 특히, 최종 사용자 단말기(126)는 압축 코딩이 수행되는 전자의 경우에 스마트폰 또는 태블릿인 것으로 가정된다. 최종 사용자 단말기는 후자의 경우에 비압축 화상을 표시할 수 있는 디스플레이인 것으로 가정된다. 즉, 화상 컴퓨팅 서버(122)는 최종 사용자 단말기(126)의 유형에 따라 출력되도록 가상 시점 화상의 화상 포맷을 전환할 수 있다. 또한, 화상 전송 프로토콜은 MPEG-DASH로 제한되지 않으며, 예를 들어 HLS(HTTP Live Streaming) 또는 다른 전송 방법이 사용될 수 있다.

이하, 본 실시예에 관한 구성요소를 도 2를 참조하여 상세하게 설명한다. 도 2는 도 1에 설명된 화상 컴퓨팅 서버(122)의 기능 블록을 도시하는 블록도이다.

화상 입력 유닛(201)은 스위칭 허브(121)를 통해 센서 시스템(110)으로부터 전송된 각각의 화상 및 소리를 수신한다. 화상 입력 유닛(201)에 의해 수신된 데이터는 데이터 축적 제어 유닛(203)에 의해 저장소(204)에 축적된다. 설치 정보 입력 유닛(202)은, 제어 스테이션(124)으로부터, 가상 시점 화상을 생성하기 위해 사용될 화상을 촬상하기 위한 복수의 카메라의 그룹의 설치에 관련된 정보 및 경기장의 3차원 형상 데이터를 획득한다. 설치 정보 입력 유닛(202)에 의해 수신된 정보는 데이터 축적 제어 유닛(203)을 통해 저장소(204)에 저장된다.

데이터 축적 제어 유닛(203)은 저장소(204)에의 데이터 기입 및 저장소(204)로부터 데이터 판독을 제어한다. 데이터베이스 기능을 제공하는 데이터베이스 관리 시스템(이하 DBMS라 칭함)이 데이터 축적 제어 유닛(203)의 특정 예로서 제안될 수 있다. 저장소(204)는 데이터를 축적하기 위한 데이터 저장 매체이다. 하드 디스크 드라이브(HDD) 및 솔리드 스테이트 드라이브(SSD)가 저장소(204)의 예로서 제안될 수 있다.

화상 생성 유닛(205)은 화상 입력 유닛(201)을 통해 입력된 카메라 데이터에 기초하여 가상 시점 화상을 생성한다. 화상 생성 유닛(205)에 의해 생성된 가상 시점 화상은 화상 출력 유닛(206)에 전송되고 화상 출력 유닛(206)을 통해 최종 사용자 단말기(126)에 출력된다. 화상 생성 유닛(205)에 의해 생성된 가상 시점 화상은 화상 출력 유닛(206)에 의해 도 1의 최종 사용자 단말기(126)에 화상으로서 출력된다. 화상 출력 유닛(206)은 최종 사용자 단말기(126)에 대응하는 화상 포맷 변환 처리를 수행한다.

카메라 정보 획득 유닛(207)은 저장소(204)에 저장된 카메라 그룹의 설치에 관련된 정보를 판독하고 이 정보를 생성 방법 결정 유닛(208)에 송신한다. 시점 정보 획득 유닛(209)은 가상 카메라 조작 UI(125)로부터 가상 시점 정보를 획득하고, 획득된 가상 시점 정보를 생성 방법 결정 유닛(208) 및 화상 생성 유닛(205)에 전송한다. 생성 방법 결정 유닛(208)은 카메라 정보 획득 유닛(207)으로부터 전송된 카메라의 그룹의 설치에 관련된 정보 및 시점 정보 획득 유닛(209)으로부터 전송된 가상 시점 정보에 기초하여 가상 시점 화상 생성에 사용될 화상 생성 방법을 결정한다.

도 16은 화상 컴퓨팅 서버(122)의 하드웨어 배치의 예를 도시하는 블록도이다. 도 16에서, CPU(1601)는 ROM(1602)에 저장된 프로그램 또는 RAM(1603)에 전개된 프로그램을 실행함으로써 다양한 종류의 제어를 실행한다. ROM(1602)은 비휘발성 판독 전용 메모리이고, RAM(1603)은 휘발성 판독가능 및 기입가능 메모리이다. 요구되는 프로그램은 2차 저장 매체(1605)로부터 판독되고, RAM(1603)에 전개되며, CPU(1601)에 의해 실행될 수 있다. 네트워크 I/F(1604)는 화상 컴퓨팅 서버(122)와 네트워크를 연결하는 인터페이스이다. 더 구체적으로, 네트워크 I/F는 네트워크를 통해서 화상 컴퓨팅 서버(122)를 스위칭 허브(121), 제어기(123), 및 최종 사용자 단말기(126)에 연결한다. 2차 저장 매체(1605)는 저장소(204)를 제공한다. 버스(1606)는 상술된 구성요소를 서로 통신가능하게 연결한다. 화상 컴퓨팅 서버(122)는 CPU(1601)가 ROM(1602) 또는 RAM(1603)에 저장된 프로그램을 실행할 때 도 2에서 설명된 각각의 기능 블록을 실시할 수 있다.

이어서 도 3의 흐름도를 참조하여 제1 실시예에 따른 가상 시점 화상 생성 처리를 설명한다. 제1 실시예에서, 가상 시점 화상은 가상 시점의 정보(더 구체적으로는, 위치 및 배향)에 따른 화상 생성 방법을 전환함으로써 생성될 것이다.

먼저, 단계 S301에서, 카메라 정보 획득 유닛(207)은 생성 방법 결정 유닛(208)의 카메라의 설치에 관련된 정보를 설정한다. 단계 S301의 처리는 가상 시점 화상이 생성될 때 미리 수행되는 처리이며, 기본적으로 경기장 등에 카메라가 설치된 후에 이 처리를 한번 수행하면 충분하다. 이어서, 단계 S302에서, 시점 정보 획득 유닛(209)은 생성될 화상의 가상 시점 정보를 획득한다. 가상 시점 정보는 본 실시예에서 가상 시점의 위치 및 배향을 나타내는 정보이다.

단계 S303에서, 생성 방법 결정 유닛(208)은 단계 S301에서 획득된 카메라의 그룹의 설치에 관련된 정보 및 단계 S302에서 획득된 가상 시점 정보에 기초하여 가상 시점 화상 생성에 사용될 화상 생성 방법을 결정한다. 여기서 화상 생성 방법을 결정하기 위한 방법을 도 4 및 도 5를 참조하여 설명할 것이다.

도 4는 생성 방법 결정 유닛(208)에 의해 수행되는 처리를 설명하기 위한 개략도이다. 도 4는 복수의 카메라가 경기장에 설치된 상태를 도시하는 도면이다. 실제로는 경기장 및 카메라의 위치가 3차원 공간에 도시되어 있지만, 설명의 편의를 위해 도 4에 도시된 바와 같이 3차원 공간을 2차원 평면으로 단순화함으로써 설명이 주어질 것이다.

도 4의 참조 부호 401a 내지 401f, 411a 내지 411h, 및 421a 내지 421f는 경기장에 설치된 카메라를 나타낸다. 이들 카메라는 센서 시스템(110)에 대응한다. 복수의 카메라가 경기장 등에 설치되는 경우, 카메라는 그룹으로 분할되며, 각각의 그룹은 동일한 위치의 화상을 촬상하도록 배치될 것이다. 도 4에서, 카메라(401a 내지 401f)는 하나의 그룹(카메라의 그룹)을 형성하고, 이 그룹에 속하는 각각의 카메라의 배향은 공통 주시점(403)에 대면하도록 조정된 것으로 도시된다. 동일한 방식으로, 카메라(411a 내지 411h)는 하나의 그룹을 형성하고 이들 각각의 배향은 이들 카메라가 주시점(413)에 대면하도록 조정되었다. 또한, 카메라(421a 내지 421f)는 하나의 그룹을 형성하고, 이들 각각의 배향은 이들 카메라가 주시점(423)에 대면하도록 조정되었다.

참조 번호 402는 가상 카메라를 나타내며 가상 시점을 나타낸다. 가상 시점 화상은 가상 카메라(402)에 의해 지시된 가상 시점에 기초하여 생성된다. 주시점(403)은 가상 카메라(402)의 주시점(433)에 가장 가까운 주시점이기 때문에, 주시점(403)에 관련된 카메라(카메라(401a 내지 401f))의 그룹으로부터 획득된 촬상 화상은 가상 시점 화상을 생성하기 위해 사용될 것이다. 도 4의 참조 번호 404는 가상 카메라(402) 및 하나의 카메라(401)의 배향(시선 방향으로 지칭됨) 사이의 차이인 각도(θ)를 나타낸다. 이하에서는, 이 각도(θ)를 결정 조건으로서 사용하여 화상 생성 방법을 결정하기 위한 처리가 설명될 것이다.

상술된 바와 같이, 모델 기반 렌더링 또는 화상 기반 렌더링이 화상 생성 방법으로서 채용될 수 있다. 모델 기반 렌더링에서, 카메라 화상으로부터 3차원 모델이 형성되고, 생성된 모델이 화상이 되어 표시된다. 한편, 화상 기반 렌더링에서, 가상 시점의 위치 및 배향을 근사함으로써 화상을 생성하기 위해 카메라에 의해 촬상된 화상에 대해 투영 변환이 수행된다. 도 4에 도시된 경우, 카메라(401a)는, 주시점(403)에 관련된 카메라(카메라(401a 내지 401f))의 그룹 중에서 가상 카메라(402)에 가장 가까운 카메라이다. 생성 방법 결정 유닛(208)은 카메라(401a)의 시선 방향과 가상 카메라(402)의 시선 방향 사이의 각도(θ)의 크기에 기초하여 가상 시점 화상 생성을 위해 사용될 화상 생성 방법을 결정한다. 이 경우에 각 시선 방향이 3차원적으로 표현되기 때문에, 각도(θ)는 시선 방향이 미리결정된 2차원 표면(예를 들어, 경기장의 필드의 표면)에 투영될 때 2개의 방향 사이에 형성되는 각도인 것으로 가정한다. 본 실시예에서 각도(θ)가 미리결정된 값 이상인 경우 투영 변환의 에러가 증가할 것으로 생각되기 때문에, 생성 방법 결정 유닛(208)은 모델 기반 렌더링을 사용하는 것을 결정할 것이다. 각도(θ)가 미리결정된 값보다 작을 때 투영 변환의 에러는 더 작아질 것이기 때문에, 조건은 화상 기반 렌더링을 수행하기에 적합하다. 따라서, 각도(θ)가 미리결정된 값보다 작은 경우에, 생성 방법 결정 유닛(208)은 화상 기반 렌더링을 사용하는 것을 결정할 것이다.

도 5의 표 5A는 조건 파라미터로서 도 4의 상술한 각도(θ)를 사용하여 화상 생성 방법을 결정하기 위한 표를 도시한다. 표 5A는, 예로서, 각도(θ)가 10° 이하일 때 화상 기반 렌더링을 선택하고 각도(θ)가 다른 각도일 때 모델 기반 렌더링을 선택하는 표를 도시한다. 단계 S303에서, 생성 방법 결정 유닛(208)은 각각의 가상 시점에 대한 각도(θ)를 산출하고, 각도(θ)와 임계치를 비교함으로써 가상 시점 화상 생성에 사용될 화상 생성 방법을 결정한다.

단계 S304에서, 화상 생성 유닛(205)은 단계 S303에서 결정된 화상 생성 방법을 사용하여 카메라의 그룹으로부터 획득된 촬상 화상에 기초하여 가상 시점 화상을 생성한다. 단계 S305에서, 가상 시점 화상 생성이 완료되었는지 여부가 판정된다. 가상 시점 화상 생성이 완료되지 않은 경우, 가상 시점 화상 생성을 계속하기 위해 단계 S302로부터의 처리가 반복된다. 가상 시점 화상 생성의 완료는 예를 들어 가상 카메라 조작 UI(125)로부터 지시된다.

상술한 바와 같이, 제1 실시예에 따르면, 카메라의 설치에 관련된 정보 및 가상 시점 정보에 기초하여 더 높은 화상 품질을 갖는 가상 시점 화상을 생성할 수 있는 화상 생성 방법이 선택된다. 따라서, 높은 화상 품질을 갖는 가상 시점 화상의 안정적인 생성이 가능하다.

<제2 실시예>

제1 실시예에서, 가상 카메라 및 실제 카메라의 시선 방향의 각도에 기초하여 사용될 화상 생성 방법이 선택된다. 그러나, 화상 생성 방법의 선택 조건은 이것으로 한정되지 않는다. 제2 실시예는, 카메라의 그룹의 주시점의 인접 영역과 가상 시점 사이의 관계를 사용하여 화상 생성 방법이 결정되는 예를 설명할 것이다. 제2 실시예에 따른 시스템 배치, 기능 블록 및 처리 절차는 제1 실시예의 것들(도 1, 도 2 및 도 3)과 유사하다. 화상 컴퓨팅 서버(122)의 하드웨어 배치는 도 16에 도시된 바와 같다.

도 6은 경기장에 배치된 가상 시점과 카메라의 위치를 도시하는 개략도이다. 도 6의 도면 번호 601a 내지 601d는 경기장에 설치된 카메라를 나타낸다. 카메라(601a 내지 601d)는 센서 시스템(110)에 대응한다. 카메라(601a 내지 601d)는 하나의 그룹(카메라 그룹)을 형성하고 주시점(603)에 대면하도록 조정되었다. 도 6의 도면 번호 602a 및 602b는 가상 시점을 각각 나타내는 가상 카메라를 나타낸다. 서로 상이한 가상 시점을 갖는 2개의 가상 카메라(602a 및 602b)가 도 6에 도시되어 있다.

참조 번호 604a 내지 604d는 각각의 카메라(601a 내지 601d)의 화상 촬상 범위인 관찰 볼륨(view volume)을 나타낸다. 도 6의 참조 번호 605는 카메라(601a 내지 601d)의 모든 관찰 볼륨(604a 내지 604d)이 중첩하는 영역을 나타낸다. 이러한 종류의 영역을 본 실시예에서는 주시점 영역이라 지칭한다. 주시점 영역(605)은 그룹에 속하는 모든 카메라(601a 내지 601d)에 의해 촬상될 영역이다. 주시점 영역(605)에 존재하는 대상이 다수의 카메라에 의해 촬상되는 상태에 있을 것이므로, 다른 영역에서 보다 더 높은 정밀도로 이 대상의 3차원 모델을 생성하는 것이 가능해진다. 따라서, 생성 방법 결정 유닛(208)은 가상 시점 화상에 포함된 주시점 영역(605)의 비율, 즉 가상 시점의 시야 내에서의 주시점 영역(605)에 의해 점유된 비율에 기초하여 사용될 화상 생성 방법을 결정할 것이다.

주시점 영역(605)의 큰 영역이 도 6에 도시된 가상 카메라(602a)의 관찰 볼륨에 포함된다. 따라서, 가상 카메라(602a)의 가상 시점 화상이 생성될 때 모델 기반 렌더링을 선택하는 것이 적합하다. 한편, 가상 카메라(602b)의 경우에는 주시점 영역(605)이 관찰 볼륨에 포함되지 않기 때문에, 모델 기반 렌더링에 의한 화상 품질의 향상이 예상될 수 없기 때문에, 화상 기반 렌더링이 가상 시점 화상 생성에 적합하다. 따라서, 가상 시점 화상에 포함된 주시점 영역의 비율이 미리결정된 값보다 클 때 모델 기반 렌더링이 사용되고, 주시점 영역의 비율이 미리결정된 값 이하일 때 화상 기반 렌더링이 사용되도록 결정이 이루어질 것이다. 이러한 방식으로 생성될 가상 시점 화상에 포함된 주시점 영역의 비율에 기초하여 화상 생성 방법을 전환함으로써, 높은 화상 품질을 갖는 가상 시점 화상을 생성할 수 있는 화상 생성 방법을 선택할 수 있다.

도 7은 가상 카메라의 관찰 볼륨에 포함된 주시점 영역(605)의 비율을 조건 파라미터로서 사용함으로써 화상 생성 방법을 결정하기 위한 표를 도시한다. 도 7은, 예로서, 화상 내의 주시점 영역(605)의 커버리지 비율이 80% 이상인 경우에 화상 생성을 위해 모델 기반 렌더링을 선택하고 다른 경우에 화상 기반 렌더링을 선택하는 표를 도시한다. 제1 실시예에서 설명된 도 3의 단계 S303에서, 도 6에서 미리 획득되는 주시점 영역(605) 및 가상 시점의 위치 및 배향으로부터 주시점 영역(605)의 커버리지 비율이 획득되며, 획득된 커버리지 비율에 따라 화상 생성 방법이 결정될 것이다.

상술한 바와 같이, 제2 실시예에 따르면, 높은 화상 품질을 갖는 가상 시점 화상을 생성할 수 있는 화상 생성 방법은 제1 실시예와 유사한 방식으로 카메라의 설치에 관련된 정보 및 가상 시점 정보에 기초하여 선택될 수 있다. 따라서, 높은 화상 품질을 갖는 가상 시점 화상의 안정적인 생성이 가능하다.

<제3 실시예>

제3 실시예에서, 가상 카메라 조작 UI(125)를 통해 지정된 가상 시점의 이력 정보를 사용하여 화상 생성 방법이 결정될 것이다. 제3 실시예에 따른 화상 처리 시스템(100)의 배치는 제1 실시예의 것(도 1)과 유사하다. 도 8은 제3 실시예에 따른 화상 컴퓨팅 서버(122)의 기능 블록도를 도시한다. 도 8에 도시된 기능 블록에서, 동일한 참조 번호는 제1 실시예의 것(도 2)과 유사한 기능 블록을 나타낸다. 또한, 화상 컴퓨팅 서버(122)의 하드웨어 배치는 도 16에 설명된 것과 동일하거나 유사하다.

도 8에서, 저장소(204)에 촬상 화상을 축적하는 것 이외에, 데이터 축적 제어 유닛(203)은 시점 정보 획득 유닛(209)에 의해 획득된 가상 시점 정보를 시간과 연관시키고 연관된 정보를 이력 정보로서 축적할 것이다. 이력 정보 획득 유닛(801)은 저장소(204)로부터의 가상 시점 정보의 시간축 방향의 변화를 나타내는 이력 정보를 판독하고, 이력 정보를 생성 방법 결정 유닛(208)에 전송한다.

도 9의 흐름도를 참조하여 제3 실시예에 따른 가상 시점 화상 생성 처리를 설명한다. 도 9는 제3 실시예에 따른 가상 시점 화상 생성 처리를 설명하는 흐름도이다. 도 9의 단계 S901 및 S902의 처리는 제1 실시예에 따른 단계 S301 및 S302의 것과 유사한 처리라는 것에 유의한다.

단계 S903에서, 이력 정보 획득 유닛(801)은 가상 시점의 이력 정보를 획득한다. 단계 S904에서, 생성 방법 결정 유닛(208)은 가상 시점 화상을 생성하기 위한 화상 생성 방법을 결정한다. 화상 생성 방법은 단계 S901에서 획득된 카메라의 설치에 관련된 정보, 단계 S902에서 획득된 가상 시점 정보, 및 단계 S903에서 획득된 가상 시점의 이력 정보에 기초하여 결정된다. 단계 S904에서 수행되는 처리를 이하에서 설명할 것이다.

가상 시점의 이동은 3차원 공간 내의 임의의 위치를 통과할 수 이다. 이 경우, 후속 시점 위치는 해당 지점까지의 가상 시점의 이동(변화)을 나타내는 이력을 사용함으로써 소정의 정도로 추정될 수 있다. 예를 들어, 생성 방법 결정 유닛(208)은 현재의 가상 시점의 위치 및 배향과 과거의 가상 시점의 위치 및 배향 사이의 차이에 기초하여 후속 시간에서의 가상 시점의 위치 및 배향을 추정한다. 추정된 이동이 대상에 대해 원호를 그리는 이동인 경우, 모델을 생성할 때 화상 생성을 실행함으로써 더 높은 화상 품질로 화상을 표현할 수 있는 가능성이 있다. 따라서, 예를 들어, 생성 방법 결정 유닛(208)은, 제2 실시예에서와 같을 화상 생성 방법 결정 방법을 조합하여 실행함으로써 가상 시점 화상의 주시점 영역의 비율이 작다고 결정된 경우에도 이력 정보가 가상 시점이 원호 형상 이동을 갖는 것을 나타낼 때 모델 기반 렌더링을 선택할 것이다. 예를 들어, 가상 시점 화상에서의 주시점 영역의 비율이 50%(포함) 내지 80%(포함)의 범위 내에 있고 이력 정보가 가상 시점이 원호 형상 이동을 갖는 것을 나타내는 경우에, 모델 기반 렌더링이 선택될 것이다. 이러한 방식으로, 가상 시점의 추정된 이동에 기초하여 화상 생성 방법을 선택함으로써 장면을 위한 더 적합한 화상 생성 방법이 선택될 수 있다.

단계 S905에서, 화상 생성 유닛(205)은 카메라의 그룹으로부터 획득된 촬상 화상에 기초하여 가상 시점 화상을 생성하기 위해 단계 S904에서 결정된 화상 생성 방법을 사용한다. 단계 S906에서, 가상 시점 화상 생성이 완료되었는지 여부가 판정된다. 가상 시점 화상 생성이 완료되지 않은 경우, 처리는 단계 S902로부터 반복된다. 단계 S906의 처리는 단계 S305의 처리와 유사하다.

상술한 바와 같이, 제3 실시예에 따르면, 가상 시점 화상 생성에 적합한 화상 생성 방법이 카메라의 설치에 관련된 정보, 가상 시점 정보 및 가상 시점의 이력 정보에 기초하여 선택된다. 따라서, 장면에 대응하는 가상 시점 화상이 높은 화상 품질로 안정적으로 생성될 수 있다. 상술된 실시예는 제1 실시예 또는 제2 실시예에 따른 화상 생성 방법 결정 방법이 조합되어 사용된 예를 나타냈지만, 제1 실시예 또는 제2 실시예의 결정 방법은 조합되어 사용될 필요는 없다는 것에 유의한다. 예를 들어, 사용될 화상 생성 방법은 오직 이력 정보에 기초하여 결정될 수 있다.

<제4 실시예>

제4 실시예에서, 가상 카메라 조작 UI(125)를 통해 지정된 가상 시점에 대응하는 가상 시점 화상에 포함된 대상의 유형이 추정되고, 추정된 대상 유형에 기초하여 화상 생성 방법이 결정된다. 이 경우에, 대상의 유형은 사람 또는 구조물의 유형이거나 대상이 오목-볼록 패턴을 갖는 복잡한 대상인지의 여부이다. 제4 실시예에 따른 화상 처리 시스템(100)의 배치는 제1 실시예의 것(도 1)과 유사하다. 도 10은 제4 실시예에 따른 화상 컴퓨팅 서버(122)의 기능 블록도를 도시한다. 도 10의 기능 블록에서, 동일한 참조 번호는 제1 실시예의 것(도 2)과 유사한 기능 블록을 나타낸다. 화상 컴퓨팅 서버(122)의 하드웨어 배치는 도 16에 도시된 것과 유사하다.

대상 유형 추정 유닛(1001)은 시점 정보 획득 유닛(209)에 의해 획득된 가상 시점 정보에 기초하여 가상 시점 화상의 대상 및 대상의 유형을 추정한다. 가상 시점 화상의 생성을 위한 촬상 화상 입력은 가상 시점 화상에 존재하는 대상을 추정하기 위해 사용된다. 예를 들어, 가상 시점의 관심 위치에 가장 가까운 주시점에 대응하는 하나의 그룹(카메라의 그룹) 중에서, 가상 시점에 가장 가까운 카메라에 의해 촬상된 화상에 포함된 대상에 대해 결정이 수행될 것이다. 도 4에 도시된 예의 경우에, 카메라(401a)로부터 획득된 촬상 화상이 사용될 것이다.

도 11의 흐름도를 참조하여 제4 실시예에 따른 가상 시점 화상 생성 처리를 설명한다. 단계 S1101 및 단계 S1102의 처리는 제1 실시예의 단계 S301 및 S302의 것과 유사하다는 것에 유의한다.

단계 S1103에서, 대상 유형 추정 유닛(1001)은 가상 시점 화상 내에 포함된 대상 및 대상의 유형을 추정하는 처리를 수행한다. 대상의 추정은 예를 들어 미리 획득된 형상에 대해 패턴 매칭을 실행하는 기술 등에 의해 수행될 수 있다. 단계 S1104에서, 생성 방법 결정 유닛(208)은 가상 시점 화상을 생성하기 위한 화상 생성 방법을 결정한다. 화상 생성 방법은 단계 S1101에서 획득된 카메라의 설치에 관련된 정보, 단계 S1102에서 획득된 가상 시점 정보, 및 단계 S1103에서 획득된 가상 시점 화상에 포함된 대상의 유형에 기초하여 결정된다. 이하 단계 S1104에서 수행되는 화상 생성 방법 결정 처리에 대해서 설명한다.

다양한 종류의 대상이 가상 시점 화상에 포함될 수 있다. 예를 들어, 사람 등의 복잡한 형상을 갖는 대상이 경기장의 대상으로서 설정될 수 있으며, 피아노 등의 인공 대상이 콘서트의 대상으로서 설정될 수 있다. 가상 시점 화상을 생성하기에 적합한 화상 생성 방법은 대상에 따라 달라진다. 예를 들어, 사람의 경우에, 모델 기반 렌더링이 오목 볼록 형상을 표현하기에 적합하고, 복수의 표면에 의해 형성된 간단한 형상의 경우에, 화상 기반 렌더링이 더 적합한 화상을 생성하기 위해 선택될 수 있다. 단계 S1104에서는, 대상의 유형이 화상 생성 방법을 전환하기 위한 처리를 수행하기 위해 사용된다. 예를 들어, 도 5의 표 5B에 도시된 결정 조건과 대상의 유형 사이의 관계를 사용하는 것이 가능하다. 표 5A와 비교하여, 표 5B에서는, 5°≤ θ < 10°의 경우에 대상의 유형의 결정 결과에 따라 화상 기반 렌더링 또는 모델 기반 렌더링을 선택하는 옵션이 추가되었다.

단계 S1105에서, 화상 생성 유닛(205)은 가상 시점 화상을 생성하기 위해 단계 S1104에서 결정된 화상 생성 방법을 사용한다. 단계 S1106에서, 가상 시점 화상 생성이 완료되었는지 여부가 판정된다. 가상 시점 화상 생성이 완료되지 않은 경우, 가상 시점 화상 생성을 계속하기 위해 단계 S1102로부터의 처리가 반복된다. 단계 S1105 및 S1106의 처리는 제1 실시예의 단계 S304 및 단계 S305의 처리와 유사하다.

상술한 바와 같이, 제4 실시예에 따르면, 카메라의 설치에 관련된 정보, 가상 시점 정보, 및 가상 시점에 포함된 대상의 유형에 기초하여 적합한 화상 생성 방법이 선택된다. 선택된 화상 생성 방법을 사용함으로써 각각의 대상에 대해 높은 화상 품질을 갖는 가상 시점 화상이 적절하게 생성될 수 있다.

<제5 실시예>

제5 실시예에서는, 복수의 화상 생성 방법을 사용하여 복수의 가상 시점 화상을 생성하고, 생성된 가상 시점 화상을 평가함으로써 최상의 화상 품질을 갖는 화상이 출력될 것이다. 제5 실시예에 따른 화상 처리 시스템(100)의 배치는 제1 실시예의 것(도 1)과 유사하다. 도 12는 제5 실시예에 따른 화상 컴퓨팅 서버(122)의 기능 블록을 도시한다. 도 12의 기능 블록에서, 동일한 참조 번호는 제1 실시예의 기능 블록(도 2)의 것과 유사한 기능 블록을 나타낸다. 화상 컴퓨팅 서버(122)의 하드웨어 배치는 도 16에 도시된 것과 유사하다.

도 12에서, 화상 평가 유닛(1201)은 화상 생성 유닛(205)에 의해 생성된 복수의 가상 시점 화상을 평가하고, 평가에 기초한 가장 적합한 화상을 화상 출력 유닛(206)에 출력한다.

도 13의 흐름도를 참조하여, 제5 실시예에 따른 가상 시점 화상 생성 처리를 설명한다. 단계 S1301 및 S1302의 처리는 제1 실시예의 단계 S301 및 S302의 것(도 3)과 유사하다는 것에 유의한다.

단계 S1303에서, 생성 방법 결정 유닛(208)은 단계 S1301에서 획득된 카메라의 설치에 관련된 정보 및 가상 시점 정보에 기초하여 가상 시점 화상을 생성하기 위한 복수의 화상 생성 방법을 결정한다. 즉, 하나의 가상 시점에서, 생성 방법 결정 유닛(208)은, 다양한 종류의 화상 생성 방법 중에서, 카메라의 설치에 관련된 정보 및 이 경우에 대한 가상 시점 정보에 기초하여 화상 생성 방법으로서 적합한 복수의 후보를 선택한다. 단계 S1304에서, 화상 생성 유닛(205)은 단계 S1303에서 선택된 복수의 화상 생성 방법을 사용하여 복수의 가상 시점 화상을 생성한다.

단계 S1305에서, 화상 평가 유닛(1201)은 단계 S1304에서 생성된 복수의 가상 시점 화상을 평가하고 출력될 화상을 결정한다. 화상 평가 방법으로서는, 예를 들어, 상술된 하나의 가상 시점의 관심 위치에 가장 가까운 주시점에 대응하는 하나의 그룹(카메라의 그룹) 중에서, 하나의 가상 시점에 가장 가깝게 위치된 실제 카메라로부터 획득된 화상이 정확한 화상으로서 설정된다. 후속하여, 정확한 화상과 복수의 가상 시점 화상 각각 사이의 차이에 기초하여 각각의 가상 시점 화상을 평가하는 방법이 사용될 수 있다. 화상 평가 유닛(1201)은, 생성된 복수의 가상 시점 화상 중에서, 최상의 화상 품질을 갖는 화상으로서 정확한 화상과의 최소의 차이를 갖는 가상 시점 화상을 결정할 것이다. 단계 S1306에서, 화상 평가 유닛(1201)은 단계 S1305에서 결정된 가상 시점 화상을 화상 출력 유닛(206)을 통해 출력한다.

단계 S1307에서, 가상 시점 화상 생성이 완료되었는지 여부가 판정된다. 가상 시점 화상 생성이 완료되지 않은 경우, 가상 시점 화상 생성을 계속하기 위해서 단계 S1102로부터의 처리가 반복된다. 단계 S1307의 처리는 제1 실시예의 단계 S305의 처리(도 3)과 유시하다.

상술한 바와 같이, 제5 실시예에 따르면, 복수의 종류의 화상 생성 방법에 의해 복수의 가상 시점 화상이 생성되고, 생성된 가상 시점 화상을 평가함으로써 출력될 가상 시점 화상이 결정된다. 따라서, 고품질 화상을 보다 확실하게 출력할 수 있다.

제5 실시예에서는 카메라의 설치에 관련된 정보 및 가상 시점 정보에 기초하여 사용될 복수의 화상 생성 방법이 결정되지만, 본 발명은 이것으로 한정되지 않는다는 것에 유의한다. 예를 들어, 2개의 유형의 화상 생성 방법인 화상 기반 렌더링 및 모델 기반 렌더링이 준비되어 있는 배치에서, 화상 생성 유닛(205)이 이들 2개의 유형의 화상 생성 방법에 의해 가상 시점 화상을 생성하고 생성된 화상을 화상 평가 유닛(1201)에 전송하도록 설정될 수 있다. 이 경우에 생성 방법 결정 유닛(208)은 생략될 수 있다.

<제6 실시예>

제6 실시예에서, 화상 생성 방법은 직전 전환 동작으로부터 경과된 시간에 기초하여 가상 시점 화상 생성을 위한 화상 생성 방법을 전환할지 여부를 결정함으로써 적절한 타이밍에 화상 생성 방법이 전환된다. 도 14는 제6 실시예에 따른 화상 컴퓨팅 서버(122)의 기능 블록을 도시한다. 도 14의 기능 블록에서, 동일한 참조 번호는 제1 실시예의 것(도 2)와 유사한 기능 블록을 나타낸다. 화상 컴퓨팅 서버(122)의 하드웨어 배치는 또한 도 16에 도시된 것과 유사하다.

도 14에서, 전환 제어 유닛(1401)은 생성 방법 결정 유닛(208) 에 의해 결정된 가상 시점 화상 생성 방법을 실제로 적용하기 위한 타이밍을 결정한다.

도 15의 흐름도를 참조하여, 제6 실시예에 따른 가상 시점 화상 생성 처리를 설명한다. 제6 실시예에서, 이전 전환 동작이 수행된 시간을 화상 생성 방법을 전환하는 타이밍을 제어하기 위한 파라미터로서 사용한다. 단계 S1501 내지 S1503의 처리는 제1 실시예의 단계 S301 내지 S303의 것(도 3)과 유사하다는 것에 유의한다.

단계 S1504에서는, 생성 방법 결정 유닛(208) 에 의해 결정된 화상 생성 방법이 화상 생성 유닛(205)에 의해 현재 사용되는 화상 생성 방법으로부터 변경되었는지 여부가 판정된다. 화상 생성 방법이 변경되었다고 판정되는 경우, 전환 제어 유닛(1401)은, 단계 S1505에서, 화상 생성 방법이 이전에 변경된 시간으로부터의 차이(경과 시간)를 획득하고, 이 차이를 임계치(T)와 비교한다. 차이가 임계치(T) 이상인 경우, 전환 제어 유닛은, 단계 S1506에서, 가상 시점 화상 생성을 위해 사용될 화상 생성 방법을 단계 S1503에서 결정된 화상 생성 방법으로 갱신한다. 상기 차이가 임계치(T) 미만인 경우, 단계 S1506의 처리는 스킵되고, 화상 생성 방법은 갱신되지 않는다. 이러한 방식으로, 화상 생성 방법은 화상 생성 방법이 이전에 변경되었을 때의 시간으로부터 미리결정된 시간이 경과할 때까지는 변경되지 않는다.

상술된 바와 같이 화상 생성 방법의 설정이 완료된 후에, 단계 S1507에서, 화상 생성 유닛(205)은 설정된 화상 생성 방법을 사용하여 가상 시점 화상을 생성한다. 단계 S1508에서, 가상 시점 화상 생성이 완료되었는지 여부가 판정된다. 가상 시점 화상 생성이 완료되지 않은 경우, 가상 시점 화상 생성을 계속하기 위해서 단계 S1502로부터의 처리가 반복된다. 단계 S1508의 처리는 단계 S305의 처리와 유사하다.

상술된 바와 같이, 제6 실시예에 따르면, 화상 생성 방법을 적절한 타이밍에 전환할 수 있다. 결과적으로, 예를 들어, 화상 생성 방법이 빈번하게 전환되는 상태를 방지할 수 있고, 더 높은 화상 품질을 가지며 더 보기 쉬운 가상 시점 화상을 생성할 수 있다.

<제7 실시예>

제7 실시예는, 가상 카메라 및 가상 카메라에 포함된 3차원 모델의 정보에 기초하여 사용될 화상 생성 방법을 선택하는 예를 설명할 것이다. 또한, 제7 실시예는 복수의 모델 기반 렌더링 처리로부터 사용될 화상 생성 방법을 선택하는 예를 설명할 것이다. 더 구체적으로, 렌더링 처리(모델 기반 렌더링)는 사용될 3차원 모델의 정밀도가 가상 카메라로부터 3차원 모델까지의 거리에 따라 변화되도록 전환된다. 제7 실시예에 따른 시스템 배치 및 기능 블록은 제1 실시예의 것(도 1 및 도 2)과 유사하다. 또한, 화상 컴퓨팅 서버(122)의 하드웨어 배치는 도 16에 도시된 것과 유사하다. 또한, 제7 실시예에서, 3차원 모델의 형상은 복수의 도트에 의해 표현되고 3차원 모델을 형성하는 도트 사이의 간격(복셀 크기)은 5 mm인 것으로 가정한다.

도 17의 흐름도를 참조하여 본 실시예에 따른 화상 생성 방법의 선택을 설명한다. 도 17은 가상 시점 화상의 하나의 프레임이 생성될 때 수행되는 3차원 모델 처리를 설명하는 흐름도이다.

단계 S1701에서, 시점 정보 획득 유닛(209)은 생성되는 화상의 가상 시점을 획득한다. 이어서, 단계 S1702에서, 생성 방법 결정 유닛(208)은 가상 시점에 포함된 대상의 수인 3차원 모델의 수를 획득한다. 단계 S1703 내지 S1707의 처리는 각각의 3차원 모델에 대해 수행되는 처리이며, 가상 시점에 포함된 3차원 모델 모두에 대해 수행된다.

단계 S1703에서, 생성 방법 결정 유닛(208)은 생성 방법 결정 대상 3차원 모델을 특정한다. 단계 S1704에서, 생성 방법 결정 유닛(208)은 가상 시점으로부터 단계 S1703에서 특정된 3차원 모델까지의 거리를 산출한다. 더 구체적으로는, 예를 들어, 생성 방법 결정 유닛은 가상 시점의 중심 좌표로부터 3차원 모델의 대표 지점(예를 들어, 무게 중심)까지의 거리를 획득한다. 그러나, 거리의 정의는 상기 예에 한정되지 않는다는 것에 유의한다. 단계 S1705에서, 생성 방법 결정 유닛(208)은 단계 S1704에서 산출된 거리를 미리결정된 값과 비교한다. 산출된 거리가 미리결정된 값 이상인 경우, 처리는 단계 S1706로 이행된다. 계산된 거리가 미리결정된 값 미만인 경우, 처리는 단계 S1707로 이행된다.

단계 S1706 및 S1707에서, 가상 시점 화상의 렌더링에 사용되는 3차원 모델의 도트 간격(복셀 크기)이 설정된다. 3차원 모델의 도트 간격은 3차원 모델의 거칠기(coarseness)에 관련된 파라미터이고, 더 넓은 도트 간격은 더 거친 3차원 모델을 초래할 것이다. 가상 시점으로부터 3차원 모델까지의 거리가 미리결정된 값 이상인 경우(단계 S1705에서 예), 렌더링에 사용될 3차원 모델의 도트 간격은 10 mm의 넓은 도트 간격으로 설정될 것이다(단계 S1706). 한편, 가상 시점으로부터 3차원 모델까지의 거리가 미리결정된 값 미만인 경우(단계 S1705에서 아니오), 렌더링에서 사용될 3차원 모델의 도트 간격은 5 mm의 좁은 도트 간격으로 설정될 것이다(단계 S1707).

단계 S1708에서, 생성 방법 결정 유닛(208)은 가상 시점에 포함된 3차원 모델 모두에 대해 처리가 수행되었는지 여부를 판정한다. 처리되지 않은 3차원 모델이 있는 경우, 처리는 단계 S1703으로 복귀하고, 처리되지 않은 3차원 모델에 대해 상술한 처리가 반복된다. 한편, 가상 시점에 포함된 3차원 모델 모두가 처리되었다고 판정되는 경우 처리는 종료된다. 후속하여, 생성 방법 결정 유닛(208)은 각각의 3차원 모델에 대해 결정된 도트 간격을 화상 생성 유닛(205)에 통지한다. 화상 생성 유닛(205)은 대상 렌더링을 수행하기 위해 각각의 3차원 모델의 지정된 도트 간격을 사용함으로써 모델 기반 렌더링을 실행한다.

도 17의 흐름도에 따라 수행되는 처리에 대한 보조 설명이 도 18를 참조하여 추가로 설명될 것이다. 도 18의 18A에서, 참조 번호 1801은 도트에 의해 형성된 3차원 모델의 단면도(직사각형 프리즘의 단면도)를 나타내고, 도트 간격은 5 mm이다. 18B는 가상 시점으로부터 거리가 짧은 경우를 도시한다. 이는 도 17의 흐름도의 단계 S1705에서 거리가 미리결정된 값보다 짧다고 판정되는 경우(단계 S1705에서 아니오)에 대응한다. 가상 시점 표면에 투영될 3차원 모델은 거리가 짧을 때 클 것이기 때문에, 사용될 도트의 정밀도가 증가될 필요가 있다. 따라서, 3차원 모델의 도트 간격은 5 mm로 설정된다.

도 18의 18C는 가상 시점으로부터의 거리가 긴 경우를 도시한다. 이는 도 17의 단계 S1705에서 거리가 미리결정된 값 이상인 것으로 판정되는 경우(단계 S1705에서 예)에 대응한다. 상기 가상 시점 표면에 투영될 3차원 모델은 상기 거리가 긴 경우에 작아지기 때문에, 실제로 생성되는 화상의 화상 품질에 대한 영향은 사용될 도트의 정밀도가 낮아지더라도 작아질 것이다. 도 18의 18C에 도시된 예에서, 3차원 모델의 도트 간격은 10 mm로 설정된다. 이러한 방식으로 가상 시점과 3차원 모델 사이의 거리에 따라 처리될 도트의 수를 증가/감소시킴으로써 화상 품질에 대한 영향을 억제하면서 처리량을 감소시키는 것이 가능하다. 따라서, 가상 시점 화상의 안정적인 생성이 가능하다.

상술한 바와 같이, 제7 실시예에 따르면, 사용될 3차원 모델의 정밀도(도트 간격)는 가상 카메라에 포함된 3차원 모델까지의 거리에 따라 변화되기 때문에, 안정된 가상 시점 화상이 화상 품질을 유지하면서 생성될 수 있다.

제7 실시예는 화상 생성에 사용될 렌더링 방법이 복수의 모델 기반 렌더링 방법 사이에서 전환되는 방법을 설명했지만, 본 발명은 이에 한정되지 않는다는 것에 유의한다. 예를 들어, 화상 생성에 사용될 렌더링 방법이 복수의 화상 기반 렌더링 방법 사이에서 전환되는 방법이 또한 고려될 수 있다. 더 구체적으로, 화상 기반 렌더링 방법에 사용될 카메라 화상(촬상 화상)의 수는 전환될 수 있다. 예를 들어, 주어진 카메라의 화상 촬상 방향과 가상 시점의 시선 방향 사이의 각도 차이가 작은 경우에, 이 카메라에 의해 획득된 카메라 화상만을 사용하여 렌더링이 수행될 수 있다. 한편, 가상 시점의 시선 방향이 2개의 인접한 카메라의 화상 촬상 방향의 중심 부근에 있는 경우, 이들 2개의 카메라의 카메라 화상을 조합함으로써 획득된 화상을 사용함으로써 렌더링이 수행될 수 있다. 즉, 렌더링을 위해 사용되는 카메라 화상의 수는 가상 시점과 카메라 배치의 관계에 따라 증가/감소될 수 있다. 또한, 예를 들어, 렌더링을 위해 사용될 카메라 화상의 수는 가상 시점으로부터 대상까지의 거리에 따라 증가/감소될 수 있다. 더 구체적으로는, 가상 시점으로부터 대상까지의 거리가 짧은 경우에는, 가상 시점 근처에 위치된 복수의 카메라의 카메라 화상을 조합함으로써 획득된 화상을 사용하여 높은 화상 품질을 갖는 가상 시점 화상을 생성하도록 렌더링이 수행될 수 있다. 한편, 가상 시점으로부터 대상까지의 거리가 긴 경우에는, 처리를 간략화하기 위해서 단일 카메라에 의해 촬상된 카메라 화상에 대해 투영 변환을 수행함으로써 획득된 화상을 사용하여 렌더링을 수행할 수 있다.

또한, 제1 내지 제6 실시예에서 설명된 방법에서 모델 기반 렌더링이 사용되는 것으로 결정되는 경우, 화상 생성을 위해 사용될 3차원 모델의 도트가 제7 실시예에 설명된 방법에 의해 추가로 선택되도록 배치될 수 있다. 동일한 방식으로, 제1 내지 제6 실시예에서 설명된 방법에서 화상 기반 렌더링이 사용되는 것으로 결정되는 경우, 화상 생성을 위해 사용될 카메라 화상의 수가 제7 실시예에서 설명된 방법에 의해 추가로 조정되도록 배치될 수 있다.

<제8 실시예>

제8 실시예는 사용자가 복수의 화상 생성 방법으로부터 임의의 화상 생성 방법을 선택하는 예를 설명할 것이다. 가상 시점 화상 생성 방법은 각각의 체계에 따라 상이한 특성을 갖는다. 예를 들어, 비록 모델 기반 렌더링이 3차원 모델을 이용하는 렌더링 동작이기 때문에 매끄러운 화상을 생성할 수 있지만, 해상도의 섬세도는 생성될 3차원 모델의 정밀도에 의존하여 손실될 수 있다. 한편, 화상 기반 렌더링은 매끄러움을 갖지 않지만, 화상이 직접 변환되어 사용되기 때문에 가상 시점 화상의 선예도를 증가시키는 경향이 있다. 생성될 가상 시점 화상의 특성은 이러한 방식으로 화상 생성 방법들 사이의 차이에 따라 달라진다. 제8 실시예는 사용자의 선호도에 의존하여 사용자가 가상 시점 화상의 화상 생성 방법을 결정할 수 있게 하는 배치를 설명할 것이다.

제8 실시예에 따른 시스템 배치 및 기능 블록은 제1 실시예의 것(도 1 및 도 2)과 유사하다. 또한, 화상 컴퓨팅 서버(122)의 하드웨어 배치는 도 16에서 설명된 것과 유사하다.

도 19의 흐름도를 참조하여 제8 실시예에 따른 처리를 설명한다. 도 19는 가상 시점 화상 생성 방법이 선택될 때 수행되는 처리를 설명하기 위한 흐름도이다.

단계 S1901에서, 가상 카메라 조작 UI(125)는 화상 컴퓨팅 서버(122)에 의해 실행될 수 있는 가상 시점 화상 생성 방법의 정보를 획득한다. 예를 들어, 사용자가 화상 생성 방법을 수동으로 선택하기 위해 가상 카메라 조작 UI(125)에 대해 지시를 행하는 경우, 화상 생성 방법 획득 지기가 가상 카메라 조작 UI(125)로부터 화상 컴퓨팅 서버(122)에 발행된다. 이 획득 지시에 응답하여, 화상 컴퓨팅 서버(122)는 생성 방법 결정 유닛(208)에 의해 선택될 수 있는 화상 생성 방법을 가상 카메라 조작 UI(125)에 통지한다. 단계 S1901에서 획득되는 화상 생성 방법은 복수의 모델 기반 렌더링 방법 및 복수의 화상 기반 렌더링 방법을 포함할 수 있다는 것에 유의한다.

단계 S1902에서, 가상 카메라 조작 UI(125)는 단계 S1901에서 획득된 화상 생성 방법의 리스트를 표시한다. 가상 카메라 조작 UI(125)를 조작하는 조작자가 단계 S1902에서 표시된 리스트로부터 원하는 화상 생성 방법을 선택할 때, 가상 카메라 조작 UI(125)는 단계 S1903에서 선택된 화상 생성 방법을 화상 컴퓨팅 서버(122)에 통지한다. 생성 방법 결정 유닛(208)은 통지된 화상 생성 방법을 화상 생성 유닛(205)에 의해 사용될 화상 생성 방법으로서 설정한다.

상술한 바와 같이, 제8 실시예에 따르면, 사용자 자신/그녀는 가상 시점 화상을 생성하기 위한 방법을 선택할 수 있다. 이 실시예는 사용자의 선호도에 대응하는 가상 시점 화상이 생성되게 한다.

도 19에서 설명되는 처리는 임의의 타이밍에서 행해질 수 있다는 것에 유의한다. 예를 들어, 이는 가상 시점 화상을 생성하기 위한 초기 처리로서 수행될 수 있거나 가상 시점 화상 생성 동작의 중간에 설정을 변경하기 위해 수행될 수 있다.

또한, 제8 실시예에서 화상 생성 방법 선택 옵션이 리스트 포맷에 표시되는 것으로 설명되었지만, 본 발명은 이에 한정되지 않는다.

또한, 당연하게, 전술한 제1 내지 제8 실시예의 배치는 필요에 따라 조합될 수 있다.

또한 본 발명은 네트워크 또는 저장 매체를 통해 시스템 또는 장치에 상기 실시예의 적어도 하나의 기능을 실행하도록 구성된 프로그램을 공급하고 시스템 또는 장치의 컴퓨터 내의 적어도 하나의 프로세서에 의해 프로그램을 판독 및 실행하는 처리에 의해 구현될 수 있다. 본 발명은 또한 적어도 하나의 기능을 구현하는 회로(예를 들어, ASIC)에 의해 구현될 수 있다.

본 발명은 상술한 실시예로 한정되지 않으며, 본 발명의 사상 및 범위 내에서 다양한 변경 및 변형이 이루어질 수 있다. 그러므로, 본 발명의 범위를 공공에 알리기 위해서, 이하의 청구항이 이루어진다.

본 출원은 전문이 본원에 통합되는 2016년 11월 30일자로 출원된 일본 특허 출원 제2016-233500호 및 2017년 6월 27일자로 출원된 일본 특허 출원 제2017-125592호의 이익을 주장한다.

Claims

복수의 카메라에 의해 상이한 방향으로부터 획득되는 복수의 촬상 화상에 기초하여 가상 시점 화상을 출력하는 화상 처리 장치에 있어서,
지정된 가상 시점의 위치 및 방향을 나타내는 시점 정보를 획득하기 위한 시점 정보 획득 수단;
상기 복수의 촬상 화상에 기초하여 상기 가상 시점에 대응하는 가상 시점 화상을 생성하기 위해 사용될 화상 처리 방법을, 상기 시점 정보 획득 수단에 의해 획득된 상기 시점 정보에 기초하여 복수의 화상 처리 방법으로부터 결정하는 결정 수단; 및
상기 결정 수단에 의해 결정된 상기 화상 처리 방법을 사용하여 생성된 상기 가상 시점 화상을 출력하기 위한 출력 수단을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 복수의 카메라의 설치에 관련된 카메라 정보를 획득하기 위한 카메라 정보 획득 수단을 포함하며,
상기 결정 수단은 상기 카메라 정보 획득 수단에 의해 획득된 상기 카메라 정보에 기초하여 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서, 상기 카메라 정보는 카메라의 위치, 배향, 및 화각 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 화상 처리 장치.
제2항 또는 제3항에 있어서, 상기 결정 수단은 상기 시점 정보 획득 수단에 의해 획득된 상기 시점 정보로부터 특정된 가상 시점 방향과 상기 카메라 정보 획득 수단에 의해 획득된 상기 카메라 정보로부터 특정된 카메라 화상 촬상 방향 사이의 관계에 기초하여 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 결정 수단은 상기 가상 시점 방향 및 상기 카메라 화상 촬상 방향에 의해 형성된 각도가 미리결정된 값보다 작을 때 화상 기반 렌더링이 사용되고, 상기 각도가 상기 미리결정된 값 이상일 때 모델 기반 렌더링이 사용되도록 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제5항 중 어느 한 항에 있어서, 상기 결정 수단은 상기 시점 정보 획득 수단에 의해 획득된 상기 시점 정보로부터 특정된 상기 가상 시점의 시야와 상기 카메라 정보 획득 수단에 의해 획득된 상기 카메라 정보로부터 특정된 복수의 카메라의 화상 촬상 범위에 포함된 주시점 영역 사이의 관계에 기초하여 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제6항에 있어서, 상기 결정 수단은 상기 가상 시점의 시야에서의 상기 주시점 영역에 의해 점유되는 비율이 미리결정된 값보다 클 때 모델 기반 렌더링이 수행되고 상기 비율이 상기 미리결정된 값 이하일 때 화상 기반 렌더링이 사용되도록 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 결정 수단은 상기 시점 정보 획득 수단에 의해 획득된 상기 시점 정보로부터 특정된 상기 가상 시점의 변화에 기초하여 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제8항에 있어서, 상기 결정 수단은 상기 가상 시점의 상기 변화가 원호 형상 이동에 대응할 때 모델 기반 렌더링이 사용되도록 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 결정 수단은 상기 시점 정보 획득 수단에 의해 획득된 시점 정보로부터 특정된 가상 시점의 시야에 포함되는 대상의 유형에 기초하여 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 결정 수단은 상기 복수의 화상 처리 방법으로부터 2개 이상의 화상 처리 방법을 결정하며,
상기 출력 수단은 상기 결정 수단에 의해서 결정된 2개 이상의 화상 처리 방법에 의해 생성된 2개 이상의 가상 시점 화상으로부터 선택된 가상 시점 화상을 출력하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 결정 수단은 상기 화상 처리 방법이 변경되고 나서 미리결정된 시간이 경과할 때까지 상기 화상 처리 방법이 새롭게 변경되지 않도록 상기 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제12항 중 어느 한 항에 있어서, 상기 결정 수단은, 상기 화상 처리 방법을 결정하기 위해, 상기 모델 기반 렌더링에 사용될 3차원 모델의 거칠기를 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제13항 중 어느 한 항에 있어서, 상기 결정 수단은, 상기 화상 처리 방법을 결정하기 위해, 화상 기반 렌더링에 사용될 촬상 화상의 수를 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제14항 중 어느 한 항에 있어서, 상기 결정 수단은, 상기 모델 기반 렌더링 및 화상 기반 렌더링을 포함하는 상기 복수의 화상 처리 방법으로부터, 상기 복수의 촬상 화상에 기초하여 상기 가상 시점에 대응하는 상기 가상 시점 화상을 생성하기 위해 사용될 화상 처리 방법을 결정하는 것을 특징으로 하는 화상 처리 장치.
복수의 카메라에 의해 상이한 방향으로부터 획득된 복수의 촬상 화상에 기초하여 가상 시점 화상을 출력하는 화상 처리 방법에 있어서,
지정된 가상 시점의 위치 및 방향을 나타내는 시점 정보를 획득하는 시점 정보 획득 단계;
상기 복수의 촬상 화상에 기초하여 상기 가상 시점에 대응하는 가상 시점 화상을 생성하기 위해 사용될 화상 처리 방법을, 상기 시점 정보 획득 단계에서 획득된 상기 시점 정보에 기초하여 복수의 화상 처리 방법으로부터 결정하는 결정 단계; 및
상기 결정 단계에서 결정된 상기 화상 처리 방법을 사용하여 생성된 상기 가상 시점 화상을 출력하는 출력 단계를 포함하는 것을 특징으로 하는 화상 처리 방법.
제16항에 있어서,
상기 복수의 카메라의 설치에 관련된 카메라 정보를 획득하는 카메라 정보 획득 단계를 포함하며,
상기 결정 단계에서, 상기 화상 처리 방법은 상기 카메라 정보 획득 단계에서 획득된 상기 카메라 정보에 기초하여 결정되는 것을 특징으로 하는 화상 처리 방법.
제17항에 있어서, 상기 카메라 정보는 카메라의 위치, 배향, 및 화각 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터가 제1항 내지 제15항 중 어느 한 항에서 규정된 화상 처리 장치의 각각의 수단으로서 동작하게 하는 프로그램.