KR20190005765A

KR20190005765A - 화상 처리장치, 화상 처리방법 및 프로그램

Info

Publication number: KR20190005765A
Application number: KR1020180077960A
Authority: KR
Inventors: 유야 오타
Original assignee: 캐논 가부시끼가이샤
Priority date: 2017-07-06
Filing date: 2018-07-05
Publication date: 2019-01-16
Also published as: EP3425592B1; CN109214265B; JP6948175B2; KR102316056B1; US11025878B2; JP2019016161A; US20190014301A1; CN109214265A; EP3425592A1

Abstract

촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상처리를 실행하는 화상 처리장치는, 촬상 공간 내의 복수의 오브젝트 중에서 특정 오브젝트를 식별하고, 촬상 공간 내의 복수의 오브젝트에 대하여 가상 시점 화상의 생성을 위한 화상처리를 행한다. 화상 처리장치는, 특정 오브젝트에 대한 화상처리를, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행한다.

Description

화상 처리장치, 화상 처리방법 및 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD THEREOF AND PROGRAM}

본 발명은, 화상 처리장치, 화상 처리방법 및 프로그램에 관한 것으로, 특히 복수 카메라로부터의 화상을 처리하는 기술에 관한 것이다.

일반적으로, 3차원 모델링 수법에서는, 촬상 공간의 주위에 배치한 복수의 카메라로부터 얻어지는 복수의 카메라 화상에 근거하여, 2차원 형상을 갖는 오브젝트의 3차원 모델 데이터를 생성한다. 3차원 모델링 수법의 한 개는 "시체적 교차법(volume intersection)" 또는 "Visual Hull"(이후 간단히 "Visual Hull"로 호칭)로 불리는 3차원 모델 생성 수법이 있다. Visual Hull에서는, 오브젝트에 대해 3차원 모델을 생성하고자 할 때, 각 카메라로부터의 화상 내부의 오브젝트의 실루엣을, 카메라의 광학 주점(principle point) 위치로부터 가상적으로 오브젝트 방향으로 역투영한다. 그 결과, 광학 주점 위치를 정점으로 갖고, 단면으로서 오브젝트의 실루엣을 갖는 원뿔 형태의 영역이 형성된다. 그후, 카메라마다 형성된 원뿔 형태의 영역들이 중복되는 영역(논리곱)을 오브젝트의 3차원 모델로 취한다. Visual Hull은, 각 카메라에 의해 얻어진 화상들로부터 산출된 특징량들을 매칭시키고, 그들 특징량 사이의 위치 관계로부터 3차원 모델을 생성하는 수법과 비교하여, 원리적으로 볼록면에 대해 정밀도가 낮지만 고속의 처리가 가능하다.

Visual Hull을 사용하거나 특징량의 매칭을 사용하는지에 무관하게, 주위에 배치하는 카메라의 수를 많게 할수록, 3차원 모델의 정밀도가 향상되지만 연산 시간이 증가한다. 일본국 특개 2003-271928호 공보에는, 최초에 3차원 모델의 개형을 Visual Hull을 거쳐 구한 후, 상세를 특징량의 매칭을 통해 구함으로써, 연산량의 억제를 행하면서 정밀도를 유지하는 구성이 기재되어 있다. 이것은 3차원 모델을 고속으로 생성하는 것을 목적으로 하여 행해진다.

그렇지만, 일본국 특개 2003-271928호 공보에 기재된 방법에 따르면, 오브젝트가 복수 존재할 경우에, 3차원 모델의 정밀도가 복수의 오브젝트에 걸쳐 동일하게 변화한다. 따라서, 일본국 특개 2003-271928호 공보에 개시된 방법은, 주목하는 오브젝트의 정밀도를 유지하면서, 전체의 연산량을 낮추고 싶다고 하는 요구에는 대응할 수 없다.

본 발명의 일면에 따르면, 촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상처리를 실행하는 화상 처리장치로서, 상기 촬상 공간 내의 복수의 오브젝트 중에서 특정 오브젝트를 식별하는 식별 수단과, 상기 촬상 공간 내의 상기 복수의 오브젝트에 대하여 상기 가상 시점 화상의 생성을 위한 화상처리를 행하는 처리 수단을 구비하고, 상기 처리 수단은, 상기 식별 수단에 의해 식별된 특정 오브젝트에 대한 화상처리를, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행하는 화상 처리장치가 제공된다.

본 발명의 또 다른 일면에 따르면, 촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상처리를 실행하는 화상 처리방법으로서, 상기 촬상 공간 내의 복수의 오브젝트로부터 특정 오브젝트를 식별하는 단계와, 상기 촬상 공간 내의 상기 복수의 오브젝트에 대하여 상기 가상 시점 화상의 생성을 위한 화상처리를 행하는 단계를 포함하고, 식별된 상기 특정 오브젝트에 대한 화상처리는, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행되는 화상 처리방법이 제공된다.

본 발명의 또 다른 일면에 따르면, 컴퓨터에, 촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상 처리를 실행하는 화상 처리방법을 실행시키기 위해 매체에 기억된 컴퓨터 프로그램으로서, 상기 화상 처리방법은, 상기 촬상 공간 내의 복수의 오브젝트로부터 특정 오브젝트를 식별하는 단계와, 상기 촬상 공간 내의 상기 복수의 오브젝트에 대하여 상기 가상 시점 화상의 생성을 위한 화상처리를 행하는 단계를 포함하고, 식별된 상기 특정 오브젝트에 대한 화상처리는, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행되는 컴퓨터 프로그램이 제공된다.

본 발명의 또 다른 특징은 (첨부도면을 참조하여 주어지는) 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.

도 1은, 화상 처리장치의 기능 구성 예를 나타낸 블록도다.
도 2는, 3차원 모델 생성 처리를 나타내는 흐름도다.
도 3a는, 주목 오브젝트들과 사용되고 있는 촬상부의 관계의 일례를 도시한 도면이다.
도 3b는, 비주목 오브젝트들과 사용되고 있는 촬상부의 관계의 일례를 나타낸 개념도다.
도 4는, 실루엣 내외 판단 처리를 나타낸 흐름도다.
도 5는, 선택부의 기능 구성 예를 나타낸 블록도다.
도 6은, 촬상부의 선택 처리를 나타내는 흐름도다.
도 7은, 주목 오브젝트들과 오브젝트 ID의 관계를 유지한 테이블을 도시한 도면이다.
도 8은, 선택부의 기능 구성 예를 나타낸 블록도다.
도 9는, 촬상부의 선택 처리를 나타내는 흐름도다.
도 10은, 영역 지정 조작 화면을 도시한 도면이다.
도 11a는, 주목 영역 내의 오브젝트와 사용되고 있는 촬상부의 관계의 일례를 도시한 도면이다.
도 11b는, 주목 영역 외의 오브젝트와 사용되고 있는 촬상부의 관계의 일례를 도시한 도면이다.
도 12a 및 도 12b는, 주목 영역과 주목 오브젝트의 관계의 일례를 도시한 도면이다.
도 13a 및 도 13b는, 주목 영역과 주목 오브젝트의 관계의 일례를 도시한 도면이다.
도 14는, 주목 영역에 대한 재설정 처리를 나타내는 흐름도다.
도 15a 및 도 15b는, 주목 영역과 주목 오브젝트의 관계의 일례를 도시한 도면이다.
도 16은, 촬상부의 선택 처리를 나타내는 흐름도다.
도 17은, 화상 처리장치의 기능 구성 예를 나타낸 블록도다.
도 18은, 화상 처리장치의 하드웨어 구성 예를 나타낸 블록도이다.

제1실시형태

도 1을 참조해서 제1실시형태에 따른 화상처리 시스템의 구성을 설명한다. 화상처리 시스템은, 복수의 촬상부(101a-z), 복수의 전경 추출부(102a-z), 화상 처리장치(110)를 포함한다. 화상 처리장치(110)로서 퍼스널컴퓨터(PC), 워크스테이션(WS), 각종 서버 등의 컴퓨터 장치를 사용할 수 있지만, 본 실시형태는 장치의 종류에 대해 특별히 제한하지 않는다.

도 18은, 본 실시형태에 따른 화상 처리장치(110)의 하드웨어 구성 예를 나타낸 블럭도다. CPU(21)은, 중앙처리장치이며, ROM(22) 또는 RAM(23)에 격납된 프로그램을 실행함으로써 정보 처리장치의 전체를 제어한다. CPU(21)은, 기억장치(25)에 격납되어 있는 소정의 프로그램을 RAM(23)에 로드하고, RAM(23)에 로드된 프로그램을 실행함으로써, 예를 들면, 도 1에 도시되는 화상 처리장치(110)의 각 기능부를 실현한다. ROM(22)은 판독 전용의 불휘발성 메모리다. RAM(23)은, 수시로 액세스가능한 메모리다. RAM(23)으로서 Dynamic Random Access Memory(DRAM)를 사용할 수 있다. 표시장치(24)는, CPU(21)의 제어하에서 다양한 표시를 행한다.

기억장치(25)는 예를 들면, 하드디스크 등으로 구성되는 대용량의 기억장치다. 기억장치(25)에는, 복수의 촬상부에서 얻어진 화상, 전경 화상 등을 격납할 수 있다. 입력장치(26)는, 화상 처리장치(110)에의 다양한 유저 입력을 접수한다. 인터페이스(27)는, 화상 처리장치(110)와 외부장치를 접속하기 위한 인터페이스이며, 본 실시형태에서는 복수의 전경 추출부(102)가 접속된다. 이때, 전경 추출부(102)와 화상 처리장치(110)는, LAN 등의 네트워크를 거쳐 접속되어도 된다. 그 경우, 인터페이스(27)는, 네트워크 인터페이스로서 기능한다. 버스(28)는 상기한 각 구성을 서로 통신 가능하게 접속한다.

화상 처리장치(110)의 각 기능부는, CPU(21)이 소정의 프로그램을 실행함으로써 실현되는 것으로 설명했지만, 기능부가 이것에 한정되는 것은 아니다. 예를 들면, 연산을 고속화하기 위한 Graphics Processing Unit(GPU)나 Field Programmable Gate Array(FPGA) 등의 하드웨어가 이용되어도 된다. 즉, 화상 처리장치(110)의 각 기능부는, 소프트웨어와 전용 IC 등의 하드웨어와의 협동으로 실현되어도 되고, 일부 또는 전체의 기능이 하드웨어 만으로 실현되어도 된다. 또한, 화상 처리장치(110)를 복수 사용함으로써 각 기능부의 처리를 분산시켜 실행하는 것 같은 구성이 사용되어도 된다.

도 1로 되돌아가, 본 실시형태에 따른 화상처리 시스템을 구성하는 각 부에 대해 설명한다. 촬상부(101a-z)는, 디지털 화상을 촬상하는 기기이며, 일반적인 디지털 카메라나 디지털 비디오 카메라를 촬상부(101a-z)로서 사용할 수 있다. 촬상부(101a-z)의 각각은, 촬상 공간을 다른 시점들에서 촬상하도록 배치되어 있고, 디지털 화상으로서 정해진 프레임 레이트에서 동화상의 촬상을 행한다. 촬상부(101a-z)는 같은 프레임 레이트 및 같은 타이밍에서, 즉 동기해서 촬상을 실시한다. 이때, 복수의 촬상부(101a-z)의 촬상 범위가 일부 중복하고 있어도 된다.

전경 추출부(102a-z)는, 촬상부(101a-z)에서 촬상한 화상을 받고, 대응하는 화상 전체로부터 전경을 추출한다. 여기에서, "전경"은, 인물이나 볼 등의 오브젝트로서 인식되는 화상 영역을 가리킨다. 어떤 종류의 오브젝트를 전경로서 추출할 것인지에 대해서는, 유저 등이 미리 지정할 수 있다. 전경을 추출하는 방법의 예로서는, 배경 차분 정보를 사용하는 방법을 들 수 있다. 이 방법에 따르면, 예를 들면, 미리 배경 화상으로서 전경이 존재하지 않는 상태를 촬영해 두고, 촬상된 화상과 배경 화상의 차분값이 임계값보다 큰 영역을 전경으로서 판정한다. 그러나, 전경을 추출하는 수법은 이 방법에 한정되지 않는다. 특징량이나 기계학습을 사용하는 수법 등, 여러가지 수법이 사용될 수 있으며, 본 실시형태에서는 전경을 추출하는 어떤 수법을 사용해도 된다.

이때, 전경 추출부(102)는, 전경을 추출할 때에, 전경으로서 추출한 화소가 "1"의 값을 갖고, 전경이 아닌 화소가 "0"의 값을 갖는 2값으로 나타낸 실루엣 화상을 생성하는 것으로 가정한다. 실루엣 화상은 3차원 모델 생성부(106)에서 사용된다. 이후, 전경으로 호칭했을 경우에 "실루엣 화상"도 포함되는 것으로 가정한다.

화상 처리장치(110)는, 서로 다른 시야 범위를 촬상하는 복수의 촬상부(101)에 의해 촬상된 복수의 화상을 처리한다(본 실시형태에서는, 화상 처리장치(110)는 전술한 화상으로부터 추출된 전경을 처리한다). 화상 처리장치(110)에 있어서, 전경 수신부(103)는 전경 추출부(102a-z)에서 추출된 전경을 수신하고, 판독부(104)로부터 지시된 전경을 출력한다. 본 실시형태에서는, 전경 수신부(103)는 전경 추출부(102a-z)의 각각과 네트워크를 거쳐 접속되어 있다. 네트워크 접속에는, 예를 들면, Ethernet(등록상표)을 사용할 수 있지만 네트워크는 이것에 한정되지 않는다. 전경 수신부(103)는, 네트워크를 거쳐, 각각의 촬상부(101) 및 전경 추출부(102)로부터의 데이터(전경)를 집약하여 격납한다. 전경 수신부(103)와 전경 추출부(102)의 접속은 네트워크 접속에 한정되는 것은 아니다. 예를 들면, 접속은 화상 전송용의 인터페이스인 Serial Digital Interface(SDI)나 Digital Visual Interface(DVI) 등을 사용해도 된다.

판독부(104)는 선택부(109)에 의해 지정된 전경을 전경 수신부(103)로부터 판독해서, 이 전경을 3차원 모델 생성부(106)에 제공한다. 3차원 모델의 생성에는 모든 촬상부(101)로부터 전경을 사용하는 것도 생각할 수 있지만, 본 실시형태에서는, 3차원 모델의 생성에서 사용할 전경이 선택부(109)에 의해 선택된다. 이 선택부(109)의 상세에 대해서는 후술한다.

카메라 파라미터 설정부(105)는 촬상부(101a-z)의 정보를 카메라 파라미터로서 설정하고, 이들 파라미터를 3차원 모델 생성부(106)에 건네준다. 여기에서, 카메라 파라미터는 각각의 촬상부(101)의 세계좌표의 3차원 위치, 자세(카메라의 방향), 초점거리 및 주점(카메라 화상의 중심)을 포함한다. 카메라 파라미터는, 미리 카메라 위치를 교정하기 위한 교정 패턴을 촬영한 후, 교정 패턴을 기준으로서 정의되는 3차원 좌표와 2차원의 카메라 좌표 사이에 좌표변환을 행함으로써 측정 및 산출되는 것으로 가정한다. 선택부(109)는, 처리 대상이 특정 오브젝트인지 아닌지에 근거하여, 복수의 촬상부(101) 중, 화상처리(3차원 모델의 생성)에 사용하는 화상(전경)을 제공할 촬상부를 선택한다. 이하, 특정 오브젝트를 "주목 오브젝트"로 칭한다. 판독부(104)는, 선택부(109)에 의해 선택된 촬상부(101)로부터 제공된 화상(전경)을, 전경 수신부(103)로부터 판독하고, 이 화상을 3차원 모델 생성부(106)에 제공한다. 본 실시형태에서는 선택부(109)가 촬상부를 선택하는 예를 중심으로 설명하지만, 촬상부를 선택하는 것 대신에, 화상을 선택하여도 된다.

3차원 모델 생성부(106)는 카메라 파라미터 설정부(105)에서 제공된 카메라 파라미터와, 판독부(104)에 의해 제공된 전경을 사용해서 3차원 모델을 생성한다. 본 실시형태에서는, 3차원 모델의 생성 수법으로서 Visual Hull을 사용한다. Visual Hull에서는, 각 카메라에서 본 원뿔의 공통 부분으로부터 3차원 모델을 구하고, 연산 알고리즘을 크게 volume intersection method(VIM)과 space carving method(SCM)로 나눌 수 있다. 본 실시형태에서는 SCM을 사용한다. SCM에서는, 3차원 공간 중의 각각의 입방체가 각각의 촬상부(101)의 평면에 역투영된다. 모든 촬상부(101)의 전경의 내부에 역투영되는 입방체들은 전경으로서 남는 반면에, 나머지 입방체들은 삭제된다. 3차원 공간 중의 각각의 입방체를 일반적으로 "복셀(voxel)"로 부르고, Visual Hull에 있어서 전경을 "실루엣"으로 부른다. 단순화를 위해, 우선은 전경이 되는 인물 등의 오브젝트가 1개만 존재하는 경우를 설명한다. 복수의 오브젝트가 존재할 경우에 대해서는 별도 후술한다.

본 실시형태에 따른 Visual Hull의 처리에 대해서 도 2의 흐름도를 참조하여 설명한다. 우선, 선택부(109)는, 오브젝트 설정부(108)로부터의 정보에 따라서, 1개의 전경 오브젝트의 3차원 모델을 생성하는데 사용되는 전경을 제공하는 촬상부를 선택한다(S101). 이들 오브젝트 설정부(108)와 선택부(109)의 처리의 상세한 것은 후술한다. 다음에, 판독부(104)는, 선택부(109)에 의해 선택된 촬상부(101)(전경 추출부(102))로부터 제공된 전경을 판독한다(5102).

사용할 전경 화상을 제공하는 촬상부(101)의 선택에 대해서 도 3a 및 도 3b의 개념도를 참조해서 설명한다. 도 3a 및 도 3b는 촬상부(101)의 배치와 전경 오브젝트(이하, "오브젝트 301a-c 및 302a-g")의 위치의 부감도이다. 촬상부(101)로부터의 선분은 촬상부(101)의 방향(촬상 방향)을 나타내고, 촬상부(101)는 필드 중심(303)을 향하고 있다. 이때, 오브젝트의 수, 위치 등은 도시된 것에 한정되지 않는다.

오브젝트 설정부(108)는 이들 전경 오브젝트들 중에서, 예를 들면, 유저 조작에 따라, 주목 오브젝트를 설정한다. 이하의 설명은, 오브젝트 301a-c가 주목 오브젝트로 설정된 것으로 가정한다. 3차원 모델의 생성의 대상이 되는 전경 오브젝트가 주목 오브젝트(오브젝트 301a, 301b, 또는 301c)일 경우, 모든 촬상부(101)의 화상으로부터 얻어진 전경이 3차원 모델 생성의 처리에 사용된다. 도 3a는 3차원 모델의 생성의 대상이 되는 전경 오브젝트가 주목 오브젝트인 경우를 나타내고 있다. 도 3a에서는, 촬상부 101a-t가 필드(촬상 공간)를 둘러싸도록 배치되어 있고, 촬상 공간 내의 주목 오브젝트의 3차원 모델의 생성하기 위해 촬상부 101a-t에 의해 촬영된 화상으로부터 취득된 전경이 사용된다. 즉, 선택부(109)는, 주목 오브젝트의 3차원 모델을 생성하기 위해, 촬상부 101a-t의 전체를 선택한다.

한편, 도 3b는, 3차원 모델의 생성하는데 사용할 전경 오브젝트가 주목 오브젝트가 아닌, 즉 비주목 오브젝트(오브젝트 302a-g 중 어느 한개)일 경우를 나타낸다. 도 3b의 예에서는, 비주목 오브젝트의 3차원 모델의 생성에는, 4대의 촬상부 101a, g, k, q에 의해 촬상된 화상으로부터 취득된 전경이 사용된다. 즉, 선택부(109)는, 촬상 공간 내의 비주목 오브젝트의 3차원 모델을 생성하기 위해, 촬상부 101a, g, k 및 q를 선택한다. 단, 주목 오브젝트 및 비주목 오브젝트의 3차원 모델의 생성에 사용되는 촬상부의 대수 및 배치는 상기에 한정되지 않는다. 단, 처리 대상이 주목 오브젝트로 설정되어 있을 경우에 선택부(109)가 선택하는 촬상부의 수보다도, 처리 대상이 주목 오브젝트로 설정되지 않고 있을 경우에 선택부(109)가 선택하는 촬상부의 수가 적어진다. 이렇게, 선택부(109)는, 처리 대상의 오브젝트가 주목 오브젝트인지 비주목 오브젝트인지에 따라, 3차원 모델의 생성에 사용하는 촬상부(전경)를 선택한다.

다음에, 전경 수신부(103)에 격납되어 있는 복수의 화상(전경) 중, 선택부(109)에 의해 선택된 촬상부로부터 제공된 화상(전경)을 사용하여, 처리 대상의 오브젝트에 대하여 화상처리가 실행된다. 본 실시형태에서는, 3차원 모델 생성부(106)가, 선택부(109)에 의해 선택된 촬상부의 화상으로부터 얻어지는 전경을 사용하여, 3차원 모델 생성 공간의 전체 좌표(세계좌표)에 대해 3차원 모델을 생성하는 화상처리를 행한다(S103-S108). 이때, 3차원 모델 생성부(106)는 화상 처리장치(110)의 CPU(21)을 연산장치로서 이용하고, RAM(23)을 연산의 작업 영역으로서 이용한다.

본예에서는, 3차원 모델 생성 공간의 좌표를 x, y, z의 3차원으로 표현하는 것으로 가정하고, 미리 정해진 크기의 공간 내에 있어서의 x, y, z의 전체 좌표에 대해 루프 처리를 실행한다(S103, S108). 각 루프에서는, 전체 좌표 중 처리 대상의 좌표에 대해서, 실루엣 내외 판단 처리를 실시한다(S105). 이 실루엣 내외 판단 처리는, 선택부(109)에 의해 행해진 선택 결과에 따라서 판독부(104)가 판독한 전경에 대하여 실행된다(S104, S106). 따라서, S104 내지 S106의 루프는, 선택부(109)에 의해 선택된 촬상부와 동일한 횟수만큼 반복된다.

S105에서 실행되는 실루엣 내외 판단 처리에 대해서, 도 4의 흐름도를 참조해서 설명한다. 우선, 3차원 모델 생성부(106)는, 처리 대상의 세계좌표를 촬상부(101)의 촬상부 좌표로 사영하여 변환한다(S501).

세계좌표에 대해, 처리 대상의 3차원 공간에 있어서 기준이 되는 원점을 정하고, 그 원점에서의 위치를 3차원 공간에서 대응하는 좌표로서 취급한다. 본 실시형태는 미리 처리 대상이 되는 3차원 공간의 좌표가 세계좌표로 변환되는 것으로 가정한다. 한편, "촬상부 좌표"는, 촬상부(101)에 의해 촬영한 화상의 좌표를 가리킨다. 세계좌표를 촬상부 좌표로의 사영/변환에 대한 행렬값은 카메라 파라미터로부터 결정된다.

다음에, 3차원 모델 생성부(106)는, 사영 및 변환에 의해 구해진 촬상부 좌표 위치에 있는 전경(실루엣 화상)의 값을 판독한다(S502). 3차원 모델 생성부(106)는, S502에서 판독한 값이 1인지 아닌지를 판단한다(S503). 판독한 값이 1인 경우(S503에서 YES), 3차원 모델 생성부(106)는, 그 촬상부 좌표가 실루엣 내라고 판단하여, 3차원의 모든 좌표들에 대해 존재하는 실루엣 내 플래그를 1로 설정한다(S504). 한편, 전경 데이터의 실루엣 화상으로부터 판독한 값이 0인 경우(S503에서 NO), 3차원 모델 생성부(106)는, 그 촬상부 좌표가 실루엣 밖에 있다고 판단하여, 실루엣 내 플래그를 0으로 설정한다(S505).

사영 및 변환후의 촬상부 좌표가 촬영한 화상의 좌표 범위를 초과하는 케이스가 존재한다. 본 실시형태에서는, 이와 같은 촬상부 좌표를 실루엣 "외"로서 취급한다. 그러나, 구성이 이것에 한정되는 것은 아니고, 이와 다른 판단 로직이 사용되어 된다. 예를 들어, 이들 좌표는 볼 수 없는 범위에 있으므로 판단이 불가능하기 때문에, 좌표를 "기타"(판단 불가)로 처리하고, 후단의 판단 로직에 따라 실루엣 "내"로 좌표를 설정하는 것 등이 생각된다. 이렇게, 촬상부 좌표가 화상의 좌표 범위를 넘는 케이스에 대해서는 다양한 알고리즘이 생각된다.

사용해야 할 모든 전경에 대해서 실루엣 내외 판정 처리를 마치면, 처리는 S104 내지 S106의 루프를 빠져나간다. 이어서, 3차원 모델 생성부(106)는, 실루엣 내외 판단 결과를 사용해서 모델 생성 처리를 실시한다(S107). 구체적으로는, 3차원 모델 생성부(106)는, 선택부(109)에 의해 선택된 촬상부의 대수에 대해, 실루엣 내외의 판단 결과인 실루엣 내 플래그에 대해 종합적으로 판단하고, 그 좌표를 "남길 것인지" 또는 "삭제할 것인지"를 결정한다.

본 실시형태에서는, 처리되고 있는 모든 전경에 대해 실루엣 내 플래그가 1인 경우는 "남긴다"의 판단이 행해진다. 처리 대상의 전경에 대해 실루엣 내 플래그들 중에서 1개라도 0인 경우, 그 좌표를 "삭제한다"고 하는 판단이 행해진다. 이 판단의 알고리즘은 단지 일례이며, 다양한 알고리즘을 채용할 수 있다. 예를 들면, "남긴다"인지 "삭제한다"인지를 판단하기 위한 알고리즘은, 상기한 바와 같이, 실루엣 내 플래그를 설정할 때 촬상부 좌표 외의 사영 결과를 어떻게 취급할 것인지와도 관련된다. 처리 대상의 전경에 대해서 얻어진 실루엣 내 플래그 중, 1인 실루엣 내 플래그의 수가 어떤 임계값 이상인 경우에, "남긴다"의 판단이 행해져도 된다.

S107의 처리를 마친 시점에서, 3차원 공간의 처리 대상의 좌표에 대해서, 각 촬상부에서 본 원뿔의 공통 영역을 남기는 처리가 완료하여, 해당 처리 대상의 좌표를 3차원 모델의 일부로 할 것인지 아닌지가 확정한다. 따라서, 상기 처리(S104 내지 S107)를 3차원 공간의 x, y, z 모두에 대해서 실시하면, "남긴다"로 판단된 좌표에 근거하여, 대상이 되는 전경 오브젝트의 모델이 생성된다. 생성된 모델은 3차원 공간의 복셀의 집합인 점군 포맷으로서 출력된다.

3차원 모델 생성부(106)는 출력한 3차원 모델은 기억부(107)에 격납된다. 기억부(107)는, 예를 들면, 화상 처리장치(110)에 내장되어 있는 하드디스크 드라이브(HDD)이다. 이 이외에, 기억부(107)로서, 예를 들면, 화상 처리장치(110)에 내장된 solid-state drive(SSD), 또는 HDD와 SSD의 조합이 사용되어도 된다. 복수의 전경 오브젝트를 처리할 경우에는, 상기한 3차원 생성 처리가 각 오브젝트에 대해서 실행된다.

전술한 바와 같이, 3차원 공간의 전체 좌표에 대해서, 사용된 촬상부의 수에 대응하는 루프(S104 내지 S106)의 수가 존재하므로, 사용된 촬상부의 수를 줄이는 것은 연산량의 저감에 크게 기여한다. 단, 사용된 촬상부의 수와 생성되는 3차원 모델의 정밀도 사이에는 트레이드오프의 관계에 있다. 이에 따라, 일률적으로 사용된 촬상부의 수를 줄이면 연산량은 저감되지만, 모델의 정밀도도 일률적으로 저하해 버려, 바람직한 정밀도를 유지할 수 없다. 따라서, 본 실시형태에서는, 오브젝트 설정부(108)와 선택부(109)를 설치하고, 전경 오브젝트마다 사용할 전경을 결정함으로써, 주목 오브젝트의 3차원 모델의 정밀도는 유지하면서, 전체의 연산량을 억제하는 것을 가능하다.

다음에, 오브젝트 설정부(108)와 선택부(109)에 주목하여 상세한 구성과 처리에 대해서 도 5의 기능 블록도 및 도 6의 흐름도를 참조해서 설명한다.

오브젝트 설정부(108)는 주목 오브젝트를 설정한다. 이하에서는, 도 3a와 같은 부감 화면으로부터 유저가 오브젝트 301a-c를 주목 오브젝트로서 선택했을 경우에 대해서 서술한다. 이때, 오브젝트 설정부(108)는, 도 7의 테이블(801)에 나타낸 것과 같이, 촬상 공간에 존재하는 오브젝트 301a-c 및 302a-g에 식별 정보인 오브젝트 ID를 부가하고, 이들 오브젝트를 관리하고 있다. 오브젝트 설정부(108)는, 주목 오브젝트로 설정된 오브젝트에 대해서 주목 ID를 1로 설정한다. 도 7의 예에서는, 테이블(801)에 있어서, 오브젝트 ID가 1-3인 오브젝트 301a-c가 주목 오브젝트로 설정되어 있다. 유저는, 예를 들면, 부감 화면에 있어서 원하는 오브젝트가 표시되는 영역에 터치함으로써 주목 오브젝트의 지정을 행할 수 있다. 이와 달리, 테이블(801)에서 관리된 오브젝트 ID를 지정함으로써 주목 오브젝트를 지정하여도 된다. 그 경우, 부감 화면에 있어서, 각 오브젝트의 근방에 화상 위에 오브젝트 ID를 표시시켜서, 표시에 있어서 오브젝트에 할당된 오브젝트 ID를 유저가 인식할 수 있다.

다음에, 선택부(109)의 처리의 상세에 대해서 도 5 및 도 6을 참조하여 설명한다. ID 입력부(601)는, 3차원 모델 생성부(106)로부터 현재의 처리 대상의 오브젝트 ID를 받고, 이 오브젝트 ID를 ID 판단부(602)에 보낸다. ID 판단부(602)는 오브젝트 설정부(108)에 의해 생성된 테이블(801)을 참조하여, ID 입력부(601)로부터 받은 오브젝트 ID의 주목 ID에 따라서, 처리되고 있는 오브젝트가 주목 오브젝트인지 아닌지를 판단한다. 결정부(603)는, ID 판단부(602)로부터의 판단의 결과에 근거하여 사용할 촬상부를 결정하고, 판독부(104)에 판독 지시를 보낸다.

ID 판단부(602) 및 결정부(603)의 처리에 대해서, 도 6의 흐름도를 참조하여 더 설명한다. 우선, ID 판단부(602)는, 테이블(801)의 참조에 의해, 처리되고 있는 오브젝트 ID의 주목 ID가 1인지 아닌지 판단한다(S701). 주목 ID가 1로 판단되었을 경우(S701에서 YES), 결정부(603)는, 사용할 전경을 제공하는 촬상부로서 주목 오브젝트를 향하는 촬상부를 선택하도록 결정한다(S702). 본 실시형태에서는, 도 3a에 나타낸 것과 같이, 촬상부 101a-t의 전체가 선택된다. 그러나, 주목 ID가 1이 아닌 것으로 판단되었을 경우(S701에서 NO), 결정부(603)는, 사용할 전경을 제공하는 촬상부로서 비주목 오브젝트를 향하는 촬상부를 선택하도록 결정한다(S703). 본 실시형태에서는, 도 3b에 나타낸 것과 같이, 촬상부 101a, g, k 및 q가 선택된다.

이상의 처리의 결과, 주목 오브젝트인 것으로 판단되는 오브젝트 301a, 301b 및 301c의 3차원 모델 생성에 있어서는, 촬상부 101a-t에 의해 제공되는 전경 모두가 판독된다. 주목 오브젝트라고 판단되지 않은 오브젝트 302a-g의 3차원 모델 생성에 있어서는, 촬상부 101a, 101g, 101k 및 101q에 의해 제공되는 전경이 판독된다. 판독된 전경은 3차원 모델 생성부(106)에 입력되고, 각각의 오브젝트의 3차원 모델의 생성에 사용된다.

처리 대상의 오브젝트가 복수 존재할 경우, 이들 오브젝트에 테이블(801)(도 7)에서 나타내는 바와 같은 오브젝트 ID를 할당하기 전에, 이들 오브젝트를 인식하는 처리를 행하는 것이 필요하게 된다. 3차원 공간에 존재하는 오브젝트를 검지/인식하기 위해서는, 3차원 공간을 탐색하는 어떤 종류의 수단이 필요하다. 예를 들어, Visual Hull 처리가 이용가능하다. 한가지 방법은, 처리에서 사용하는 복셀의 크기를 갖는 것으로 상정되는 오브젝트를 포함하는데 충분히 큰 사이즈를 갖는 입방체에 대해, 3차원 공간 전체에 대하여 처리를 실시한다. 남은 복셀을 독립된 오브젝트로 취급한다. 이와 달리, 어떠한 특징량 검출이나 기계학습을 사용하여 탐색을 행하는 수단 등도 생각할 수 있지만, 본건에서는 탐색 수법이 한정되지 않는다. 구해진 오브젝트 각각에 대하여, 상기한 3차원 모델 생성 처리가 실시된다.

이상과 같이, 제1실시형태에 따르면, 주목 오브젝트의 3차원 모델을 생성할 때, 비주목 오브젝트의 3차원 모델을 생성할 때보다도 많은 수의 전경이 사용된다. 그 결과, 주목 오브젝트의 3차원 모델의 정밀도는 유지하면서, 전체의 연산량을 억제하는 것이 가능해 진다.

상기 실시형태에서는, 3차원 모델의 생성 처리에 있어서, Visual Hull의 처리 알고리즘으로서 SCM을 사용하는 것을 설명했지만, VIM을 사용할 경우에도 실시형태를 적용가능하다. VIM도 모든 촬상부(101)로부터의 전경을 참조하지만, 상기한 선택부(109)를 사용하여 비주목 오브젝트에 대해서는 한정된 수의 전경을 사용하도록 하면 된다. 따라서, VIM 방식으로 처리했을 경우에 있어서도 전체의 연산량을 억제하는 것이 가능하다.

또한, 제1실시형태에서는 주목 오브젝트에 모든 촬상부의 전경을 사용하는 것을 설명했지만, 반드시 모든 전경을 사용할 필요는 없다. 실현하는 특정한 시스템에 대해 전체의 처리량과 필요한 3차원 모델의 정밀도를 균형을 맞추도록 적절한 양(촬상부의 수)을 설정하면 된다. 비주목 오브젝트에 사용하는 촬상부의 수도 마찬가지이다. 제1실시형태에서는 이것이 4개로 했지만, 주목 오브젝트에 사용하는 촬상부의 수보다도 적은 수이면 촬상부의 수에 특별한 제한이 행해지지 않는다.

<제2실시형태>

제1실시형태에서는, 오브젝트 설정부(108)에 의해 유저에 의해 지정된 전경 오브젝트를 주목 오브젝트로 설정하고, 사용할 촬상부의 조합을 전환하였다. 제2실시형태에서는, 촬상 공간으로 지정된 영역에 존재하는 전경 오브젝트를 주목 오브젝트로 설정하고, 사용할 촬상부의 조합을 전환한다. 제2실시형태에 따른 화상처리 시스템의 구성 및 전체적인 처리는 제1실시형태(도 1, 도 2 및 도 3b)와 같다. 제2실시형태에 따른 오브젝트 설정부(108)와 선택부(109)의 구성 및 처리가 제1실시형태와 다르고, 이하, 주로 이것들에 대해 설명한다.

도 8은, 제2실시형태에 따른 선택부(109)의 기능 구성 예를 나타낸 블럭도다. 도 9는, 제2실시형태에 따른, 선택부(109)의 처리를 나타내는 흐름도다. 도 10은, 제2실시형태에 따른 주목 영역의 설정을 설명하는 도면이다.

오브젝트 설정부(108)에 의해 촬상 공간에 주목 영역이 설정된다. 제2실시형태에서는, 도 10과 같은 조작 화면(1101)을 거쳐 유저가 주목 영역을 지정한다. 구체적으로는, 조작 화면(1101)은, 지정된 영역이 3차원으로 표시되어 있는 표시 화면(1102)과, 영역을 지정하기 위한 영역 전체의 부감 화면인 영역 지정 화면(1103)을 포함한다. 유저는 영역 지정 화면(1103)에서 영역 지정 포인터(1105)를 조작 디바이스인 마우스를 사용하여 조작하여, 주목 영역(1104)을 설정한다. 마우스에 의해 2점을 지정하면, 지정된 2점을 모서리로 하는 사각형 영역이, 주목 영역(1104)으로서 설정된다. 높이 방향의 지정에 대해서는 미리 정해진 고정값이 사용되어, 3차원의 주목 영역(1106)이 설정되고, 표시 화면(1102)에 표시된다. 이때, 영역 형상의 지정 수단에 대해서는 제한이 없다. 2점 지정을 사용하여 표현된 사각형 이외에, 영역 지정 화면(1103)에서 지정되는 영역은, 4점 모두를 지정하여 얻어진 원하는 사각형이거나, 이 영역이 원형으로서의 지정이거나, 자유곡선으로의 지정이어도 된다. 또한, 지정하는 디바이스에 대해서도 제한은 없고, 마우스 대신에 터치 패드나 방향 키 등을 사용해도 된다. 마지막으로, 높이 방향에 대해서 고정값을 사용했지만, 이 값은 유저에 의해 지정할 수 있도록 하여도 된다.

다음에, 제2실시형태에 따른 선택부(109)의 상세에 대해 설명한다. 3차원 모델 생성부(106)로부터 현재 처리되고 있는 오브젝트의 좌표(오브젝트 좌표)를 좌표 입력부(901)에서 받은 후, 영역 판단부(902)에 보낸다. 영역 판단부(902)는 오브젝트 설정부(108)로부터 보내지는 주목 영역의 정보와 좌표 입력부(901)로부터의 오브젝트 좌표를 비교하여, 판단 결과를 결정부(603)에 전달한다. "주목 영역의 정보"는, 도 10에서 설정된 3차원의 주목 영역(1106)의 범위를 나타내는 좌표의 정보다. 예를 들면, 주목 영역의 정보는, x, y및 z의 3차원 좌표에 대한 주목 영역에 대응하는 범위를 나타낸다. 이때, 주목 영역의 정보를 유지하는 형식에 대해서 하등 제한은 없다. 예를 들면, 가장 단순하게는, 주목 영역의 모든 좌표를 리스트로서 유지해도 된다. 이와 달리, 어떠한 수식에 의해 주목 영역을 표현하여도 된다. 단순한 사각형 지정이면 x, y 및 z의 좌표값의 각각에 대해 범위를 규정함으로써 설정 영역을 표현할 수 있다. 결정부(603)는 상기한 대조 결과에 근거하여 판독된 전경을 제공하는 촬상부를 결정하고, 판독부(104)에 판독 지시를 보낸다.

다음에, 제2실시형태에 따른 선택부(109)에 의해 행해지는 촬상부의 선택 처리에 대해서 도 9의 흐름도를 참조하여 설명한다. 우선, 영역 판단부(902)는, 처리되고 있는 세계좌표(좌표 입력부(901)가 취득한 오브젝트 좌표)가, 오브젝트 설정부(108)에서 설정된 주목 영역 내에 있는지 아닌지를 판단한다(S1001). 처리되고 있는 세계좌표가 주목 영역 내에 있는 경우(S1001에서 YES)에는, 결정부(603)는, 사용할 전경을 제공하는 촬상부로서 주목 오브젝트를 향하는 촬상부(101)를 선택한다(S1002). 그러나, 처리되고 있는 세계좌표가 주목 영역 내에 있지 않을 경우(S1001에서 NO)는, 결정부(603)는, 사용할 전경을 제공하는 촬상부로서 비주목 오브젝트를 향하는 촬상부(101)를 선택한다(S1003), 예를 들면, 도 11a에 나타낸 것과 같이, 주목 영역 내부에 있는 것으로 판단된 오브젝트 301a, 301b, 301c는, 주목 오브젝트로 판단된다. 이들 오브젝트의 3차원 모델의 생성에 사용되는 전경을 제공하는 촬상부로서 촬상부 101a-t의 모두가 선택된다. 한편, 도 11b에 나타낸 것과 같이, 주목 영역(1104)의 외측에 존재하는 오브젝트 302a-g는, 비주목 오브젝트로 판단된다. 이들 오브젝트의 3차원 모델의 생성에 사용되는 전경을 제공하는 촬상부로서 촬상부 101a, 101g, 101k, 101q가 선택된다.

이상과 같이, 제2실시형태에 따르면, 개별의 오브젝트에 주목하는 것이 아니고, 축구 골 앞의 영역 등과 같은, 유저가 지정한 특정한 영역에 존재하는 오브젝트에 주목한 상황을 취급할 수 있다. 주목 오브젝트를 영역으로서 지정하는 것은, 골 앞의 영역을 벗어나는 플레이어의 중요도를 낮추고, 골 앞의 영역에 들어온 플레이어의 중요도를 높이도록 하는 상황을 취급할 수 있다.

이때, 오브젝트가 주목 영역 내에 있는지 아닌지의 판정의 기준으로서는, 다양한 기준을 생각할 수 있다. 예를 들어,

- 오브젝트의 전체가 주목 영역 내인 경우에, 그 오브젝트는 주목 영역 내에 있는 것으로 판정하거나,

- 오브젝트의 적어도 일부가 주목 영역 내인 경우에 그 오브젝트는 주목 영역 내에 있는 것으로 판정하거나, 또는

- 오브젝트의 중심(무게중심)이 주목 영역 내이면 그 오브젝트는 주목 영역 내에 있는 것으로 판정한다.

이 주목 영역 내에 오브젝트의 일부라도 있는 경우에 그 오브젝트를 주목 오브젝트로 취급함으로써, 오브젝트의 일부만이 고선명을 가짐으로써 발생되는 화질의 열화를 방지할 수 있다.

제3실시형태

제2실시형태에서는, 설정된 주목 영역을 고정한다. 제3실시형태에서는, 주목 오브젝트의 이동에 따라 주목 영역을 이동 및/또는 변형시키는 구성을 설명한다. 제3실시형태는, 제2실시형태에서 설명한 내용으로부터 오브젝트 설정부(108)의 처리를 변경하므로, 이하, 주로 제2실시형태와 상이한 구성에 대해 주로 설명한다.

우선, 지정된 주목 영역 내의 오브젝트의 움직임에 추종하여 주목 영역의 위치를 변화시키는(이동시키는) 구성을 설명한다. 도 12a 및 도 12b는, 제3실시형태에 따른 주목 영역의 설정 방법을 설명하는 도면이다. 도 12a에 있어서 유저가 주목 영역 1401을 설정한 것으로 가정한다. 주목 영역의 설정 방법은 제2실시형태와 같다. 주목 영역 1401에는 오브젝트 1402가 존재하고 있다. 도 12b는 도 12a의 상태로부터 설정된 양의 시간의 경과후의 상태를 나타내고 있고, 도 12b에서는, 오브젝트 1402가 오브젝트 1502의 위치로 이동하였다. 그 결과, 주목 영역 1401도, 오브젝트 1402의 이동에 추종하여, 주목 영역 1501으로 재설정되어 있다.

도 13a 및 도 13b는, 제3실시형태에 따른 주목 영역의 설정 방법의 다른 예를 설명하는 도면이다. 도 13a 및 도 13b에서는, 지정된 주목 영역 내의 오브젝트의 움직임에 추종하여 주목 영역의 크기 또는 형상을 변화시킨다. 도 13a에 있어서 유저가 주목 영역 1601을 설정한 것으로 가정한다. 주목 영역 1601에는 인물인 오브젝트 1602와 볼인 오브젝트 1603이 존재하고 있다. 도 13b는 도 13a의 상태로부터 설정된 양의 시간의 경과 후의 상태를 나타내고 있고, 오브젝트 1602는 이동하고 있지 않지만 오브젝트 1603이 오브젝트 1702의 위치로 이동하였다. 주목 영역 1601이 그 상태에서는 오브젝트 1602와 오브젝트 1702의 영역을 커버할 수 없지만, 이들 오브젝트를 포함하는 주목 영역(1701)으로 주목 영역이 재설정된다.

전술한 2가지 케이스에 있어서의 주목 영역의 재설정 처리에 대해서 도 14의 흐름도를 참조해서 설명한다. 우선, 오브젝트 설정부(108)는, 유저의 수동 조작에 따라, 촬상 공간에 주목 영역을 설정한다(S1801). 주목 영역이 설정되면, 오브젝트 설정부(108)는, 주목 영역 내부의 오브젝트를 검지한다(S1802). 오브젝트를 검지하기 위한 수단에 대해 특별한 제한은 없지만, 오브젝트의 이동을 추적하기 위해서, 오브젝트를 다른 오브젝트와 구별할 필요가 있다. 그 때문에, 특징량을 추출하여, 오브젝트를 인식 및 구별한다. 이와 같은 특징량을 추출하기 위한 알고리즘의 예로서, Scale-Invariant Feature Transform(SIFT), Speeded Up Robust Features(SURF) 등을 들 수 있다.

특징량의 추출로부터, 오브젝트의 수와, 각각의 오브젝트를 인식하는 특징량과 위치 정보가 얻어진다. 오브젝트는 크기를 갖기 때문에, 오브젝트의 위치 정보는, 오브젝트 중심의 좌표를 유지하도록 유지되는 것으로 가정한다. 이때, 오브젝트의 외곽 입방체 영역인 바운딩 박스(bounding box)나 좌표 중심으로부터 설정된 범위를 뻗는 구 등의, 좌표의 범위를 통해, 오브젝트의 위치 정보를 관리하여도 된다.

오브젝트 설정부(108)는, 유저가 미리 정한 설정된 양의 시간에 결과할 때마다 주목 영역 내에서 오브젝트가 이동하였는지 아닌지를 판단한다(S1803). 예를 들면, 오브젝트 설정부(108)는, 오브젝트의 검지를 매번 행하여, 얻어진 오브젝트의 위치 정보를 전회 검지한 위치 정보와 비교함으로써 이동량을 취득한다. 오브젝트 설정부(108)는, 취득된 이동량이 미리 정해진 임계값을 초과하는 경우에는, 오브젝트가 이동했다고 판단한다.

오브젝트가 이동했다고 판단되었을 경우(S1803에서 YES), 이동전의 주목 영역 내의 오브젝트가 이동한 위치를 포함하도록, 주목 영역의 재설정을 행한다(S1804). 예를 들면, 도 12a 및 도 12b에서 도시한 바와 같이, 주목 영역에 존재하는 1개의 오브젝트를 추종하는 경우, 그 오브젝트의 위치(예를 들면, 무게중심)에 대한 주목 영역의 위치가 유지되도록 주목 영역이 이동한다. 이 경우, 주목 영역의 크기는 변경되지 않는다. 도 13a 및 도 13b에서 도시한 바와 같이 주목 영역에 존재하는 복수의 오브젝트를 추종하는 경우, 최초에 설정된 주목 영역을 포함하고, 또한, 추종되고 있는 복수의 오브젝트를 포함하도록 주목 영역이 변형된다.

주목 영역 내의 오브젝트가 이동했는지를 판단할 때에(S1803), 새롭게 주목 영역 내에 들어온 오브젝트는 무시된다. 즉, S1801에서 주목 영역이 설정되었을 때에 S1802에서 검출된 오브젝트를 이동이 추종 대상인 주목 오브젝트로 하고, S1803 이후의 루프에서 새롭게 주목 영역에 들어온 오브젝트는 추종 대상으로 하지 않는다. 이것은, 이동전의 오브젝트에 대한 기준이 존재하지 않기 때문이다. 또한, 주목 영역이 재설정된 결과(S1804) 주목 영역 내에 새롭게 존재하는 오브젝트는, S1803에 있어서의 이동을 판단하기 위한 주목 오브젝트로서, 즉 이동의 추종 대상인 오브젝트로 사용되지 않는다. 단, 3차원 모델의 생성에 있어서는, 이동전의 주목 영역과 이동후의 주목 영역 모두에 대해, 주목 영역에 존재하는 오브젝트는 주목 오브젝트로서 취급된다. 이렇게, 시간의 경과에 따른 오브젝트의 이동에 따라 이동이 검지되고(S1803) 주목 영역이 재설정된다(S1804). 유저가 재설정 처리의 종료 지시를 내리면(S1805), 주목 영역의 재설정 처리가 종료된다.

이때, 유저는, 설정된 주목 영역을, 제3실시형태에서 설명한 바와 같이 주목 영역 내의 오브젝트를 추종하도록 이동/변형할지, 또는 제2실시형태와 같이 주목 영역을 고정할지를 선택 가능하게 해도 된다. 또한, 유저는, 게임의 도중 등에, 오브젝트 설정부(108)를 거쳐 수동으로 주목 영역을 변경할 수 있도록 하여도 된다.

이상과 같이 제3실시형태에 따르면, 지정된 주목 영역에 존재하는 오브젝트가 이동하는 경우에도, 유저가 주목 영역을 재설정할 필요가 없이, 주목 영역 내의 오브젝트에 자동적으로 추종하는 것이 가능해진다.

제4실시형태

제1 내지 제3실시형태에서는, 3차원 모델 생성의 처리 대상이 주목 오브젝트인지 아닌지에 따라 사용되고 있는 촬상부(전경)의 조합을 변경하였다. 제4실시형태에서는, 주목 영역 내의 주목 오브젝트와 주목 영역 내의 소정의 위치의 거리에 근거하여, 복수의 촬상부로부터 선택된 촬상부의 조합을 변경한다. 제4실시형태에 따른 구성은 도 1에 나타낸 제1실시형태의 구성과 같다. 그러나, 선택부(109)의 처리가 일부 다르고, 도 15a, 도 15b 및 도 16을 참조하여 설명한다. 단, 선택부(109)의 구성은, 제2실시형태(도 8)와 같다. 이하에서는, 주목 영역 내의 소정의 위치로서, 주목 영역의 중심을 사용한 예를 설명한다.

도 15a에서는 주목 영역이 1901로 표시되어 설정되어 있다. 주목 영역(1901) 내에 존재하는 오브젝트는 주목 오브젝트로 설정된다. 여기에서, 주목 영역(1901)의 중심(1902) 근방에 오브젝트 1903이 위치하고 있고, 모든 촬상부 101a-t로부터 전경을 사용해서 오브젝트 1903의 3차원 모델 생성이 실시된다. 도 15b에서 나타낸 것과 같이, 오브젝트 2001도 주목 영역(1901)에 포함되어 있다. 여기에서, 오브젝트 2001은, 주목 영역의 중심(1902)에서 떨어진 위치에 존재하기 때문에, 10대의 촬상부(101), 즉 촬상부 101a, c, e, g, i, k, m, o, q, s로부터의 전경을 사용해서 오브젝트 2001의 3차원 모델 생성이 실시된다.

다음에, 도 16의 흐름도를 참조해서 선택부(109)의 처리에 대해서 서술한다.

선택부(109)의 영역 판단부(902)가 처리되고 있는 주목 오브젝트가 주목 영역 내부에 있는 것으로 판단했을 경우에(S1001에서 YES), 그 주목 오브젝트와 주목 영역의 중심 거리를 산출한다(S2001). 거리를 산출할 때에 사용하는 오브젝트의 위치로서 오브젝트의 중심이 사용된다. 상기한 바와 같이 오브젝트는 일정한 크기를 갖기 때문에, 오브젝트의 위치를 표현하는 방법은 다양하며, 이 위치가 중심에 한정되는 것은 아니다.

결정부(603)는, S2001에서 산출된 주목 영역의 중심과 처리되고 있는 오브젝트의 거리에 따라, 3차원 모델 생성에 사용하는 전경을 제공하는 촬상부를 선택한다(S2002). 결정부(603)는, 주목 영역 내의 소정의 위치와 처리되고 있는 오브젝트의 거리(S2001에서 산출된 거리)가 커질수록 선택된 촬상부의 수를 감소시킨다. 본 실시형태에서는, 거리와 어떤 촬상부를 선택할지의 관계는 미리 테이블로서 유지하고 있는 것으로 가정한다. 예를 들면, 산출한 거리를 x로 표시하고, 임계값을 α로 표시하면, 이하와 같은 테이블이 된다.

· x<α: 전체의 촬상부(101)를 사용

· x≥α: 촬상부 101a, c, e, g, i, k, m, o, q, s를 사용

처리되고 있는 오브젝트가 주목 영역 내에 없었을 경우(S1001에서 NO), 결정부(603)는, 사용할 전경을 제공하는 촬상부로서, 비주목 오브젝트를 향하는 촬상부(101)를 선택한다(S1003). 이 처리는 제2실시형태(도 9의 S1001, S1003)와 같다. 본 실시형태에서는 주목 영역의 중심과 오브젝트의 거리를 사용했지만 구성이 이것에 한정되는 것은 아니다. 예를 들면, 유저가 주목 영역 내에 설정한 임의의 점과 오브젝트의 거리를 사용하거나, 어떤 소정의 오브젝트(예를 들면, 골 또는 볼)의 중심과 처리되고 있는 오브젝트의 거리를 사용해도 된다.

또한, 도 15b에서는 전체의 배치 중에서 한 개 걸러 촬상부(101)를 선택하고 있지만, 이 방법에 선택 방법이 한정되는 것은 아니다. 예를 들면, 전체의 배치 중에서 2개 걸러 촬상부(101)를 선택하여도 된다. 복수의 촬상부가 촬상 공간의 주위에 등간격으로 배치되어 있을 때, 설정된 간격으로 촬상부를 선택하면, 3차원 모델에 있어서의 정밀도 저하는 시야에 의존하지 않게 된다. 또한, 본 실시형태에서는, 주목 영역이 필드의 좌측 절반을 향해 치우쳐 있다. 그 때문에, 주목 영역에 가까운 촬상부에 우선도가 부여되어, 도 15a의 촬상부 101a-d 및 101n-t를 사용해도 된다. 단, 3차원 모델을 생성할 경우, 각각의 촬상부(101)가 커버하는 시야각이 중요해진다. 명확하게 촬영할 수 없는, 즉 보이지 않고 있는 범위가 존재할 경우, 그 범위에 대해서 정확하게 3차원 모델을 생성하는 것은 원리적으로 불가능하다. 그 때문에, 생성된 모델의 정밀도, 더구나 정밀도가 중요하다고 생각되는 방향을 유저가 선택하고 결정하여, 전술한 테이블로서 미리 설정하는 것으로 가정한다.

이상과 같이 제4실시형태에 따르면, 주목 영역에 존재하는 오브젝트에 대해서도, 3차원 모델 정밀도에 대한 우선도를 단계적으로 설정함으로써 보다 전체의 연산량을 억제하는 것이 가능해 진다. 오브젝트의 우선도의 설정 방법은, 주목 영역 내의 오브젝트의 위치에 한정되지 않고, 다양한 방법을 채용하는 것이 가능하다. 예를 들면, 유저가 미리 오브젝트마다 우선도를 설정하거니, 유저가 높은, 중간 및 낮은 우선도의 영역들을 지정하여도 된다. 이와 달리, 특정한 팀의 선수 등과 같이 같은 영역 내의 특정한 오브젝트에 더 높은 우선도를 할당해도 된다. 더구나, 촬영 대상이 구기이면, 오브젝트의 볼로부터의 거리에 따라 자동으로 오브젝트의 우선도가 설정되도록 하여도 된다. 이렇게, 오브젝트의 우선도의 설정 방법은 다양한 방법이 있다.

제5실시형태

제1 내지 제4실시형태에서는, 복수의 화상(전경)을 사용한 화상처리로서, 처리 대상의 3차원 모델을 생성하는 처리를 예시하였다. 제5실시형태에서는, 화상처리로서, 처리 대상의 임의 시점으로부터의 화상을 렌더링하는 처리를 적용할 경우를 설명한다. 제5실시형태의 화상 처리장치의 구성을 도 17에 나타낸다. 렌더링부(2201)와 화상 출력부(2202) 이외의 구성은 제1실시형태의 구성과 같다. 또한, 기억부(107)가 전경 수신부(103)에 직접 접속되어 있고, 전체 촬상부(101)로부터의 모든 화상은 기억부(107)에 격납된다. 판독부(104)가 선택부(109)로부터의 지시에 따라서 전경을 판독하는 대상이 기억부(107)로 되어 있다.

렌더링부(2201)는 제1실시형태 등의 3차원 모델 생성 처리와는 다른 처리를 행한다. 즉, 렌더링부(2201)는, 생성된 3차원 모델에 대하여 착색하고, 유저가 원하는 시점으로부터 2차원 좌표에 사영한 상태를 렌더링 결과로서 출력한다. 유저가 원하는 시점에 관한 정보는 가상의 촬상부로부터의 시점인 가상 시점으로서 입력되고, 카메라 파라미터와 같은 형식으로 입력된다. 이때, 전경 오브젝트의 3차원 모델은 기억부(107)에 기억되어 있고, 판독부(104)에 의해 판독되어, 렌더링부(2201)에 제공되는 것으로 가정한다. 3차원 모델을 생성하는 구성은, 전경 수신부(103), 화상 처리장치(110), 또는, 이들 장치와는 다른 장치에 설치되어도 된다. 3차원 모델은, 제1 내지 제4실시형태에서 설명한 방법으로 생성된 것이라도 된다.

출력한 렌더링 결과는 화상 출력부(2202)에 송신되고, 화상 출력부(2202)는 렌더링 결과를 화상 형식으로 변환해서 결과적으로 얻어진 화상을 출력한다. 출력하는 화상 형식은 DVI인 것으로 가정하지만, 이것에 한정되는 것은 아니다. DVI 이외의 형식의 에로는, SDI, 동화상 파일을 네트워크 상에서 스트리밍하는 것 등을 들 수 있다.

렌더링부(2201)는 유저가 원하는 시점을 가상 시점 설정부(2203)으로부터 받고, 가상 시점으로부터의 시야 내부의 오브젝트를 판정한다. 렌더링부(2201)로부터 선택부(109)에 건네지는 정보는 제1실시형태와 마찬가지로 이들 오브젝트의 오브젝트 ID다.

오브젝트 설정부(108) 및 선택부(109)의 처리서도 제1실시형태와 유사하다. 즉, 렌더링 처리에 사용하는 촬상부(전경)가 선택된다. 렌더링 처리에 있어서도, 촬상부(전경)의 수가 처리부하에 영향을 미치는 파라미터가 된다. 예를 들면, 렌더링 처리의 일부에서는, 어떤 시점에서 본 색을 착색할 경우에, 촬상부(101)의 각각으로부터 보이는 색을 참조하여, 렌더링 대상과 가까운 촬상부(101)의 색을 가중하면서 혼합처리가 행해진다. 이렇게 렌더링 처리에 있어서도 복수의 촬상부로부터의 전경 데이터를 참조하는 처리가 존재한다. 따라서, 도 17에 나타낸 것과 같은 구성에 의해 주목 오브젝트가 되는 렌더링 대상에 대해서만 정밀도를 유지하면서, 전체의 연산량을 저감하는 것이 가능해 진다.

제2, 제3 및 제4실시형태에서 설명한 촬상부의 선택 방법도 도 17의 구성에 적용하는 것이 가능하므로, 렌더링 처리에 대해서도 제2, 제3 및, 제4실시형태와 동일한 효과를 달성할 수 있다. 상기에서는 3차원 모델을 사용한 렌더링("모델 베이스 렌더링"으로 알려져 있다)에의 적용 예를 설명했지만 적용이 이것에 한정되는 것이 아니다. 예를 들면, 3차원 모델을 사용하지 않는 이미지 베이스 렌더링에도 본 발명을 적용하는 것이 가능하다.

이상 제1 내지 제4실시형태에 따르면, 특정한 오브젝트의 3차원 모델의 생성의 정밀도보다도, 이 특정한 오브젝트와 다른 오브젝트의 3차원 모델의 생성의 정밀도를 낮게 한다. 제5실시형태에 따르면, 특정한 오브젝트의 렌더링을 위해 사용하는 촬상부의 수보다도, 이 특정한 오브젝트와 다른 오브젝트의 렌더링을 위해 사용하는 촬상부의 수를 적게 한다. 이에 따라, 특정한 오브젝트의 처리 정밀도의 저하를 억제하면서, 전체의 연산량을 억제할 수 있다. 상기한 실시형태에서는, 주목 오브젝트의 설정 방법의 예로서, 유저가 주목 오브젝트를 개별로 지정하는 방법, 유저가 주목 영역을 지정하는 방법 등을 들어 설명하였다. 그러나, 이 방법은 상기한 예에 한정되지 않는다. 예를 들면, 구기 시합을 촬영하고 있는 경우에는, 볼의 가까이에 있는 선수를 주목 오브젝트로서 자동으로 인식하거나, 단위시간당의 움직임 량이 큰 선수를 주목 오브젝트로서 자동으로 인식하여도 된다. 또한, 사람이 밀집하고 있는 영역에 존재하는 오브젝트를 주목 오브젝트로서 자동으로 인식하여도 된다. 또한, 복수의 방법을 유저가 임의로 선택할 수 있도록 하여도 된다.

상기한 실시형태에 따르면, 복수의 촬상부로부터의 화상을 사용한 화상처리에 있어서, 복수의 오브젝트 중 특정한 오브젝트의 처리 정밀도의 저하를 억제하면서 전체의 연산량을 억제할 수 있다.

기타 실시형태

본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)^TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.

본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims

촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상처리를 실행하는 화상 처리장치로서,
상기 촬상 공간 내의 복수의 오브젝트 중에서 특정 오브젝트를 식별하는 식별 수단과,
상기 촬상 공간 내의 상기 복수의 오브젝트에 대하여 상기 가상 시점 화상의 생성을 위한 화상처리를 행하는 처리 수단을 구비하고,
상기 처리 수단은, 상기 식별 수단에 의해 식별된 특정 오브젝트에 대한 화상처리를, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행하는 화상 처리장치.
제 1항에 있어서,
상기 처리 수단에 의해 실행된 화상처리는, 오브젝트의 3차원 모델을 생성하는 처리인 화상 처리장치.
제 1항에 있어서,
상기 처리 수단에 의해 실행된 화상처리는, 오브젝트의 임의 시점으로부터의 화상을 렌더링하는 처리인 화상 처리장치.
제 1항에 있어서,
상기 특정 오브젝트를 위한 화상처리가 상기 다른 오브젝트들을 위한 화상처리보다도 많은 촬상부에 의해 촬상된 화상을 사용해서 실행되도록, 상기 특정 오브젝트에 대한 화상처리에서 사용되는 화상을 제공하는 촬상부와, 상기 다른 오브젝트들에 대한 화상처리에서 사용되는 화상을 제공하는 촬상부를 선택하는 선택 수단을 더 구비한 화상 처리장치.
제 1항에 있어서,
상기 복수의 촬상부에 의해 촬상된 촬상 공간 내에 존재하는 오브젝트를 식별자에 근거하여 관리하는 관리 수단과,
유저로부터의 식별자의 지정을 접수하는 접수수단을 더 구비하고,
상기 식별 수단은, 상기 관리 수단에 의해 관리되는 복수의 식별자 중 상기 접수수단에 의해 접수된 지정에 대응하는 식별자에 대응하는 오브젝트를 상기 특정 오브젝트로서 식별하는 화상 처리장치.
제 1항에 있어서,
상기 촬상 공간 내의 오브젝트의 지정을 유저로부터 접수하는 접수수단을 더 구비하고,
상기 식별 수단은 상기 접수수단에 의해 접수된 지정에 대응하는 오브젝트를 상기 특정 오브젝트로서 식별하는 화상 처리장치.
제 1항에 있어서,
상기 촬상 공간 내의 영역의 지정을 유저로부터 접수하는 접수 수단을 더 구비하고,
상기 식별 수단은 상기 접수수단에 의해 접수된 지정에 대응하는 영역에 존재하는 오브젝트를 상기 특정 오브젝트로서 식별하는 화상 처리장치.
제 1항에 있어서,
상기 식별 수단은, 상기 복수의 촬상부에 의한 촬상 공간 내에 설정된 주목 영역의 내부에 존재하는 오브젝트를 상기 특정 오브젝트로서 식별하는 화상 처리장치.
제 8항에 있어서,
상기 식별 수단은, 상기 주목 영역 내의 오브젝트의 움직임에 추종하도록 상기 주목 영역의 위치, 크기 및 형상 중 적어도 한 개를 변화시키는 화상 처리장치.
제 8항에 있어서,
상기 처리 수단은, 상기 주목 영역 내의 상기 특정 오브젝트와 상기 주목 영역 내의 소정의 위치의 거리에 근거하여, 상기 복수의 촬상부로부터 선택할 촬상부의 조합을 설정하는 화상 처리장치.
제 10항에 있어서,
상기 거리가 커질수록 선택되는 촬상부의 수가 감소하는 화상 처리장치.
제 8항에 있어서,
상기 처리 수단은, 상기 복수의 촬상부 중에서, 상기 주목 영역에 더 가까운 촬상부를 우선적으로 선택하는 화상 처리장치.
촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상처리를 실행하는 화상 처리방법으로서,
상기 촬상 공간 내의 복수의 오브젝트로부터 특정 오브젝트를 식별하는 단계와,
상기 촬상 공간 내의 상기 복수의 오브젝트에 대하여 상기 가상 시점 화상의 생성을 위한 화상처리를 행하는 단계를 포함하고,
식별된 상기 특정 오브젝트에 대한 화상처리는, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행되는 화상 처리방법.
컴퓨터에, 촬상 공간을 다른 시점들에서 촬상하는 복수의 촬상부에 의해 촬상된 복수의 화상을 사용하여 가상 시점 화상의 생성을 위한 화상 처리를 실행하는 화상 처리방법을 실행시키기 위해 매체에 기억된 컴퓨터 프로그램으로서,
상기 화상 처리방법은,
상기 촬상 공간 내의 복수의 오브젝트로부터 특정 오브젝트를 식별하는 단계와,
상기 촬상 공간 내의 상기 복수의 오브젝트에 대하여 상기 가상 시점 화상의 생성을 위한 화상처리를 행하는 단계를 포함하고,
식별된 상기 특정 오브젝트에 대한 화상처리는, 다른 오브젝트들에 대해 실행된 화상처리보다도 많은 촬상부들에 의해 촬상된 화상을 사용해서 실행되는 컴퓨터 프로그램.