KR20190137939A - 표시 제어 장치 및 표시 제어 방법 - Google Patents

표시 제어 장치 및 표시 제어 방법 Download PDF

Info

Publication number
KR20190137939A
KR20190137939A KR1020197035475A KR20197035475A KR20190137939A KR 20190137939 A KR20190137939 A KR 20190137939A KR 1020197035475 A KR1020197035475 A KR 1020197035475A KR 20197035475 A KR20197035475 A KR 20197035475A KR 20190137939 A KR20190137939 A KR 20190137939A
Authority
KR
South Korea
Prior art keywords
virtual viewpoint
virtual
display control
viewpoints
image
Prior art date
Application number
KR1020197035475A
Other languages
English (en)
Other versions
KR102207457B1 (ko
Inventor
야스오 오쿠타니
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190137939A publication Critical patent/KR20190137939A/ko
Application granted granted Critical
Publication of KR102207457B1 publication Critical patent/KR102207457B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/04—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of a single character by selection from a plurality of characters, or by composing the character by combination of individual elements, e.g. segments using a combination of such display devices for composing words, rows or the like, in a frame with fixed character positions
    • G09G3/06—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of a single character by selection from a plurality of characters, or by composing the character by combination of individual elements, e.g. segments using a combination of such display devices for composing words, rows or the like, in a frame with fixed character positions using controlled light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 표시 제어 장치는 복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시한다. 복수의 가상 시점 중 위치 및 방향 조작 대상으로서 선택된 가상 시점에 대응하는 가상 시점 화상이, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어지는 복수의 촬상 화상에 기초하여 생성되며, 다른 장치에 송신된다.

Description

표시 제어 장치 및 표시 제어 방법
본 발명은, 촬상 화상에 기초하는 가상 시점 화상을 표시하는 기술에 관한 것이다.
근년, 상이한 위치에 배치된 복수의 카메라를 사용하여 다시점에서 동기 촬상을 행하고, 해당 촬상에 의해 얻어진 복수의 화상(복수 시점 화상)을 사용하여 카메라 설치 위치로부터의 화상뿐만 아니라 임의의 시점(가상 시점)으로부터의 화상(가상 시점 화상)을 생성하는 기술이 주목받고 있다.
복수 시점 화상에 기초하는 가상 시점 화상의 생성 및 열람은 다음과 같은 처리에 의해 실현될 수 있다. 즉, 복수의 카메라가 촬상한 화상을 서버 등의 화상 처리 유닛에 집약하고, 해당 화상 처리 유닛에서 가상 시점에 기초하는 렌더링 등의 처리를 행하여 가상 시점 화상을 생성하며, 해당 가상 시점 화상을 유저 단말에 표시한다.
가상 시점 화상을 사용한 서비스는, 예를 들어 축구 시합이나 농구 시합을 촬상하여 얻은 영상으로부터, 영상 제작자가 박력이 있는 시점의 콘텐츠를 제작할 수 있게 한다. 또한, 해당 서비스는 콘텐츠를 시청하고 있는 유저가 자유롭게 그/그녀의 시점을 이동시키면서 시합을 관전할 수 있도록 하여, 유저에게 높은 현실성을 제공한다. 특허문헌 1은 유저가 복수의 가상 시점 중 하나를 선택하는 기술을 개시하고 있다.
일본 특허 공개 제2014-215828호
특허문헌 1에 기재된 발명에 따르면, 유저는 복수 준비된 가상 시점 중에서 하나를 선택하여, 선택된 가상 시점에서의 가상 시점 화상을 표시할 수 있다. 또한, 가상 시점의 대략적인 위치가 문자열로 표시되기 때문에, 가상 시점을 구별할 수 있다. 그러나, 예를 들어 스포츠의 생중계에서 가상 시점의 오퍼레이터가 이용하는 경우, 가상 시점의 전환 전에는, 전환 후의 가상 시점 화상에 무엇이 나타나는지를 알 수 없다. 따라서, 경기에 따른 가상 시점을 적절히 선택하는 것이 불가능할 수 있다. 본 발명은, 유저가 적절한 가상 시점을 선택할 수 있게 하는 기술을 제공한다.
본 발명의 일 양태에 따르면, 표시 제어 장치로서, 복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 수단, 및 상기 취득 수단에 의해 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 수단을 포함하고, 상기 복수의 가상 시점 중 위치 및 방향 조작 대상으로서 선택된 가상 시점에 대응하는 가상 시점 화상은, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어지는 복수의 촬상 화상에 기초하여 생성되고, 다른 장치에 송신되는 것을 특징으로 하는 표시 제어 장치가 제공된다.
본 발명에 따른 구성은 유저가 적절한 가상 시점을 선택하게 할 수 있다.
본 발명의 기타의 특징 및 이점은 첨부 도면과 함께 이하의 설명으로부터 명확해질 것이며, 도면 전체에서 동일한 참조 부호는 동일하거나 유사한 부품을 나타낸다.
명세서에 통합되며 그 일부를 구성하는 첨부 도면은 본 발명의 실시형태를 나타내며, 설명과 함께 본 발명의 원리를 설명하는 역할을 한다.
도 1은 시스템의 배치예를 도시하는 블록도이다.
도 2는 표시 제어 장치(100)의 기능 배치예를 도시하는 블록도이다.
도 3은 시스템이 행하는 처리를 예시하는 흐름도이다.
도 4a는 표시 화면의 배치예를 도시하는 도면이다.
도 4b는 가상 시점의 배치예를 도시하는 도면이다.
도 5는 "복수의 가상 시점에 관한 정보"의 구성예를 도시하는 테이블이다.
도 6은 표시 제어 장치(100)의 기능 구성예를 도시하는 블록도이다.
도 7은 시스템이 행하는 처리를 예시하는 흐름도이다.
도 8은 입력 디바이스의 일례를 도시하는 도면이다.
도 9a는 시스템이 행하는 처리를 예시하는 흐름도이다.
도 9b는 시스템이 행하는 처리를 예시하는 흐름도이다.
도 10은 표시 제어 장치(100)의 기능 배치예를 도시하는 블록도이다.
도 11a는 시스템이 행하는 처리를 예시하는 흐름도이다.
도 11b는 시스템이 행하는 처리를 예시하는 흐름도이다.
도 12a는 제4 실시형태를 설명하는 도면이다.
도 12b는 제4 실시형태를 설명하는 테이블이다.
도 13a는 제4 실시형태를 설명하는 테이블이다.
도 13b는 제4 실시형태를 설명하는 테이블이다.
도 13c는 제4 실시형태를 설명하는 테이블이다.
도 13d는 제4 실시형태를 설명하는 테이블이다.
도 13e는 제4 실시형태를 설명하는 테이블이다.
도 13f는 제4 실시형태를 설명하는 테이블이다.
도 14a는 가상 시점 세트의 예를 도시하는 도면이다.
도 14b는 테이블 정보의 구성예를 도시하는 테이블이다.
이하, 첨부 도면을 참조하여 실시형태에 대해서 설명한다. 이하에서 설명하는 실시형태는, 본 발명의 구체적인 실현예 또는 첨부된 청구항에 설명된 구성의 구체적인 예라는 것에 유의한다.
[제1 실시형태]
도 1에 도시된 블록도를 참고하여 본 실시형태에 따른 시스템의 구성예에 대해서 설명한다. 도 1에 도시한 바와 같이, 본 실시형태에 따른 시스템은 표시 제어 장치(100), 화상 생성 장치(110), 및 촬상 장치(109-1 내지 109-n)(n은 2 이상의 정수)를 포함한다.
우선, 촬상 장치(109-1 내지 109-n)에 대해서 설명한다. 촬상 장치(109-1 내지 109-n)는 복수의 상이한 방향으로부터 피사체의 영상을 촬상하기 위해서 제공된다. 촬상 장치(109-1 내지 109-n) 각각은 촬상한 영상을 구성하는 각 프레임의 화상(촬상 화상)을 화상 생성 장치(110)에 출력한다. 촬상 장치(109-1 내지 109-n)와 화상 생성 장치(110) 사이의 접속 형태는 특정한 접속 형태로 제한되지 않는다. 즉, 촬상 장치(109-1 내지 109-n)와 화상 생성 장치(110) 사이의 접속 형태는 데이지 체인 또는 스타형 네트워크(star network)일 수 있다. 또한, 이 접속 형태는 무선 네트워크, 유선 네트워크, 또는 이들의 조합이어도 된다.
표시 제어 장치(100)에 대해서 설명한다. 표시 제어 장치(100)는, 가상 시점에 기초하는 가상 시점 화상의 생성을 화상 생성 장치(110)에 요구하며, 해당 요구에 따라서 해당 화상 생성 장치(110)가 생성한 가상 시점 화상의 표시 제어를 행한다. 표시 제어 장치(100)는, PC(개인용 컴퓨터), 스마트폰, 또는 태블릿 단말 장치 등의 컴퓨터 장치에 의해 구성된다.
CPU(Central Processing Unit)(101)는, ROM(Read-Only Memory)(102) 및 RAM(Random Access Memory)(103)에 저장되어 있는 컴퓨터 프로그램 및 데이터를 사용해서 처리를 실행한다. 이에 의해, CPU(101)는, 표시 제어 장치(100) 전체의 동작을 제어하는 한편, 표시 제어 장치(100)가 행하는 것으로서 후술하는 각 처리를 실행 또는 제어한다.
ROM(102)은, 기동 프로그램 및 설정 데이터 등의 재기입이 불필요한 컴퓨터 프로그램 및 데이터를 저장한다.
RAM(103)은, ROM(102) 또는 HDD(Hard Disk Drive)(104)로부터 로드된 컴퓨터 프로그램 및 데이터를 저장하기 위한 에어리어를 갖는다. 또한, RAM(103)은, 통신 I/F(인터페이스)(106)를 통해서 화상 생성 장치(110)로부터 수신한 데이터(예를 들어, 가상 시점 화상)를 저장하기 위한 에어리어를 갖는다. RAM(103)은 CPU(101)가 각종 처리를 실행할 때에 사용하는 워크 에어리어를 갖는다. 이렇게, RAM(103)은 각종 에어리어를 적절히 제공할 수 있다.
HDD(104)는, OS(Operating System), 및 표시 제어 장치(100)가 행하는 것으로서 후술하는 각 처리를 CPU(101)가 실행 또는 제어하게 하기 위한 컴퓨터 프로그램과 데이터를 보존한다. HDD(104)에 보존되어 있는 데이터는 이하의 설명에서 기지의 정보로서 설명되는 것을 포함한다. HDD(104)에 보존되어 있는 컴퓨터 프로그램 및 데이터는, CPU(101)의 제어 하에 RAM(103)에 적절히 로드되며, CPU(101)에 의해 처리된다.
표시 유닛(105)은, CRT, 액정 화면 등에 의해 구성되며, CPU(101)에 의한 처리 결과를 화상 또는 문자를 사용하여 표시할 수 있다. 표시 유닛(105)은, CPU(101)에 의한 처리 결과를 화상 또는 문자로서 투영하는 투영 장치이어도 된다는 것에 유의한다. 표시 유닛(105)은, 터치 패널 화면, HMD(Head Mounted Display) 등의 헤드 장착형 표시 장치, 핸드헬드형 표시 장치, 스마트폰, 또는 태블릿 단말 장치이어도 된다.
통신 I/F(106)는, 화상 생성 장치(110)와의 데이터 통신을 행하기 위한 인터페이스로서 기능한다. 표시 제어 장치(100)와 화상 생성 장치(110) 사이의 접속 형태는 특정한 접속 형태에 한정되는 것은 아니다. 예를 들어, 표시 제어 장치(100)와 화상 생성 장치(110) 사이의 네트워크는 무선 네트워크, 유선 네트워크, 또는 이들의 조합이어도 된다.
조작 유닛(107)은, 키보드, 마우스, 조이스틱, 게임 패드, 또는 터치 패널 등의 유저 인터페이스에 의해 구성되어 있고, 유저가 조작함으로써 각종 지시를 CPU(101)에 입력할 수 있다.
CPU(101), ROM(102), RAM(103), HDD(104), 표시 유닛(105), 통신 I/F(106), 및 조작 유닛(107)은 모두 버스(108)에 접속되어 있다. 도 1에 도시한 표시 제어 장치(100)의 구성은 단지 일례이며, 이하에 표시 제어 장치(100)가 행하는 것으로서 설명되는 처리를 실현할 수 있는 구성이라면 어떠한 구성을 채용해도 된다는 것에 유의한다. 예를 들어, 플렉시블 디스크(FD), CD-ROM, DVD, USB 메모리, MO, 또는 플래시 메모리 등의 정보 기록 매체로부터/에 정보를 판독/기입하는 구성요소를 표시 제어 장치(100)에 추가해도 된다. 이 경우, HDD(104)에 유지되는 것으로서 설명되는 정보를 이 정보 기록 매체에 저장해도 된다. 정보를 기록하는 매체로서, 표시 제어 장치(100)에 네트워크를 통해서 접속되는 서버 장치를 사용해도 된다. 상술한 바와 같이, 표시 제어 장치(100)가 처리하는 컴퓨터 프로그램 및 데이터 등의 정보를 유지하는 기기는 특정한 기기로 제한되지 않는다.
이어서, 화상 생성 장치(110)에 대해서 설명한다. 화상 생성 장치(110)는, 표시 제어 장치(100)로부터의 요구에 응답하여, 가상 시점에 기초하는 가상 시점 화상을, 촬상 장치(109-1 내지 109-n) 중 1개 이상에 의해 촬상된 화상에 기초하여 생성한다. 화상 생성 장치(110)는, 생성된 가상 시점 화상을 표시 제어 장치(100)에 송신한다. 화상 생성 장치(110)는, PC(개인용 컴퓨터), 스마트폰, 또는 태블릿 단말 장치 등의 컴퓨터 장치에 의해 구성된다.
표시 제어 장치(100)의 기능 구성예에 대해서 도 2의 블록도를 참고하여 설명한다. 관리 유닛(201)은, HDD(104) 또는 RAM(103)에 유지되어 있는 복수의 가상 시점에 관한 정보를 관리한다. 관리 유닛(201)이 관리하는 "복수의 가상 시점에 관한 정보"의 구성예에 대해서 도 5를 참조해서 설명한다. 도 5에 도시된 테이블 정보는 "복수의 가상 시점에 관한 정보"의 일례이다. 도 5에 도시된 테이블 정보에는, 6개의 가상 시점의 각각의 시점 정보(시점 종류, 시점 ID, 위치, 방향, 및 화각)가 등록되어 있다. 도 5에서는, 시점 정보는 시점 종류, 시점 ID, 위치, 방향, 및 화각을 포함한다는 것에 유의한다. 그러나, 시점 정보에 포함되는 정보는 이에 한정되지 않고, 시점 정보는 시점 종류, 시점 ID, 위치, 방향, 및 화각 이외에 초점 거리 등의 다른 정보를 포함해도 된다. 또한, 각 가상 시점을 규정하는 정보의 내용 및 각 시점을 규정하는 정보를 관리하는 방법은 특정한 형태로 제한되지 않는다.
도 5에 도시한 바와 같이, 6개의 가상 시점 중 1개만이 선택 가상 시점(시점 종류)이며, 나머지 5개의 가상 시점은 전환용 가상 시점(시점 종류)이다. "선택 가상 시점"은 유저가 조작 유닛(107)을 조작함으로써 조작되는 가상 시점을 나타내며, "전환용 가상 시점"은 유저가 조작 유닛(107)을 조작함으로써 선택 가상 시점으로서 선택되는 후보로서의 가상 시점을 나타낸다. 도 5를 참조하면, 시점 ID=408에 대응하는 가상 시점이 선택 가상 시점이며, 시점 ID=409 내지 413에 대응하는 가상 시점이 전환용 가상 시점이다.
예를 들어, 유저가 조작 유닛(107)을 조작하여 시점 ID=409의 가상 시점을 선택 가상 시점으로서 선택(지정)하는 조작을 행하는 것으로 상정한다. 이 경우, 관리 유닛(201)은, 시점 ID=409에 대응하는 시점 종류를 "선택 가상 시점"으로 변경하고, 시점 ID=408에 대응하는 시점 종류를 "전환용 가상 시점"으로 변경한다. 이러한 방식으로 유저가 조작 유닛(107)을 조작하면, 도 5에 도시된 테이블 정보에 등록되어 있는 6개의 가상 시점 중 임의의 1개를 선택 가상 시점으로서 선택할 수 있다. 이하에서는 구체적인 설명을 제공하기 위해서, HDD(104) 또는 RAM(103)에는 도 5에 도시된 테이블 정보가 등록되며, 관리 유닛(201)은 이 테이블 정보를 관리하는 것으로 상정한다. 전환용 가상 시점의 초기값은 유저에 의해 임의로 사전에 설정되거나 또는 시스템에 의해 정해진 임의의 값을 사용해도 된다.
관리 유닛(201)은, 테이블 정보에 등록되어 있는 각 전환용 가상 시점의 시점 정보를 판독하고 이것을 출력 유닛(202)에 출력한다. 또한 관리 유닛(201)은 테이블 정보에 등록되어 있는 선택 가상 시점의 시점 정보를 판독한다. 그리고, 관리 유닛(201)은 판독된 시점 정보에 포함되어 있는 위치를 카피한 제2 위치, 해당 시점 정보에 포함되어 있는 방향을 카피한 제2 방향, 및 해당 시점 정보에 포함되어 있는 화각을 카피한 제2 화각을 생성한다. 관리 유닛(201)은, 테이블 정보에 등록되어 있는 선택 가상 시점의 시점 정보에 포함되어 있는 시점 종류 및 시점 ID와, 제2 위치, 제2 방향, 및 제2 화각을 포함하는 선택 시점 정보를 생성하고, 선택 시점 정보를 출력 유닛(202)에 출력한다.
출력 유닛(202)은, 관리 유닛(201)으로부터 출력된 시점 정보 및 선택 시점 정보를 통신 I/F(106)를 통해서 화상 생성 장치(110)에 출력함으로써, 선택 가상 시점 및 각 전환용 가상 시점에 대응하는 가상 시점 화상의 생성을 화상 생성 장치(110)에 요구한다.
수신 유닛(203)은, 출력 유닛(202)에 의한 상기 요구에 응답하여 화상 생성 장치(110)가 생성한 가상 시점 화상(선택 가상 시점에 대응하는 가상 시점 화상 및 전환용 가상 시점에 대응하는 가상 시점 화상)을, 통신 I/F(106)를 통해서 화상 생성 장치(110)로부터 수신한다. 화상 생성 장치(110)로부터 출력되는 각 가상 시점 화상에는, 해당 가상 시점 화상에 대응하는 가상 시점의 시점 ID가 첨부되어 있다는 것에 유의한다.
제어 유닛(204)은, 수신 유닛(203)이 수신한 가상 시점 화상을 서로 중복하지 않는 상태로 표시 유닛(105)의 표시 화면 상에 표시한다. 예를 들어, 도 4a에 도시한 바와 같이, 표시 유닛(105)의 표시 영역(401) 내의 표시 영역(402)에는, 수신 유닛(203)이 수신한 가상 시점 화상 중 선택 가상 시점에 대응하는 시점 ID가 첨부된 가상 시점 화상이 표시된다. 또한, 표시 영역(401) 내의 표시 영역(403 내지 406)에는, 수신 유닛(203)이 수신한 가상 시점 화상 중 전환용 가상 시점의 시점 ID가 첨부된 가상 시점 화상이 표시된다. 도 5에 도시된 경우, 시점 ID=408의 선택 가상 시점에 대해서 화상 생성 장치(110)가 생성한 가상 시점 화상은 표시 영역(402) 내에 표시된다. 시점 ID=409 내지 412의 전환용 가상 시점에 대해서 화상 생성 장치(110)가 생성한 가상 시점 화상은 각각 표시 영역(403 내지 406)에 표시된다.
표시 영역(401)은, 표시 유닛(105)의 표시 화면의 전체 영역 또는 표시 유닛(105)의 표시 화면의 일부 영역(예를 들어, 표시 유닛(105)에 표시되어 있는 윈도우 내의 영역)이어도 된다는 것에 유의한다.
입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써 입력한 조작(유저 조작)에 응답하여, 선택 시점 정보에 포함되어 있는 제2 위치, 제2 방향, 및 제2 화각 중 적어도 하나를 변경 조작함으로써, 유저에 의한 선택 가상 시점의 조작을 실현한다. 즉, 유저가 조작 유닛(107)을 조작해서 선택 가상 시점의 위치, 방향 또는 화각을 변경해도, 이 변경은 상기의 테이블 정보에는 반영되지 않고, 선택 가상 시점에 대응하는 가상 시점 화상의 생성에 반영되게 된다.
또한, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작해서 선택 가상 시점의 선택 조작을 행한 경우에는, 관리 유닛(201)에 대하여 선택 가상 시점의 변경을 지시한다. 관리 유닛(201)에 의한 선택 가상 시점의 변경 처리에 대해서는 상기한 바와 같다.
이하에서는, 도 2에 도시된 각 기능 유닛(관리 유닛(201), 출력 유닛(202), 수신 유닛(203), 제어 유닛(204), 또는 입력 유닛(205))을 처리의 주 유닛으로 하여 설명을 한다는 것에 유의한다. 그러나, 실제로는, 각 기능 유닛의 기능을 CPU(101)가 실행하게 하기 위한 컴퓨터 프로그램을 해당 CPU(101)가 실행할 때, 해당 기능 유닛의 기능이 실현된다. 이것은 도 6 및 도 10(후술함)에 대해서도 마찬가지이다. 도 2에 도시된 기능 구성의 일부 또는 모두를 전용 하드웨어에 의해 실현해도 된다는 것에 유의한다. 전용 하드웨어의 예는 ASIC, FPGA, 및 GPU이다. 또한, 도 2에 도시된 기능 구성의 일부는, 표시 제어 장치(100)와 상이한 1개 또는 복수의 다른 장치에 제공되어도 된다.
도 1에서는, 화상 생성 장치(110) 및 표시 제어 장치(100)는 별개인 장치이다. 그러나, 화상 생성 장치(110) 및 표시 제어 장치(100)는 하나의 장치로 통합되어도 된다. 이 경우, 출력 유닛(202) 및 수신 유닛(203)은 생략될 수 있다.
이어서, 본 실시형태에 따른 시스템이 행하는 처리에 대해서 도 3에 도시된 흐름도를 참고하여 설명한다. 도 3에 도시된 흐름도에 따른 처리는, 가상 시점 설정용 애플리케이션이 기동되는 상태에서 개시되며, 가상 시점 설정용 애플리케이션이 종료될 때까지 실행된다. 도 3에 도시된 단계 S302 내지 S310의 처리는 가상 시점 설정 화면(예를 들어, 도 4a의 표시 영역(401))에 표시되는 가상 시점 화상의 각 프레임에 대해 1회 루프된다. 가상 시점 화상이 60fps(프레임/초)로 생성되는 경우, 이 루프는 1초당 60회 반복된다.
단계 S301에서는, 관리 유닛(201)은, 상기 테이블 정보에 등록되어 있는 각각의 전환용 가상 시점의 시점 정보를 판독하며, 상기 테이블 정보에 등록되어 있는 선택 가상 시점의 시점 정보로부터 선택 시점 정보를 생성한다. 관리 유닛(201)은, 각 전환용 가상 시점의 시점 정보 및 선택 가상 시점의 선택 시점 정보 각각을 출력 유닛(202)에 출력한다.
단계 S302에서는, 출력 유닛(202)은, 관리 유닛(201)으로부터 출력된 모든 전환용 가상 시점의 시점 정보를 화상 생성 장치(110)에 송신했는지의 여부를 판단한다. 이 판단 처리의 결과, 관리 유닛(201)으로부터 출력된 전환용 가상 시점의 시점 정보 중에, 화상 생성 장치(110)에 송신되지 않은 시점 정보가 남아있는 경우에는, 처리는 단계 S303로 진행한다. 한편, 이 판단 처리의 결과, 관리 유닛(201)으로부터 출력된 모든 전환용 가상 시점의 시점 정보를 화상 생성 장치(110)에 송신한 경우에는, 처리는 단계 S305로 진행된다.
단계 S303에서는, 출력 유닛(202)은, 관리 유닛(201)으로부터 출력된 전환용 가상 시점의 시점 정보 중에서, 미송신 시점 정보를 통신 I/F(106)를 통해서 화상 생성 장치(110)에 출력한다. 화상 생성 장치(110)는, 출력 유닛(202)으로부터 출력된 시점 정보에 포함되어 있는 위치, 방향, 및 화각과, 촬상 장치(109-1 내지 109-n) 중 1개 이상에 의해 촬상되는 화상에 기초해서 가상 시점 화상을 생성한다. 그리고, 화상 생성 장치(110)는, 생성된 가상 시점 화상에 해당 시점 정보에 포함되어 있는 시점 ID를 첨부해서 표시 제어 장치(100)에 송신한다.
단계 S304에서는, 수신 유닛(203)은, 화상 생성 장치(110)로부터 송신된 가상 시점 화상을 통신 I/F(106)를 통해서 수신한다. 그리고, 제어 유닛(204)은, 수신된 가상 시점 화상을, 해당 가상 시점 화상에 첨부되어 있는 시점 ID에 대응하는 표시 영역(표시 영역(403 내지 406) 중 하나)에 표시한다.
단계 S305에서, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작해서 선택 가상 시점의 위치/방향/화각을 변경하는 조작 입력을 행한 경우, 선택 시점 정보에 포함되어 있는 제2 위치/제2 방향/제2 화각을 해당 조작 입력에 따라 변경한다. 예를 들어, 유저가 조작 유닛(107)을 조작함으로써 선택 가상 시점의 위치를 변경하는 조작 입력을 행한 경우에는, 입력 유닛(205)은 선택 시점 정보에 포함되어 있는 제2 위치를 이 조작 입력에 따라서 변경한다. 유저가 조작 유닛(107)을 조작함으로써 선택 가상 시점의 방향을 변경하는 조작 입력을 행한 경우에는, 입력 유닛(205)은 선택 시점 정보에 포함되어 있는 제2 방향을 이 조작 입력에 따라서 변경한다. 유저가 조작 유닛(107)을 조작함으로써 선택 가상 시점의 화각을 변경하는 조작 입력을 행한 경우에는, 입력 유닛(205)은 선택 시점 정보에 포함되어 있는 제2 화각을 이 조작 입력에 따라서 변경한다.
단계 S306에서는, 출력 유닛(202)은, 선택 시점 정보를 통신 I/F(106)를 통해서 화상 생성 장치(110)에 송신함으로써, 해당 선택 시점 정보에 기초하여 선택 가상 시점에 대응하는 가상 시점 화상의 생성을 화상 생성 장치(110)에 요구한다. 화상 생성 장치(110)는, 이 요구에 응답하여, 단계 S303과 마찬가지로 하여 선택 시점 정보에 대응하는 가상 시점 화상을 생성하고, 생성된 가상 시점 화상에, 선택 시점 정보에 포함되어 있는 시점 ID를 첨부해서 표시 제어 장치(100)에 송신한다.
단계 S307에서는, 수신 유닛(203)은, 단계 S306에서 화상 생성 장치(110)로부터 송신된 가상 시점 화상을 통신 I/F(106)을 통해서 수신한다. 그리고, 제어 유닛(204)은, 수신된 가상 시점 화상을, 가상 시점 화상에 첨부되어 있는 시점 ID에 대응하는 표시 영역(표시 영역(402))에 표시한다.
단계 S308에서는, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써 선택 가상 시점 선택 지시를 입력했는지의 여부를 판단한다. 예를 들어, 유저가 조작 유닛(107)을 조작해서 도 4a에 도시된 표시 영역(403 내지 406) 중 표시 영역(405)을 지정하는 조작을 행한 것으로 상정한다. 이 경우, 입력 유닛(205)은, 표시 영역(405)에 표시되는 가상 시점 화상에 대응하는 가상 시점을 선택 가상 시점으로서 선택하는 조작 지시의 입력이 있었다고 판단한다. 선택 가상 시점 선택 조작 방법은 특정한 선택 조작 방법으로 제한하지 않는다는 것에 유의한다.
이 판단 처리의 결과, 선택 가상 시점 선택 지시를 입력한 경우에는, 처리는 단계 S309로 진행되고, 그렇지 않은 경우에는 처리는 단계 S310로 진행된다.
단계 S309에서는, 관리 유닛(201)은, 유저가 조작 유닛(107)을 조작함으로써 표시 영역(401)에서 선택한 가상 시점 가상에 대응하는 전환용 가상 시점에 대해서 테이블 정보에 의해 관리되고 있는 시점 종류를 "선택 가상 시점"으로 변경한다. 그리고, 관리 유닛(201)은, 표시 영역(402)에 표시되어 있는 가상 시점 화상에 대해서 테이블 정보에 의해 관리되고 있는 시점 종류를 "전환용 가상 시점"으로 변경한다. 관리 유닛(201)은, 시점 종류가 "선택 가상 시점"으로 변경된 가상 시점에 대해서 테이블 정보에 의해 관리되고 있는 위치를 카피한 제2 위치를 생성한다. 관리 유닛(201)은, 시점 종류가 "선택 가상 시점"으로 변경된 가상 시점에 대해서 테이블 정보에 의해 관리되고 있는 방향을 카피한 제2 방향을 생성한다. 관리 유닛(201)은, 시점 종류가 "선택 가상 시점"으로 변경된 가상 시점에 대해서 테이블 정보에 의해 관리되고 있는 화각을 카피한 제2 화각을 생성한다. 즉, 제2 위치, 제2 방향, 및 제2 화각은 항상 현재의 선택 가상 시점의 최신 위치, 방향, 및 화각을 나타낸다. 관리 유닛(201)은, 시점 종류가 "선택 가상 시점"으로 변경된 가상 시점에 대해서, 단계 S309에서 갱신된 제2 위치, 제2 방향, 및 제2 화각과, 테이블 정보에 의해 관리되고 있는 시점 ID를 포함하는 선택 시점 정보를 생성한다. 관리 유닛(201)은, 선택 가상 시점으로서 설정되어 있는 시점 ID에 대응하는 위치/방향/화각을, 전환 지시에 의해 특정된 전환용 가상 시점의 값과 동일한 값으로 설정한다는 것에 유의한다.
상술한 바와 같이, 유저(가상 시점의 오퍼레이터)는, 표시 영역(402)에 표시되어 있는 가상 시점 화상을 보면서, 조작 유닛(107)을 조작해서 원하는 가상 시점 화상을 얻기 위해 가상 시점의 위치, 방향, 및 화각을 조작할 수 있다. 또한, 유저는 표시 영역(403 내지 406)을 참조함으로써 원하는 가상 시점 화상을 얻기 위해서 원하는 시점을 찾을 수 있다. 원하는 시점의 가상 시점 화상을 찾았을 경우에는, 그 가상 시점 화상의 선택을 지정함으로써 해당 가상 시점 화상이 표시 영역(402)에 표시되어, 가상 시점을 조작할 수 있게 한다. 표시 영역(402 내지 406)은, 도 4a에 도시한 바와 같이, 서로 겹치지 않은 상태로 표시되는 것이 요망되며, 한번에 열람할 수 있는 것이 요망된다.
단계 S310에서는, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써 가상 시점 설정용 애플리케이션의 종료 지시를 입력했는지의 여부를 판단한다. 이 판단 처리의 결과, 가상 시점 설정용 애플리케이션의 종료 지시를 입력한 경우에는, 도 3에 도시된 흐름도에 따른 처리는 종료되고; 그렇지 않은 경우에는 처리는 단계 S302로 복귀한다.
도 4b는 가상 시점의 배치예를 도시한다. 도 4b에 도시한 바와 같이, 가상 시점(408 내지 413)은, 축구 필드(407)에서의 다양한 위치에서 다양한 방향으로부터 해당 필드(407)를 관찰하도록 설정되어 있고, 가상 시점의 위치, 방향, 및 화각은 도 5에 도시된 바와 같이 관리된다. 예를 들어, 각 가상 시점의 위치는 필드(407)에 대하여 규정되어 있는 좌표계에서의 3차원 위치에 의해 나타내고, 각 가상 시점의 방향은 팬, 틸트, 및 롤 값에 의해 나타내며, 각 가상 시점의 화각은 해당 가상 시점의 수평 화각에 의해 나타낸다. 표시 제어 장치(100)는, 도 4b에 나타내는 화면을 도 4a에 나타내는 화면과 함께 표시해도 되다. 표시 제어 장치(100)는, 촬상 대상인 필드(407)의 조감도에, 각 가상 시점의 위치를 나타내는 아이콘(도 4b에 나타내는 예에서는, 카메라를 나타내는 아이콘)을 표시한다. 표시 제어 장치(100)는, 선택 가상 시점의 위치와 전환용 가상 시점의 위치를 식별 가능하게 구별해서 표시해도 된다. 예를 들어, 표시 제어 장치(100)는, 선택 가상 시점의 위치와 전환용 가상 시점의 위치를 상이한 색 또는 아이콘을 사용하여 표시해도 된다. 대안적으로, 표시 제어 장치(100)는, 각 가상 시점의 위치를 나타내는 아이콘을 시점 ID와 관련지어서 표시해도 된다. 도 4b에 나타내는 가상 시점의 배치를 표시함으로써, 선택 가상 시점과 전환용 가상 시점 사이의 위치 관계를 용이하게 파악하는 것이 가능하며, 따라서 원하는 가상 시점 화상을 얻기 위해서 원하는 시점을 찾는 것이 가능하다.
도 5에 도시된 테이블 정보에서는, 시점 ID=413에 대응하는 시점 종류는 "전환용 가상 시점(비표시)"이며, 표시 대상이 아니라는 것에 유의한다. 제어 유닛(204)은, 이 시점 종류에 대응하는 가상 시점 화상은 표시하지 않는다. 이 시점 종류에 대응하는 가상 시점 화상을 생성하지 않아도 된다.
상술한 바와 같이, 본 실시형태에 따르면, 각 전환용 가상 시점에 대응하는 가상 시점 화상은 다음에 해당 전환용 가상 시점을 선택 가상 시점으로서 선택하기 위해서 참고해야 할 참고 정보로서 표시된다. 따라서, 예를 들어 참고 정보로서 각 촬상 장치에 의해 촬상된 화상을 표시하는 것보다 다음에 선택해야 할 가상 시점을 더 직감적으로 파악할 수 있다.
표시 영역(402)에 표시되어 있는 가상 시점 화상(선택 가상 시점에 대응하는 가상 시점 화상)은, 예를 들어 표시 제어 장치(100)의 HDD(104)에 보존되어도 되고, 통신 I/F(106)를 통해서 외부 기기에 송신되어도 된다는 것에 유의한다. 예를 들어, 후자의 경우, 표시 영역(402)에 표시되어 있는 가상 시점 화상(선택 가상 시점에 대응하는 가상 시점 화상)을 통신 I/F(106)를 통해서 방송용으로서 방송해도 된다.
<변형예>
가상 시점의 오퍼레이터는 촬상 장치가 촬상하고 있는 대상의 상황을 파악할 수 있으면 되기 때문에, 예를 들어 가상 시점 화상으로서 간이 가상 시점 화상을 생성해도 된다. 간이 가상 시점 화상으로서, 3D CG(삼차원 컴퓨터 그래픽)을 사용한다. 먼저, 수신 유닛(203)은, 화상 생성 장치(110)로부터 촬상 화상 중의 전경(예를 들어, 선수와 볼)의 위치를 취득한다. 가상 시점 화상의 생성 과정에서는, 통상 전경과 배경을 분리하는 처리가 행해진다. 그 과정에서 전경의 위치를 구하는 것이 일반적이다. 따라서, 표시 제어 장치(100)는, 화상 생성 장치(110)로부터 전경의 위치를 용이하게 취득할 수 있다. 이어서, 표시 제어 장치(100)는 선수와 볼의 3D CG 모델을 화상 생성 장치(110)로부터 취득한 위치에 배치한다. 배경인 스타디움의 필드 및 관객석의 3D CG 모델도 추가로 준비해 두는 것으로 상정한다. 이들 3D 모델을 표시 제어 장치(100)의 3D CG 렌더링 엔진에 입력하면, 가상 시점으로부터 본 간이 가상 시점 화상을 생성하는 것이 가능하다. 간이 가상 시점 화상은 표현 능력의 면에서 통상의 가상 시점 화상에 비해 떨어지는 것은 부정할 수 없지만, 오퍼레이터는 예를 들어 경기의 상황을 파악할 수 있으며 컴퓨터 리소스를 경감할 수 있다. 또한, 예를 들어 표시 영역(402)에 표시되어 있는 가상 시점 화상과 표시 영역(403 내지 406)에 표시되어 있는 전환용 가상 시점에 대응하는 가상 시점 화상을 상이한 프레임 레이트로 표시해도 된다.
상술한 바와 같이, 본 실시형태에서는, 복수의 가상 시점 중 조작 대상으로서 유저에 의해 선택된 선택 가상 시점에 대응하는 가상 시점 화상과 복수의 가상 시점 중 선택 가상 시점 이외의 가상 시점에 대응하는 가상 시점 화상이 서로 중복하지 않고 배치된 화면을 표시한다. 이에 의해, 오퍼레이터는 주어진 가상 시점으로 전환하기 전에 전환 후의 가상 시점 화상에 무엇이 나타날 것인지를 알 수 있기 때문에 가상 시점을 적절하게 선택할 수 있다.
[제2 실시형태]
이후 실시형태 및 변형예에서는, 제1 실시형태와의 차이에 대해서 설명하고, 달리 구체적으로 언급하지 않는 한은 나머지는 제1 실시형태와 마찬가지인 것으로 상정한다. 제1 실시형태에서는, 표시된 가상 시점 화상 중 1개를 지정하여 1개의 지정된 가상 시점 화상에 대응하는 가상 시점을 선택 가상 시점으로서 선택한다. 그러나, 선택 가상 시점을 선택하는 방법은 제1 실시형태에서 설명된 선택 방법으로 제한되지 않는다. 본 실시형태에서는, 선택 가상 시점의 선택 방법으로서 제1 실시형태의 것과 상이한 선택 방법에 대해서 설명한다.
본 실시형태에 따른 표시 제어 장치(100)의 기능 구성예에 대해서 도 6에 도시된 블록도를 참고하여 설명한다. 도 6에서, 도 2의 것과 동일한 참조 번호는 유사한 기능 유닛을 나타내며, 그에 대한 설명은 생략한다. 처리 유닛(601)은, 전환용 가상 시점(도 4a에 도시된 경우에는, 표시 영역(403 내지 406) 각각에 대응하는 전환용 가상 시점)을, 조작 유닛(107)의 복수의 선택 버튼 중 하나에 할당한다.
그리고, 입력 유닛(205)은, 유저가 누른 선택 버튼에 대응하는 전환용 가상 시점이 선택 가상 시점으로서 선택되었다고 판단한다. 관리 유닛(201)은, 테이블 정보에서의 현재의 선택 가상 시점을 전환용 가상 시점으로 변경하고, 유저가 누른 선택 버튼에 대응하는 전환용 가상 시점을 선택 가상 시점으로 변경한다.
본 실시형태에 따른 시스템에 의해 실행되는 처리에 대해서 도 7에 도시된 흐름도를 참고하여 설명한다. 도 7에 도시된 흐름도에 따른 처리는, 가상 시점 설정용 애플리케이션이 기동된 상태에서 개시되며, 가상 시점 설정용 애플리케이션이 종료될 때까지 실행된다. 도 7에서, 도 3의 것과 동일한 단계 번호는 동일한 처리 단계를 나타내며, 그에 대한 설명은 생략한다.
단계 S701에서는, 처리 유닛(601)은, 전환용 가상 시점(도 4a에 도시된 경우, 표시 영역(403 내지 406) 각각에 대응하는 전환용 가상 시점)을, 조작 유닛(107)의 복수의 선택 버튼 중 하나에 할당한다.
도 8은 조작 유닛(107)으로서 적용 가능한 입력 디바이스의 일례를 도시한다. 도 8에 도시된 입력 디바이스(801)에는 선택 버튼(803 내지 806)이 제공된다. 처리 유닛(601)은, 예를 들어 선택 버튼(803 내지 806)에 표시 영역(403 내지 406)(즉, 표시 영역(403 내지 406)에 대응하는 전환용 가상 시점)을 각각 할당한다. 이 구성에 의해, 유저가 선택 버튼(803)을 눌렀을 경우에는, 입력 유닛(205)은, 표시 영역(403)의 가상 시점 화상이 선택되었다(해당 가상 시점 화상에 대응하는 가상 시점이 선택되었다)고 판단할 수 있다. 유저가 선택 버튼(804)을 눌렀을 경우에는, 입력 유닛(205)은, 표시 영역(404)의 가상 시점 화상이 선택되었다(해당 가상 시점 화상에 대응하는 가상 시점이 선택되었다)고 판단할 수 있다. 유저가 선택 버튼(805)을 눌렀을 경우에는, 입력 유닛(205)은, 표시 영역(405)의 가상 시점 화상이 선택되었다(해당 가상 시점 화상에 대응하는 가상 시점이 선택되었다)고 판단할 수 있다. 유저가 선택 버튼(806)을 눌렀을 경우에는, 입력 유닛(205)은, 표시 영역(406)의 가상 시점 화상이 선택되었다(해당 가상 시점 화상에 대응하는 가상 시점이 선택되었다)고 판단할 수 있다.
상술한 바와 같이, 표시 영역 및 선택 버튼이 수평으로 배치되어 있는 경우, 예를 들어 좌측 단부의 표시 영역을 좌측 단부의 선택 버튼에 할당하고, 좌측 단부로부터 2번째의 표시 영역을 좌측 단부로부터 2번째의 선택 버튼에 할당하고, ...와 같은 배열 순서로 선택 버튼에 표시 영역을 할당한다. 표시 영역 및 선택 버튼이 수직으로 배치되어 있는 경우, 예를 들어 상단의 표시 영역을 상단의 선택 버튼에 할당하고, 상단으로부터 2번째의 표시 영역을 상단으로부터 2번째의 선택 버튼에 할당하고, ...와 같은 배열 순서로 선택 버튼에 표시 영역을 할당한다. 특정 표시 영역을 특징 선택 버튼에 할당하는 방법은 특정한 방법으로 제한되지 않는다는 것에 유의한다.
전환용 가상 시점의 수가 입력 디바이스 상의 선택 버튼의 수보다 많은 경우에는, 예를 들어 전환용 가상 시점을 왼쪽으로부터 가능한 많이 할당한다는 것에 유의한다. 특정 전환용 가상 시점을 특정 선택 버튼에 할당하는 것을 관리하는 방법으로서, 예를 들어, 테이블 정보에서, 각 전환용 가상 시점의 시점 정보는 해당 전환용 가상 시점에 할당된 선택 버튼의 식별 정보를 포함해도 된다. 관리 방법은 특정한 관리 방법으로 제한되지 않는다.
단계 S308에서는, 입력 유닛(205)은, 유저가 누른 선택 버튼에 대응하는 전환용 가상 시점이 선택 가상 시점으로서 선택되었다(선택 지시가 입력되었다)고 판단한다.
입력 디바이스(801)에는, 선택 가상 시점을 이동시키기 위해서 유저가 조작하는 조이스틱(802)이 제공된다. 유저는 조이스틱(802)을 조작함으로써 시점의 위치 및 방향을 이동시킬 수 있다. 유저에 의한 조이스틱(802)의 조작에 의해, 선택 시점 정보에 포함되어 있는 제2 위치, 제2 방향, 및 제2 화각 중, 조작 입력에 대응하는 성분이 변경된다.
상술한 바와 같이, 본 실시형태에 따르면, 입력 디바이스 상의 선택 버튼에 전환용 가상 시점을 할당하는 것에 의해, 가상 시점의 오퍼레이터는 마우스 또는 화면에 손을 가져가지 않고, 가상 시점의 조작을 행하기 위해 사용되는 입력 디바이스 상에서 가상 시점을 선택할 수 있다. 이에 의해, 신속하게 가상 시점을 선택할 수 있다.
[제3 실시형태]
본 실시형태에서는, 테이블 정보에 대한 편집 조작을 행할 수 있다. 본 실시형태에서는, 제2 실시형태에 따른 시스템의 구성을 이용한다. 본 실시형태에 따른 시스템에 의해 실행되는 처리에 대해서 도 9a 및 도 9b에 도시된 흐름도를 참고하여 설명한다. 도 9a 및 도 9b에 도시된 흐름도에 따른 처리는, 가상 시점 설정용 애플리케이션이 기동한 상태에서 개시되며, 가상 시점 설정용 애플리케이션이 종료될 때까지 실행된다. 도 9a 및 도 9b에서, 도 3 및 도 7의 것과 동일한 단계 번호는 동일한 처리 단계를 나타내며 그에 대한 설명은 생략한다.
단계 S901에서는, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써, 현재의 선택 가상 시점의 위치, 방향, 및 화각을 테이블 정보에 등록하는 지시(등록 지시)를 입력했는지의 여부를 판단한다. 등록 지시 입력 방법은 특정한 입력 방법으로 제한되지 않는다. 예를 들어, 유저가 표시 유닛(105)의 표시 화면에 표시되어 있는 등록 버튼을 조작 유닛(107)을 조작해서 지시할 때 또는 유저가 조작 유닛(107)에서 특정한 버튼을 누를 때, 등록 지시가 입력되어도 된다. 이 판단 처리의 결과, 등록 지시가 입력된 경우에는, 처리는 단계 S902로 진행되고, 그렇지 않을 경우에는 처리는 단계 S903로 진행된다.
단계 S902에서는, 관리 유닛(201)은, 새로운 시점 ID를 발행하고, 발행된 시점 ID, 시점 종류 "전환용 가상 시점", 및 현재의 선택 시점 정보에 포함되어 있는 제2 위치, 제2 방향, 및 제2 화각을 포함하는 신규 시점 정보를 생성하고, 생성된 시점 정보를 테이블 정보에 등록한다. 또한, 관리 유닛(201)은, 등록된 가상 시점에 대응하는 가상 시점 화상을 표시하기 위해 표시 영역(403 내지 406) 중 어느 것을 사용할 것인지를 나타내는 정보, 또는 가상 시점 화상을 표시하지 않을 것인지를 나타내는 정보를 테이블 정보에 등록하거나, 또는 이러한 정보를 테이블 정보와 별개인 정보로서 등록한다.
단계 S903에서는, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써, 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상의 배열 순서를 변경하는 지시(재배열 지시)를 입력했는지의 여부를 판단한다. 판단 처리의 결과, 재배열 지시가 입력된 경우에는, 처리는 단계 S904로 진행되고, 그렇지 않을 경우에는 처리는 단계 S905로 진행된다.
단계 S904에서는, 제어 유닛(204)은, 유저가 조작 유닛(107)을 조작함으로써 입력한 조작 입력에 따라, 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상의 배열 순서를 변경한다. 이 재배열을 위해서 유저가 행하는 조작은 특정한 조작으로 제한되지 않는다. 예를 들어, 유저가 조작 유닛(107)을 조작하여 표시 유닛(105)의 표시 화면에 표시되어 있는 변경 버튼을 지시하면, 입력 유닛(205)은 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상에 대한 조작 지시를 접수한다. 유저가 조작 유닛(107)에서 특정한 버튼을 눌렀을 경우에, 입력 유닛(205)은 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상에 대한 조작 지시를 접수해도 된다는 것에 유의한다.
예를 들어, 유저가 조작 유닛(107)을 조작하여 표시 영역(404) 내의 가상 시점 화상을 드래그해서 표시 영역(406)으로 이동시키는 것을 상정한다. 이 경우, 제어 유닛(204)은, 표시 영역(405 및 406) 내에 표시되어 있던 가상 시점 화상을 각각 표시 영역(404 및 405)으로 이동시킨다. 또한, 제어 유닛(204)은, 표시 영역(406)으로 드래그된 가상 시점 화상(표시 영역(404) 내에 표시되고 있던 가상 시점 화상)을 표시 영역(406)으로 이동시킨다. 이때, 관리 유닛(201)은, 표시 영역과 각 전환용 가상 시점 사이의 대응을 변경한다.
예를 들어, 유저가 조작 유닛(107)을 조작하여 표시 영역(404) 내의 가상 시점 화상을 드래그해서 표시 영역(401)의 외부로 이동시키는 것을 상정한다. 이 경우, 제어 유닛(204)은, 표시 영역(405 및 406) 내에 표시되어 있던 가상 시점 화상을 각각 표시 영역(404 및 405)으로 이동시킨다. 관리 유닛(201)은, 드래그하여 표시 영역(401) 외부로 이동시킨 가상 시점 화상의 시점 종류를 비표시 상태로 설정하고, 시점 종류가 비표시 상태로 설정되어 있던 시점 ID=413의 전환용 가상 시점의 시점 종류로부터 비표시 상태를 삭제한다. 그리고, 시점 ID=413의 전환용 가상 시점에 대응하는 가상 시점 화상이 상술한 바와 같이 생성되어 표시 영역(406)에 표시된다. 전환용 가상 시점에 대응하는 가상 시점 화상을 재배열하는 조작으로서 다양한 조작이 제공되며, 재배열 조작은 특정한 조작으로 한정되지 않는다는 것에 유의한다.
단계 S905에서는, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써, 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상 중 하나를 삭제하는 지시(삭제 지시)가 입력되었는지의 여부를 판단한다. 이 판단 처리의 결과, 삭제 지시가 입력된 경우에는, 처리는 단계 S906로 진행되며, 그렇지 않을 경우에는 처리는 단계 S907로 진행된다.
단계 S906에서는, 관리 유닛(201)은, 삭제 지시의 대상으로서의 가상 시점의 시점 정보를 테이블 정보로부터 삭제하고, 제어 유닛(204)은, 삭제 지시의 대상으로서의 가상 시점에 대응하는 가상 시점 화상을 표시 유닛(105)의 표시 화면으로부터 소거한다. 삭제를 위해서 유저가 행하는 조작에 대해서는 특정한 조작으로 제한되지 않는다. 예를 들어, 유저가 조작 유닛(107)을 조작해서 표시 유닛(105)의 표시 화면에 표시되어 있는 삭제 버튼을 지시하면, 입력 유닛(205)은, 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상에 대한 조작 지시를 접수한다. 유저가 조작 유닛(107)에서 특정한 버튼을 눌렀을 경우에, 입력 유닛(205)은 표시 영역(403 내지 406)에 표시되어 있는 가상 시점 화상에 대한 조작 지시를 접수해도 된다는 것에 유의한다.
예를 들어, 유저가 조작 유닛(107)을 조작해서 표시 영역(404)을 지정하면, 관리 유닛(201)은, 테이블 정보로부터 표시 영역(404)에 표시되어 있던 가상 시점 화상에 대응하는 전환용 가상 시점의 시점 정보를 삭제한다. 그리고, 제어 유닛(204)은 표시 영역(404)으로부터 가상 시점 화상을 소거한다.
단계 S907에서는, 입력 유닛(205)은, 유저가 조작 유닛(107)을 조작함으로써, 테이블 정보에서의 전환용 가상 시점의 시점 정보를, 다른 전환용 가상 시점의 시점 정보로 전환하는 지시(시점 세트 전환 지시)를 입력했는지의 여부를 판단한다. 예를 들어, 입력 유닛(205)은, 표시 유닛(105)의 표시 화면에 표시되어 있는 시점 세트 전환 버튼 또는 조작 유닛(107)에서의 특정한 버튼이 눌러진 경우에는, 시점 세트 전환 지시가 입력되었다고 판단한다. 판단 처리의 결과, 시점 세트 전환 지시가 입력된 경우에는, 처리는 단계 S908로 진행되고, 그렇지 않을 경우에는 처리는 단계 S310로 진행된다.
단계 S908에서는, 관리 유닛(201)은, 테이블 정보에서 시점 종류가 "전환용 가상 시점"인 시점 정보를 미리 작성하고, 작성된 시점 정보를 HDD(104)에 등록되어 있는 가상 시점 세트 중 하나로 치환한다. 가상 시점 세트는, 후술하는 바와 같이, 1개 이상의 가상 시점의 시점 정보를 나타낸다. 1개 또는 복수의 가상 시점 세트가 HDD(104)에 등록되어 있어도 된다.
HDD(104)에 1개의 가상 시점 세트가 등록되어 있는 경우, 관리 유닛(201)은, 테이블 정보에서 시점 종류가 "전환용 가상 시점"인 시점 정보를, 해당 1개의 가상 시점 세트로 치환한다.
HDD(104)에 복수의 가상 시점 세트가 등록되어 있는 경우, 관리 유닛(201)은, 테이블 정보에서 시점 종류가 "전환용 가상 시점"인 시점 정보를, 해당 복수의 가상 시점 세트 중 하나로 치환한다. 복수의 가상 시점 세트 중 상기 치환에 사용되는 1개의 가상 시점 세트를 선택하는 방법은 특정한 방법으로 제한되지 않는다. 예를 들어, 제어 유닛(204)은, 이 복수의 가상 시점 세트의 내용 및 파일명이 기재된 리스트를 표시 유닛(105)의 표시 화면에 표시한다. 이 표시 화면을 보면서 유저가 조작 유닛(107)을 조작해서 복수의 가상 시점 세트 중 1개를 선택하면, 관리 유닛(201)은, 테이블 정보에서 시점 종류가 "전환용 가상 시점"인 시점 정보를 선택 가상 시점 세트로 치환한다.
복수의 가상 시점 세트를 제공하고, 가상 시점 세트 중 하나를 선택해서 사용하는 구성은, 예를 들어 가상 시점의 오퍼레이터가 경기의 상황에 따라서 가상 시점 세트를 사용하는 경우를 상정한다. 예를 들어, 코너킥용의 가상 시점 세트, 킥오프용의 가상 시점 세트, 페널티킥용의 가상 시점 세트 등을 미리 준비하는 것이 유용할 수 있다. 페널티킥용의 가상 시점 세트에 대해서는, 골측에서 페널티 스폿의 방향을 보는 가상 시점, 역방향의 가상 시점, 페널티 스폿 너머서 골측을 보는 가상 시점, 벤치를 보는 가상 시점 등을 세트로서 준비해두면 편리하다. 단계 S908에서 테이블 정보를 변경한 경우, 관리 유닛(201)은, 변경된 테이블 정보에 등록되어 있는 각 전환용 가상 시점의 시점 정보를 판독하고, 각 전환용 가상 시점의 시점 정보를 출력 유닛(202)에 출력한다는 것에 유의한다.
도 14a 및 도 14b는 가상 시점 세트의 예를 나타낸다. 도 14a는 가상 시점 세트(1401, 1402, 1403)의 각각의 구성예를 나타낸다. 가상 시점 세트(1401)에는 4개의 전환용 가상 시점의 시점 정보가 등록되어 있다. 가상 시점 세트(1402)에는, 3개의 전환용 가상 시점의 시점 정보가 등록되어 있다. 가상 시점 세트(1403)에는, 5개의 전환용 가상 시점의 시점 정보가 등록되어 있다.
도 14b는, 단계 S908에서 가상 시점 세트(1401)가 선택된 경우에, 도 5에 도시된 테이블 정보에서 시점 종류가 "전환용 가상 시점"인 시점 정보를 해당 가상 시점 세트(1401)로 치환하여 얻은 테이블 정보의 구성예를 나타낸다. 도 14b에 도시된 테이블 정보에서는, 도 5에 도시된 테이블 정보에 비해 전환용 가상 시점이 4개로 줄어들고, 위치, 방향, 및 화각이 가상 시점 세트(1401)의 값으로 치환되며, 새롭게 시점 ID가 할당되어 있다(413 내지 416). 선택 가상 시점은 이 조작에 의해 변화되지 않은 상태로 유지되기 때문에, 도 5와 동일값이 유지된다는 것에 유의한다.
[제4 실시형태]
제1 내지 제3 실시형태에서는, 표시 영역(402)에 표시되는 가상 시점 화상의 프레임 레이트는 표시 영역(403 내지 406)에 표시되는 가상 시점 화상의 프레임 레이트와 동일하다. 그러나, 모든 가상 시점의 가상 시점 화상의 프레임 레이트는 서로 동일할 필요는 없다. 화상 생성 장치(110)가 가상 시점 화상을 생성하기 위해서는, 많은 데이터를 판독하고 데이터 처리를 행할 필요가 있다. 결과적으로, 제1 내지 제3 실시형태에서 설명된 바와 같이 선택 가상 시점 및 전환용 가상 시점의 모두에 대응하는 가상 시점 화상을 60fps(프레임/초)로 생성하는 데는 방대한 컴퓨터 리소스가 필요해지므로, 비용이 상승한다. 본 실시형태에서는, 화상 생성 장치(110)의 화상 생성 능력을 고려한 프레임 레이트 제어에 대해서 설명한다.
본 실시형태에 따른 표시 제어 장치(100)의 기능 구성예에 대해서 도 10에 도시된 블록도를 참고하여 설명한다. 도 10에서, 도 2 및 도 6의 것과 동일한 참조 번호는 유사한 기능 유닛을 나타내며, 그에 대한 설명은 생략한다.
처리 유닛(1001)은, 화상 생성 장치(110)의 화상 생성 능력에 따라, 선택 가상 시점에 대응하는 가상 시점 화상의 프레임 레이트와 전환용 가상 시점에 대응하는 가상 시점 화상의 프레임 레이트를 설정한다.
본 실시형태에 따른 시스템에 의해 행해지는 처리에 대해서 도 11a 및 도 11b에 도시된 흐름도를 참고하여 설명한다. 도 11a 및 도 11b에 도시된 흐름도에 따른 처리는, 가상 시점 설정용 애플리케이션이 기동한 상태에서 개시되며, 가상 시점 설정용 애플리케이션이 종료될 때까지 실행된다. 도 11a 및 도 11b에서, 도 3, 도 7, 도 9a 및 도 9b의 것과 동일한 단계 번호는 동일한 처리 단계를 나타내며, 그에 대한 설명은 생략한다.
단계 S1101에서는, 처리 유닛(1001)은, 테이블 정보에 등록되어 있는 각 가상 시점에 대해서, 해당 가상 시점에 대응하는 가상 시점 화상의 프레임 레이트를 설정한다. 본 실시형태에 따른 단계 S303에서는, 출력 유닛(202)은, 관리 유닛(201)으로부터 출력된 전환용 가상 시점의 시점 정보 중, 현재 프레임에서 생성해야 할 가상 시점 화상에 대응하는 시점 정보를 통신 I/F(106)를 통해서 화상 생성 장치(110)에 출력한다는 것에 유의한다. 본 실시형태에 따른 단계 S306에서는, 출력 유닛(202)은, 현재 프레임이 선택 가상 시점에 대응하는 가상 시점 화상을 생성하기 위한 프레임이라면, 선택 시점 정보를 통신 I/F(106)를 통해서 화상 생성 장치(110)에 송신한다.
상기의 단계 S1101에서의 처리에 대해서 구체예를 사용해서 설명한다. 화상 생성 장치(110)의 화상 생성 능력이 120fps(1초당 120 프레임의 화상이 생성할 수 있음)인 것을 상정한다. 도 5에 도시한 바와 같이, 1개의 선택 가상 시점 및 4개의 전환용 가상 시점이 존재하는 경우를 생각한다.
선택 가상 시점에 대응하는 가상 시점 화상은, 선택 가상 시점의 조작에 필수적인 화상이며, 선택 가상 시점을 지정한 결과를 지연 없이 가상 시점 화상으로서 표시할 필요가 있다. 선택 가상 시점의 지정으로부터 가상 시점 화상의 표시까지의 지연 시간이 커짐에 따라, 선택 가상 시점을 조작하는 것은 더 어려워지는 것을 이해하고 있다. 따라서, 선택 가상 시점에는 60fps를 할당하고, 나머지 60fps를 4개의 전환용 가상 시점에 비례 배분한다. 즉, 도 12a에 도시한 바와 같이, 선택 가상 시점에 대응하는 가상 시점 화상은 60fps에서 생성되고 표시 영역(402)에 표시되며, 전환용 가상 시점에 대응하는 가상 시점 화상은 15fps로 생성되고 각각 표시 영역(403 내지 406)에 표시된다. 각 전환용 가상 시점에 대응하는 가상 시점 화상의 표시는 그리 매끄럽지 않지만 프레임 레이트는 그 가상 시점에서 무엇이 보이는지를 파악하기에는 충분하다. 본 실시형태에서는, 단계 S1101에서 각 가상 시점에 대한 프레임 레이트가 결정되면, 도 12b에 도시한 바와 같이, 관리 유닛(201)이 관리하고 있는 테이블 정보에 각 가상 시점에 대한 프레임 레이트가 등록된다.
단계 S303 및 S306에서 화상 생성 장치(110)에 의해 생성되는 각 프레임의 가상 시점 화상에 대해서 도 13a 내지 도 13f를 참고하여 설명한다. 화상 생성 장치(110)의 화상 생성 능력이 120fps이며, 선택 가상 시점에 대응하는 가상 시점 화상의 프레임 레이트가 60fps이기 때문에, 선택 가상 시점에 대응하는 가상 시점 화상은 2 프레임당 1회의 비율로 생성되어 표시된다. 도 13a 내지 도 13f에서는, 선택 가상 시점에 대응하는 가상 시점 화상은 1 프레임째에 생성 및 표시되므로, 이후에는 (2×f+1)(f는 1 이상의 정수) 프레임째에 생성 및 표시된다.
또한, 화상 생성 장치(110)의 화상 생성 능력이 120fps이고 4개의 전환용 가상 시점 각각에 대응하는 가상 시점 화상의 프레임 레이트는 15fps이기 때문에, 각 전환용 가상 시점에 대응하는 가상 시점 화상은 8 프레임당 1회의 비율로 생성 및 표시된다. 예를 들어, 도 13a 내지 도 13f에서는, 전환용 가상 시점(1)에 대응하는 가상 시점 화상은 2 프레임째에 생성 및 표시되므로, 이후에는 (8×f+2) 프레임째에 생성 및 표시된다. 마찬가지로, 전환용 가상 시점(2, 3, 및 4)은 4, 6 및 8 프레임째에 표시되며, 이후 (8×f+4) 프레임째, (8×f+6) 프레임째, 및 (8×f+8) 프레임째에 생성 및 표시된다.
그러므로, 출력 유닛(202)은, 현재 프레임에서 생성 및 표시되어야 할 가상 시점 화상에 대응하는 가상 시점의 시점 정보를 화상 생성 장치(110)에 출력하고, 화상 생성 장치(110)는 출력 유닛(202)으로부터 받은 시점 정보에 대응하는 가상 시점 화상을 생성한다. 가상 시점 화상을 생성하는 타이밍을 균등하게 분산하는 것에 의해, 화상을 더 매끄럽게 표시하는 것이 가능해진다.
상기 수치는 구체예를 설명하기 위해 사용되는 예일뿐이라는 것에 유의한다. 상기 동작은 상기 수치로 한정되는 것은 아니다. 즉, 시스템의 능력 및 가상 시점 화상을 방송하는 방송 시스템의 요건에 따라서 수치값은 적절하게 설정된다.
상술한 바와 같이, 본 실시형태에 따르면, 가상 시점 화상을 생성하는 프레임 레이트를 선택 가상 시점 및 전환용 가상 시점으로 적절하게 배분하는 것에 의해, 컴퓨터 리소스를 증가시키지 않으면서 가상 시점의 조작 및 경기에 따른 가상 시점의 선택을 실현할 수 있다.
[제5 실시형태]
제1 내지 제4 실시형태에서는, 선택 가상 시점에 대응하는 가상 시점 화상과 전환용 가상 시점에 대응하는 가상 시점 화상을 1개의 표시 화면에 표시한다. 그러나, 본 발명은 이것으로 한정되지 않는다. 예를 들어, 선택 가상 시점에 대응하는 가상 시점 화상과 전환용 가상 시점에 대응하는 가상 시점 화상을 별개인 표시 장치에 표시해도 된다.
제3 및 제4 실시형태에서는, 가상 시점 화상의 생성 및 표시의 처리 루프 중에 가상 시점 등록 처리, 재배열 처리, 삭제 처리, 및 시점 세트 전환 처리를 행한다. 그러나, 본 발명은 이것으로 한정되지 않는다. 예를 들어, 가상 시점 화상의 생성 및 표시의 처리 루프와 별개인 스레드(thread)에서, 가상 시점 등록 처리, 재배열 처리, 삭제 처리, 및 시점 세트 전환 처리를 행해도 된다.
상술한 실시형태 및 변형예의 일부 또는 모두는 적절히 조합되어 사용되어도 된다는 것에 유의한다. 대안적으로, 상술한 실시형태 및 변형예의 일부 또는 모두는 선택적으로 사용되어도 된다.
(기타의 실시형태)
본 발명은, 상술한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 저장 매체를 통해서 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터의 1개 이상의 프로세서가 프로그램을 판독 및 실행하게 하는 처리에 의해 실현될 수 있다. 본 발명은 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해도 실현될 수 있다.
본 발명은 상술한 실시형태로 제한되는 것이 아니고, 다양한 변경 및 변형이 본 발명의 사상 및 범위 내에서 이루어질 수 있다. 그러므로, 본 발명의 범위 공공에 알리기 위해서, 이하의 청구항을 구성한다.
본 출원은 2017년 12월 21일에 출원된 일본 특허 출원 제2017-245392호의 이익을 주장하며, 이는 전문이 본원에 참조로 통합된다.
201: 관리 유닛, 202: 출력 유닛, 203: 수신 유닛, 204: 제어 유닛, 205: 입력 유닛

Claims (21)

  1. 표시 제어 장치이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 수단; 및
    상기 취득 수단에 의해 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 수단을 포함하고,
    상기 복수의 가상 시점 중 위치 및 방향 조작 대상으로서 선택된 가상 시점에 대응하는 가상 시점 화상은, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어지는 복수의 촬상 화상에 기초하여 생성되고, 다른 장치에 송신되는 것을 특징으로 하는, 표시 제어 장치.
  2. 제1항에 있어서,
    상기 가상 시점 화상은 방송에 의해 상기 다른 장치에 송신되는 것을 특징으로 하는, 표시 제어 장치.
  3. 표시 제어 장치이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 수단; 및
    상기 취득 수단에 의해 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 수단을 포함하고,
    상기 표시 제어 수단에 의해 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    상기 표시 제어 수단은, 가상 시점을 추가하기 위한 유저 조작에 응답하여, 상기 가상 시점의 위치 및 방향에 대응하는 가상 시점 화상을 상기 조작 화면 상에 새롭게 표시하는 것을 특징으로 하는, 표시 제어 장치.
  4. 표시 제어 장치이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 수단; 및
    상기 취득 수단에 의해 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 수단을 포함하고,
    상기 표시 제어 수단에 의해 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    상기 표시 제어 수단은, 미리결정된 유저 조작에 응답하여, 복수의 제1 가상 시점에 대응하는 복수의 제1 가상 시점 화상이 상기 조작 화면 상에 표시되는 상태로부터, 복수의 제2 가상 시점에 대응하는 복수의 제2 가상 시점 화상이 상기 조작 화면 상에 표시되는 상태로 전환하는 것을 특징으로 하는, 표시 제어 장치.
  5. 표시 제어 장치이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 수단; 및
    상기 취득 수단에 의해 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 수단을 포함하고,
    상기 표시 제어 수단에 의해 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    상기 표시 제어 수단은, 가상 시점을 삭제하기 위한 유저 조작에 응답하여, 상기 가상 시점의 위치 및 방향에 대응하는 가상 시점 화상을 상기 조작 화면 상에 표시하지 않도록 제어하는 것을 특징으로 하는, 표시 제어 장치.
  6. 표시 제어 장치이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 수단; 및
    상기 취득 수단에 의해 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 수단을 포함하고,
    상기 표시 제어 수단에 의해 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    상기 표시 제어 수단은, 가상 시점 화상을 재배열하기 위한 유저 조작에 응답하여, 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 일부의 표시 순서를 변경하는 것을 특징으로 하는, 표시 제어 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 표시 제어 수단은, 상기 복수의 가상 시점 중 유저에 의해 선택된 가상 시점에 대응하는 가상 시점 화상을, 상기 복수의 가상 시점 중 유저에 의해 선택되지 않은 가상 시점에 대응하는 가상 시점 화상보다 크게 표시하는 것을 특징으로 하는, 표시 제어 장치.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 복수의 가상 시점 중 유저에 의해 선택되지 않은 가상 시점에 대응하는 가상 시점 화상은, 상기 복수의 가상 시점 중 유저에 의해 선택된 가상 시점에 대응하는 가상 시점 화상에 대한 부하보다 부하가 작은 생성 처리에 의해 생성되는 것을 특징으로 하는, 표시 제어 장치.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 표시 제어 수단은, 상기 복수의 가상 시점 중 유저에 의해 선택된 가상 시점에 대응하는 가상 시점 화상을, 상기 복수의 가상 시점 중 유저에 의해 선택되지 않은 가상 시점에 대응하는 가상 시점 화상의 프레임 레이트보다 높은 프레임 레이트에서 표시하는 것을 특징으로 하는, 표시 제어 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 표시 제어 수단에 의해 표시된 상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중에서, 유저에 의한 위치 및 방향 조작 대상으로서의 가상 시점을 선택하기 위한 조작을 접수하는 접수 수단을 더 포함하는 것을 특징으로 하는, 표시 제어 장치.
  11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 표시 제어 수단에 의해 표시된 상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 유저에 의해 선택된 가상 시점의 위치 및 방향을 변경하기 위한 유저 조작을 접수하는 접수 수단을 더 포함하는 것을 특징으로 하는, 표시 제어 장치.
  12. 제1항 또는 제2항에 있어서,
    복수의 버튼 및 상기 복수의 가상 시점이 서로 각각 관련지어진 입력 디바이스로부터, 눌러진 버튼에 대응하는 신호를 수신하는 수신 수단을 더 포함하고,
    상기 선택은 상기 수신 수단에 의해 수신된 신호에 기초하여 행해지는 것을 특징으로 하는, 표시 제어 장치.
  13. 표시 제어 장치를 위한 표시 제어 방법이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 단계; 및
    상기 취득 단계에서 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 단계를 포함하고,
    상기 복수의 가상 시점 중 위치 및 방향 조작 대상으로서 선택된 가상 시점에 대응하는 가상 시점 화상은, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어지는 복수의 촬상 화상에 기초하여 생성되고, 다른 장치에 송신되는 것을 특징으로 하는, 표시 제어 방법.
  14. 제13항에 있어서,
    상기 가상 시점 화상은 방송에 의해 상기 다른 장치에 송신되는 것을 특징으로 하는, 표시 제어 방법.
  15. 표시 제어 장치를 위한 표시 제어 방법이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 단계; 및
    상기 취득 단계에서 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 단계를 포함하고,
    상기 표시 제어 단계에서 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    가상 시점을 추가하기 위한 유저 조작에 응답하여, 상기 가상 시점의 위치 및 방향에 대응하는 가상 시점 화상이 상기 조작 화면 상에 새롭게 표시되는 것을 특징으로 하는, 표시 제어 방법.
  16. 표시 제어 장치를 위한 표시 제어 방법이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 단계; 및
    상기 취득 단계에서 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 단계를 포함하고,
    상기 표시 제어 단계에서 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    미리결정된 유저 조작에 응답하여, 복수의 제1 가상 시점에 대응하는 복수의 제1 가상 시점 화상이 상기 조작 화면 상에 표시되는 상태가, 복수의 제2 가상 시점에 대응하는 복수의 제2 가상 시점 화상이 상기 조작 화면 상에 표시되는 상태로 전환되는 것을 특징으로 하는, 표시 제어 방법.
  17. 표시 제어 장치를 위한 표시 제어 방법이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 단계; 및
    상기 취득 단계에서 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 단계를 포함하고,
    상기 표시 제어 단계에서 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    가상 시점을 삭제하기 위한 유저 조작에 응답하여, 삭제 대상으로서의 상기 가상 시점의 위치 및 방향에 대응하는 가상 시점 화상을 상기 조작 화면 상에 표시하지 않도록 제어되는 것을 특징으로 하는, 표시 제어 방법.
  18. 표시 제어 장치를 위한 표시 제어 방법이며,
    복수의 가상 시점의 위치 및 방향에 대응하는 복수의 가상 시점 화상을 취득하는 취득 단계; 및
    상기 취득 단계에서 취득된 상기 복수의 가상 시점 화상을, 상기 가상 시점의 위치 및 방향과 관련되는 조작을 위한 조작 화면 상에 표시하는 표시 제어 단계를 포함하고,
    상기 표시 제어 단계에서 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 하나는, 복수의 카메라에 의해 촬상 대상 영역을 촬상함으로써 얻어진 복수의 촬상 화상에 기초하여 생성되는 화상이며,
    가상 시점 화상을 재배열하기 위한 유저 조작에 응답하여, 상기 조작 화면 상에 표시되는 상기 복수의 가상 시점 화상 중 적어도 일부의 표시 순서가 변경되는 것을 특징으로 하는, 표시 제어 방법.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 표시 제어 단계에서는, 상기 복수의 가상 시점 중 유저에 의해 선택된 가상 시점에 대응하는 가상 시점 화상은, 상기 복수의 가상 시점 중 유저에 의해 선택되지 않은 가상 시점에 대응하는 가상 시점 화상보다 크게 표시되는 것을 특징으로 하는, 표시 제어 방법.
  20. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 복수의 가상 시점 중 유저에 의해 선택되지 않은 가상 시점에 대응하는 가상 시점 화상은, 상기 복수의 가상 시점 중 유저에 의해 선택된 가상 시점에 대응하는 가상 시점 화상에 대한 부하보다 부하가 작은 생성 처리에 의해 생성되는 화상인 것을 특징으로 하는, 표시 제어 방법.
  21. 컴퓨터가 제1항 내지 제12항 중 어느 한 항에서 규정된 표시 제어 장치의 각각의 수단으로서 기능하게 하는, 컴퓨터 프로그램.
KR1020197035475A 2017-12-21 2018-11-21 표시 제어 장치 및 표시 제어 방법 KR102207457B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-245392 2017-12-21
JP2017245392A JP6427258B1 (ja) 2017-12-21 2017-12-21 表示制御装置、表示制御方法
PCT/JP2018/042948 WO2019123957A1 (ja) 2017-12-21 2018-11-21 表示制御装置、表示制御方法

Publications (2)

Publication Number Publication Date
KR20190137939A true KR20190137939A (ko) 2019-12-11
KR102207457B1 KR102207457B1 (ko) 2021-01-26

Family

ID=64394767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035475A KR102207457B1 (ko) 2017-12-21 2018-11-21 표시 제어 장치 및 표시 제어 방법

Country Status (10)

Country Link
US (2) US10733925B2 (ko)
EP (1) EP3621300B1 (ko)
JP (1) JP6427258B1 (ko)
KR (1) KR102207457B1 (ko)
CN (1) CN110720214B (ko)
AU (1) AU2018391746B2 (ko)
BR (1) BR112019025040A2 (ko)
CA (1) CA3070736C (ko)
RU (1) RU2747267C1 (ko)
WO (1) WO2019123957A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7335335B2 (ja) 2019-06-28 2023-08-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7476160B2 (ja) 2021-11-29 2024-04-30 キヤノン株式会社 情報処理装置、情報処理システム、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP2012015990A (ja) * 2010-06-01 2012-01-19 Canon Inc 映像処理装置及びその制御方法
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
WO2002003702A1 (en) * 2000-06-30 2002-01-10 The Muller Sports Group, Inc. Sporting events broadcasting system
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
JP4186520B2 (ja) * 2002-06-21 2008-11-26 ソニー株式会社 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
GB2413720B (en) * 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
US20070070210A1 (en) * 2003-04-11 2007-03-29 Piccionelli Gregory A Video production with selectable camera angles
KR100512616B1 (ko) * 2003-07-18 2005-09-05 엘지전자 주식회사 화면 비율 가변 기능을 갖는 영상표시기기 및 그 제어방법
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP2007020092A (ja) * 2005-07-11 2007-01-25 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法および画像表示システム
US8428048B2 (en) * 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
CN100588250C (zh) * 2007-02-05 2010-02-03 北京大学 一种多视点视频流的自由视点视频重建方法及***
CA2766148A1 (en) * 2009-06-24 2011-01-13 Delta Vidyo, Inc. System and method for an active video electronic programming guide
JP5517598B2 (ja) * 2009-12-22 2014-06-11 キヤノン株式会社 映像再生装置及びその制御方法
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
JP6502701B2 (ja) * 2015-02-26 2019-04-17 日本放送協会 要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
JP6735592B2 (ja) * 2016-04-08 2020-08-05 キヤノン株式会社 画像処理装置及びその制御方法、画像処理システム
JP6622650B2 (ja) * 2016-05-18 2019-12-18 キヤノン株式会社 情報処理装置及びその制御方法、撮影システム
JP6833348B2 (ja) * 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
EP3261328B1 (en) * 2016-06-03 2021-10-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP2012015990A (ja) * 2010-06-01 2012-01-19 Canon Inc 映像処理装置及びその制御方法
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置

Also Published As

Publication number Publication date
EP3621300A1 (en) 2020-03-11
JP2019114869A (ja) 2019-07-11
KR102207457B1 (ko) 2021-01-26
JP6427258B1 (ja) 2018-11-21
EP3621300B1 (en) 2023-05-24
WO2019123957A1 (ja) 2019-06-27
BR112019025040A2 (pt) 2020-06-16
US20200105174A1 (en) 2020-04-02
US10733925B2 (en) 2020-08-04
CN110720214A (zh) 2020-01-21
RU2747267C1 (ru) 2021-05-04
CA3070736A1 (en) 2019-06-27
US11205360B2 (en) 2021-12-21
EP3621300A4 (en) 2020-05-20
CN110720214B (zh) 2021-05-07
US20200335020A1 (en) 2020-10-22
CA3070736C (en) 2023-01-10
AU2018391746B2 (en) 2020-03-12
AU2018391746A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
US10600169B2 (en) Image processing system and image processing method
KR102187974B1 (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
US11205360B2 (en) Display control apparatus, display control method, and non-transitory computer-readable storage medium
US20150365622A1 (en) Terminal Device, Information Processing Device, and Computer-Readable Medium
CN103544441B (zh) 移动图像生成装置
US10659822B2 (en) Information processing apparatus, information processing method, and medium
JPWO2018199052A1 (ja) 画像表示方法及び画像表示装置
CN110710203B (zh) 用于生成和渲染沉浸式视频内容的方法、***和介质
JP2023057124A (ja) 画像処理装置及び方法、プログラム
KR20230152589A (ko) 화상 처리 시스템, 화상 처리방법, 및 기억매체
JP6685364B2 (ja) 表示制御装置、表示制御方法
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP6149967B1 (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
JP2018174376A (ja) 映像配信システム、端末装置及び映像データ配信装置
JP2020022189A (ja) 映像配信システム、映像データ配信装置、映像データ配信装置制御プログラム、映像データ配信方法、端末装置、端末装置制御プログラム及び端末制御方法
WO2022234699A1 (ja) 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム
TWM642447U (zh) 全景影像處理系統
JP2024025327A (ja) 合成画像生成システム、及び撮像支援方法
CN115729403A (zh) 显示画面处理方法、装置，电子设备和存储介质
JP2022173052A (ja) 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム
JP2023098878A (ja) 画像提供サーバおよび画像提供方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant