KR20210006005A - 제어 장치, 제어 방법 및 컴퓨터 프로그램 - Google Patents

제어 장치, 제어 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210006005A
KR20210006005A KR1020217000259A KR20217000259A KR20210006005A KR 20210006005 A KR20210006005 A KR 20210006005A KR 1020217000259 A KR1020217000259 A KR 1020217000259A KR 20217000259 A KR20217000259 A KR 20217000259A KR 20210006005 A KR20210006005 A KR 20210006005A
Authority
KR
South Korea
Prior art keywords
virtual viewpoint
predetermined
viewing direction
virtual
control device
Prior art date
Application number
KR1020217000259A
Other languages
English (en)
Inventor
유지 가토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20210006005A publication Critical patent/KR20210006005A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

시점 제어부(204)는, 가상 시점 영상을 표시하는 표시면에 대한 유저 조작을 검출하고(S801), 그 유저 조작에 따라서, 가상 시점 영상의 생성에 관한 가상 시점의 위치 및 배향 중 적어도 어느 한쪽을 제어한다(S805, S808, S812, S814).

Description

제어 장치, 제어 방법 및 컴퓨터 프로그램{CONTROL APPARATUS, CONTROL METHOD, AND COMPUTER PROGRAM}
본 발명은 가상 시점의 제어 방법에 관한 것이다.
시점이 상이한 복수의 카메라로 촬영하여 얻어지는 복수의 촬영 영상으로부터 임의의 시점의 영상을 생성하는 가상 시점 영상 생성 기술이 알려져 있다. 가상 시점 영상의 생성 방법(렌더링 방법)으로서, 미리 정해진 가상 시점의 이동 경로에 기초하여 가상 시점 영상을 생성해 두는 방법이나, 시청자 등에 의해 지정된 가상 시점의 위치 및 자세 등에 따라서 가상 시점 영상을 생성하는 방법이 알려져 있다.
가상 시점 영상의 생성 기술에 의하면, 인터랙티브성이 높은 영상의 시청을 행하는 것이 가능하다. 한편, 터치 패널을 주요한 인터페이스로 하는 태블릿이나 스마트폰 등의 기기에서는, 원하는 대로 시점을 조작하는 것이 곤란하다. 특허문헌 1에는, 복수의 시점 좌표 데이터와, 복수의 회전 기점 데이터 중에서, 각각 하나씩을 유저에게 선택시키고, 그 후, 시점의 회전 각도와 이동량을 입력하여 시점을 설정하는 것이 기재되어 있다.
일본 특허 공개 제2015-187797호 공보
특허문헌 1의 방법은, 가상 시점의 설정을 위한 조작 수순이 많다. 본 발명은, 가상 시점의 설정을 보다 간이하게 행할 수 있도록 하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명에 관한 제어 장치는, 이하의 구성을 갖는다. 즉, 제어 장치는, 가상 시점 영상을 표시하는 표시면에 대한 유저 조작을 검출하는 검출 수단과, 상기 검출 수단에 의해 검출된 유저 조작에 따라서, 가상 시점 영상의 생성에 관한 가상 시점의 위치 및 배향 중 적어도 어느 한쪽을 제어하는 제어 수단을 갖는다.
본 발명에 따르면, 가상 시점의 설정을 보다 간이하게 행할 수 있게 된다.
도 1은 제어 장치(100)의 하드웨어 구성을 도시하는 블록도.
도 2는 제어 장치(100)의 기능 구성을 도시하는 블록도.
도 3은 실시 형태 1의 1개 손가락의 슬라이드 조작에 있어서의 가상 시점 제어의 예를 도시하는 도면.
도 4는 실시 형태 1의 3개 손가락의 슬라이드 조작에 있어서의 가상 시점 제어의 예를 도시하는 도면.
도 5는 실시 형태 1의 2개 손가락의 슬라이드 조작에 있어서의 가상 시점 제어의 예를 도시하는 도면.
도 6은 실시 형태 1의 2개 손가락의 핀치 아웃 조작에 있어서의 가상 시점 제어의 예를 도시하는 도면.
도 7은 실시 형태 1의 제어 장치(100)에 있어서의 처리의 흐름을 설명하는 흐름도.
도 8은 유저 조작에 따른 가상 시점 제어의 흐름을 설명하는 흐름도.
이하, 본 발명의 실시 형태에 대하여, 도면을 참조하여 설명한다. 또한, 이하의 실시 형태는 본 발명을 한정하는 것은 아니고, 또한, 본 실시 형태에서 설명되고 있는 특징의 조합 모두가 본 발명의 해결 수단에 필수의 것이라고는 할 수 없다. 또한, 동일한 구성에 대해서는, 동일한 부호를 붙여 설명한다.
<실시 형태 1>
실시 형태 1은, 유저가 표시 스크린(터치 패널)을 조작함으로써, 가상 시점의 위치 및 배향 등을 제어하고, 그것에 따른 가상 시점 영상을 생성하는 예에 대하여 설명한다. 또한, 본 실시 형태에서는, 「가상 카메라의 위치를 변경한다」와 「가상 시점의 위치를 변경한다」는 마찬가지의 의미로서 사용한다. 또한, 「가상 카메라의 자세를 변경한다」와 「가상 시점의 배향을 변경한다」는 마찬가지의 의미로서 사용한다.
또한, 본 실시 형태에 있어서 가상 시점 영상이란, 필드(촬영 대상 영역)를 상이한 방향으로부터 촬영하는 복수의 카메라에 의해 얻어진 복수의 촬영 영상에 기초하여 생성되는 영상이며, 가상 시점(가상 카메라)의 위치 및 자세 등에 따라서 생성되는 영상이다. 또한, 본 실시 형태의 가상 시점 영상은, 각 화상 프레임이 소정의 동화상 압축의 방식에 의해 압축된 영상 데이터여도 되고, 각 화상 프레임이 소정의 정지 화상 압축의 방식에 의해 압축된 영상 데이터여도 되고, 비압축의 영상 데이터여도 된다.
본 실시 형태에 있어서의 제어 장치(100)의 시스템 구성예에 대하여, 도 1을 사용하여 설명한다. 도 1에 있어서, CPU(101)는, RAM(102)을 워크 메모리로 하여, ROM(103) 및/또는 하드디스크 드라이브(HDD)(105)에 저장된 프로그램을 실행하고, 시스템 버스(112)를 통해 후술하는 각 구성을 제어한다. 이에 의해, 후술하는 다양한 처리가 실행된다. HDD 인터페이스(I/F)(104)는, 제어 장치(100)와, HDD(105)나 광디스크 드라이브 등의 2차 기억 장치를 접속하는, 예를 들어 시리얼 ATA(SATA) 등의 인터페이스이다. CPU(101)는, HDD 인터페이스(I/F)(104)를 통한, HDD(105)로부터의 데이터 판독 및 HDD(105)에의 데이터 기입이 가능하다. 또한 CPU(101)는, HDD(105)에 저장된 데이터를 RAM(102)에 전개한다. 또한, CPU(101)는, 프로그램의 실행에 의해 얻어진 RAM(102) 상의 각종 데이터를 HDD(105)에 저장하는 것이 가능하다. 입력 인터페이스(I/F)(106)는, 하나 또는 복수의 좌표를 입력하기 위한 터치 패널, 키보드, 마우스, 디지털 카메라, 스캐너 등의 입력 디바이스(107)와 제어 장치(100)를 접속한다. 입력 인터페이스(I/F)(106)는, 예를 들어 USB나 IEEE1394 등의 시리얼 버스 인터페이스이다. CPU(101)는, 입력 I/F(106)를 통해 입력 디바이스(107)로부터 데이터를 읽어들이는 것이 가능하다. 출력 인터페이스(I/F)(108)는, 디스플레이 등의 출력 디바이스(109)와 제어 장치(100)를 접속하는, 예를 들어 DVI나 HDMI(등록 상표) 등의 영상 출력 인터페이스이다. CPU(101)는, 출력 I/F(108)를 통해 출력 디바이스(109)에 가상 시점 영상에 관한 데이터를 보냄으로써, 가상 시점 영상의 표시를 실행시킬 수 있다. 네트워크 인터페이스(I/F)(110)는, 제어 장치(100)와 외부 서버(111)를 접속하는, 예를 들어 LAN 카드 등의 네트워크 카드이다. CPU(101)는, 네트워크 I/F(110)를 통해 외부 서버(111)로부터 데이터를 읽어들이는 것이 가능하다.
또한, 본 실시 형태에서는, 입력 디바이스(107)가 제어 장치(100)의 터치 패널인 경우의 예를 중심으로 설명한다. 즉, 제어 장치(100)는 스마트폰이나 태블릿 단말기 등이어도 되고, 이 경우에는, 입력 디바이스(107)(터치 패널)나 출력 디바이스(109)(표시 스크린)는, 제어 장치(100)와 일체이다. 또한, 도 1에서 도시한 구성 모두가 필수의 구성이라고는 할 수 없다. 예를 들어, HDD(105)에 기억된 가상 시점 영상을 재생하는 경우, 외부 서버(111)는 불필요하다. 반대로, 외부 서버(111)로부터 취득한 가상 시점 영상을 생성하는 경우, HDD(105)는 불필요하다. 또한, 제어 장치(100)가 복수의 CPU(101)를 가져도 된다. 또한, CPU(101)와는 상이한 전용의 하나 또는 복수의 하드웨어나 GPU(Graphics Processing Unit)를 갖고, CPU(101)에 의한 처리의 적어도 일부를 GPU나 전용의 하드웨어가 행하도록 해도 된다. 전용의 하드웨어의 예로서는, ASIC(특정 용도용 집적 회로), FPGA(필드 프로그래머블 게이트 어레이), 및 DSP(디지털 시그널 프로세서) 등이 있다.
본 실시 형태에서는, 터치 패널에 대한 유저 조작에 의해 유저의 의도에 따른 가상 카메라의 제어를 행하는 방법에 대하여 설명한다. 본 실시 형태에 있어서의 유저 조작에는, 탭 조작, 손가락 1개 내지 3개의 슬라이드 조작, 핀치 인·핀치 아웃 조작이 적어도 포함되는 것으로 한다.
손가락 1개의 유저 조작은 초심자라도 행하기 쉬운 반면, 복잡한 정보를 입력하는 것이 어렵고, 손가락 3개의 유저 조작은 미세한 조작이 어렵다. 따라서, 손가락 1개와 손가락 3개의 유저 조작(슬라이드 조작)에는 단순한 가상 카메라의 제어 처리를 할당한다. 그리고, 손가락 2개의 조작에 복잡한 가상 카메라의 제어 처리를 할당한다.
도 3 내지 도 6을 사용하여 구체적인 유저 조작과 가상 카메라의 동작의 관계에 대하여 설명한다. 도 3은 1개 손가락의 슬라이드 조작에 의해, 가상 카메라의 위치 및 자세가 변화되는 모습을 도시하고 있다. 유저 조작 전의 화상(301)에 대하여 손가락 1개로 좌측 방향으로 슬라이드 조작을 행하면, 가상 카메라의 위치 및 자세가 변경되어, 화상(302)이 표시된다. 이때, 가상 카메라의 위치 및 자세는 부감 화상(303)의 중심에 묘화된 3차원 공간 상의 점(304)을 중심으로 하여 가상 시점(305)으로부터 우측으로 돌아간 가상 시점(306)으로 변화된다. 즉, 유저 조작에 의해 동시에 지정되는 표시 스크린 상(표시면 상)의 좌표의 수가 제1 수(1개)인 경우, 시점 제어부(204)는, 그 좌표의 이동에 따라서, 가상 카메라를 소정의 주목 좌표를 중심으로 선회시킨다. 다른 표현으로 하면, 유저 조작에 의해 동시에 지정되는 표시면 상의 좌표의 수가 제1 수(1개)인 경우, 시점 제어부(204)는, 그 좌표의 이동에 따라서, 가상 카메라가 소정의 주목 좌표를 주목한 채로 이동하도록 제어한다.
도 3에 도시한 바와 같이, 1개 손가락의 슬라이드 조작이 검출된 경우에는, 가상 카메라의 이동 범위를 원(307) 상으로 한정하고, 이동 방향을 수평 방향으로 제한한다. 이에 의해, 예를 들어 터치 조작에 익숙하지 않은 유저나, 터치의 궤도가 흔들리기 쉬운 이용 씬(scene)에 있어서도, 유저의 의도에 가까운 가상 카메라의 이동을 행할 수 있다. 따라서, 간이하게 흔들림이 없는 불릿 타임과 같은 가상 시점 영상을 생성할 수 있다.
도 4는 3개 손가락의 슬라이드 조작에 의해, 가상 카메라의 위치가 변화되는 모습을 도시하고 있다. 유저 조작 전의 화상(401)에 대하여 손가락 3개로 우측 방향으로 슬라이드 조작을 행하면, 가상 카메라의 위치가 변경되어, 화상(402)이 표시된다. 이때, 가상 카메라의 위치는 부감 화상(403)에 있어서 나타내어지는 바와 같이 가상 시점(404)으로부터 가상 시점(405)으로 이동한다. 즉, 유저 조작에 의해 동시에 지정되는 표시 스크린 상의 좌표의 수가 제3 수(3개)인 경우, 시점 제어부(204)는, 그 좌표의 변화에 따라서, 가상 카메라가 3차원 공간 내에 있어서 병행 이동하도록, 가상 카메라의 위치를 제어한다.
또한, 「3개의 좌표가 동시에 지정된다」란, 3개의 손가락이 동시에 표시 스크린에 터치한 경우에 한정되지 않는다. 예를 들어, 2개의 손가락이 표시 스크린에 터치하고 있는 상태를 유지하면서, 3개째의 손가락이 표시 스크린에 터치한 경우, 3개의 손가락이 동시에 표시 스크린에 터치하고 있는 상태로서 판정된다. 이와 같이, 손가락별로 표시 스크린에 터치 개시하는 타이밍이 상이하였다고 해도, 복수의 좌표가 동시에 지정되는 경우가 있을 수 있다.
또한, 본 실시 형태의 시점 제어부(204)는, 표시 스크린 상에서의 손가락의 이동량과, 유저 조작에 따라서 특정되는 3차원점(406)의 가상 시점 영상에 있어서의 묘화 위치의 이동량이 동일하게 되도록 가상 카메라를 이동한다. 이와 같이, 손가락의 이동량과 3차원점(406)의 이동량을 일치시킴으로써, 유저는, 보다 직감적으로 가상 카메라의 제어를 행할 수 있다. 단, 손가락의 이동량과, 가상 시점 영상에 있어서의 3차원점(406)의 묘화 위치의 이동량이 상이하도록 제어해도 된다. 또한, 3개 손가락에 의한 유저 조작에 있어서는, 손가락의 이동량은, 3개 손가락의 각각의 이동량의 평균값을 사용하도록 해도 되고, 중앙값을 사용하도록 해도 되고, 대표값을 사용하도록 해도 되고, 그 밖의 값을 사용하도록 해도 된다. 또한, 본 실시 형태에 있어서는, 3개 손가락의 슬라이드 조작이 행해진 경우에는, 가상 카메라의 위치를 변경하지만, 가상 카메라의 자세는 변경하지 않는다. 즉, 유저 조작에 의해 동시에 지정되는 표시 스크린 상의 좌표의 수가 제3 수(3개)인 경우, 시점 제어부(204)는, 그 좌표의 변화에 따라서, 가상 시점의 위치를 변경하고, 가상 시점의 배향은 변경하지 않는다.
도 5는 2개 손가락의 슬라이드 조작에 의해, 가상 카메라의 위치 및 배향이 변화되는 모습을 도시하고 있다. 유저 조작 전의 화상(501)에 대하여 손가락 2개로 좌측 하방 방향으로 슬라이드 조작을 행하면, 가상 카메라의 위치 및 자세가 변경되어, 화상(502)이 표시된다. 이때, 가상 카메라의 위치 및 자세는 부감 화상(503)에 있어서 나타내어지는 바와 같이, 유저의 손가락의 위치에 기초하여 결정된 3차원 상의 점(504)을 중심으로 하여 가상 시점(505)으로부터 가상 시점(506)으로 변화된다. 가상 카메라의 이동 범위는 구면(507)에 한정된다. 즉, 1개 손가락의 슬라이드 조작을 행한 경우에는, 가상 카메라의 높이 방향의 위치를 변경하지 않고, 수평 방향의 위치를 변경한 것에 반해, 2개 손가락의 슬라이드 조작을 행한 경우에는, 가상 카메라의 높이 방향과 수평 방향의 양쪽 위치를 변경한다. 즉, 유저 조작에 의해 동시에 지정되는 표시 스크린 상의 좌표의 수가 제2 수(2개)인 경우, 시점 제어부(204)는, 그 좌표의 이동에 따라서, 가상 카메라의 위치를 제1 방향 및 제2 방향으로 변경한다. 이와 같이, 본 실시 형태의 제어 장치(100)는, 1개 손가락으로 슬라이드 조작이 행해진 경우보다도, 2개 손가락으로 슬라이드 조작이 행해진 경우쪽이, 보다 복잡한 가상 카메라의 제어를 실행한다. 2개 손가락의 슬라이드 조작을 행함으로써, 임의의 오브젝트를 임의의 방향으로부터 본 가상 시점 영상을 생성할 수 있다.
도 6은 2개 손가락의 핀치 아웃 조작에 의해, 가상 카메라의 위치가 변화되는 모습을 도시하고 있다. 유저 조작 전의 화상(601)에 대하여 핀치 아웃 조작을 행하면, 가상 카메라의 위치가 변경되어, 화상(602)이 표시된다. 이때, 가상 카메라의 위치는 부감 화상(603)에 있어서 나타내어지는 바와 같이, 가상 시점(604)으로부터 가상 시점(605)으로 이동한다. 또한, 2개 손가락의 핀치 인 조작이 행해진 경우에는, 가상 시점(605)으로부터 가상 시점(604)의 방향으로 이동한다. 즉, 유저 조작에 의해 동시에 지정되는 표시 스크린 상의 좌표의 수가 제2 수(2개)인 경우, 시점 제어부(204)는, 그 좌표의 변화에 따라서, 가상 카메라의 시선 방향에 따른 방향으로 가상 카메라를 이동시킨다.
핀치 인 조작 및 핀치 아웃 조작에 의해, 가상 카메라의 위치는 점선(606)으로 나타내는 바와 같이 전후로 이동한다. 손가락을 넓힌 만큼 피사체(예를 들어 선수 등의 오브젝트)가 크게 표시되고, 손가락을 좁힌 만큼 피사체를 작게 표시할 수 있어, 직감적인 조작이 가능해진다. 이와 같이, 2개 손가락의 유저 조작에 따라서 가상 카메라의 전후 이동과 회전이 행해지도록 함으로써, 자유도가 높은 가상 카메라의 제어를 실현할 수 있다. 또한, 핀치 인 조작과 핀치 아웃 조작에 따라서 가상 카메라의 위치를 변경하는 것 대신에, 가상 카메라의 줌 값에 관한 파라미터를 변경하도록 해도 된다.
또한, 본 실시 형태에서는, 제1 수가 「1」, 제2 수가 「2」, 제3 수가 「3」인 경우의 예를 중심으로 설명하지만, 이것에 한정되지 않는다. 예를 들어, 제1 수가 「3」, 제2 수가 「2」, 제3 수가 「1」이어도 되고, 제1 수가 「1」, 제2 수가 「2」, 제3 수가 「4」여도 된다.
본 실시 형태의 제어 장치(100)가 행하는 처리의 흐름에 대하여, 도 2와 도 7을 참조하여 설명한다. 도 2는 본 실시 형태에 있어서의 제어 장치(100)의 기능 구성을 도시하는 블록도이다. CPU(101)는, ROM(103) 및/또는 HDD(105)에 저장된 프로그램을 판독하여 RAM(102)를 워크 에어리어로 하여 실행함으로써, 도 2에 도시한 제어 장치(100) 내부의 각 기능 블록의 역할을 행한다. 또한, 도 2의 조작부(201) 및 표시부(206)는, 도 1의 입력 디바이스(107) 및 출력 디바이스(109)에 각각 대응한다. 또한, CPU(101)가 제어 장치(100) 내부의 모든 기능 블록의 역할을 할 필요는 없고, 각 기능 블록에 대응하는 전용의 처리 회로를 마련하도록 해도 된다.
도 7은 본 실시 형태의 제어 장치(100)에서 행해지는 처리의 흐름을 설명하는 흐름도이다. 도 7을 사용하여 설명하는 각 처리는, 제어 장치(100)가 구비하는 CPU(101)가, ROM(103) 및/또는 HDD(105)에 저장된 프로그램을 판독하여 RAM(102)을 워크 에어리어로 하여 실행함으로써 실현된다.
S701에서는, 취득 데이터 제어부(202)가, 조작부(201)에 대한 탭 조작을 검출할 때까지 대기한다. 탭 조작은, 단시간 손가락으로 표시 스크린을 터치하는 조작이다. 탭 조작의 판정에 이용되는 접촉 시간의 역치는 임의의 값을 설정 가능하다. 탭 조작이 검출된 경우, 표시부(206)에 있어서의 현재의 가상 시점 영상의 재생이 일시 정지 상태로 되어 있으면, 취득 데이터 제어부(202)는 재생 상태로 변경한다. 한편, 탭 조작이 검출되었을 때 제어 장치(100)가 가상 시점 영상의 재생 상태이면, 취득 데이터 제어부(202)는, 가상 시점 영상의 일시 정지 상태로 변경한다. 이와 같이, 취득 데이터 제어부(202)는, 표시 스크린에 대한 탭 조작에 따라서, 가상 시점 영상의 재생 상태를 변경하므로, 유저는 직관적인 조작으로 재생 상태를 전환할 수 있다. 단, S701은 필수의 처리는 아니다.
S702에서는, 시점 제어부(204)가, 조작부(201)에 대한 유저 조작의 검출 결과에 기초하여, 가상 카메라의 위치 및 자세에 관한 카메라 파라미터를 묘화부(205)에 출력한다. S702의 상세는 도 8을 사용하여 후술한다.
S703에서는, 데이터 취득부(203)가, HDD(105) 또는 외부 서버(111)로부터 렌더링에 필요한 데이터(폴리곤 데이터나 텍스처 데이터)를 취득하여, 묘화부(205)에 출력한다. 데이터 취득부(203)는, 가상 시점 영상을 동화상으로서 재생하고 있는 상태이면, 다음 화상 프레임의 렌더링에 필요한 데이터를 취득한다. 한편, 가상 시점 영상의 재생이 일시 정지 상태이면, 이미 현재 재생 중인 화상 프레임의 렌더링에 필요한 데이터를 취득한다. 또한, 일시 정지 상태의 경우에는, 다시 데이터를 취득하지 않아도 된다.
S704에서는, 묘화부(205)가, 데이터 취득부(203)로부터 취득한 데이터와 시점 제어부(204)로부터 취득한 카메라 파라미터를 기초로 가상 시점 영상을 생성하고, 당해 생성된 가상 시점 영상을 표시부(206)에 출력한다. S705에서, 표시부(206)는 묘화부(205)로부터 취득한 가상 시점 영상을 표시한다. 렌더링에 관해서는 기존의 기술을 사용할 수 있기 때문에 여기에서는 상세하게 설명을 행하지 않는다. 카메라 파라미터란, 가상 카메라의 외부 파라미터와 내부 파라미터로 분류할 수 있다. 가상 카메라의 외부 파라미터란, 가상 카메라의 위치 및 자세를 나타내는 파라미터이다. 또한, 가상 카메라의 내부 파라미터란, 가상 카메라의 광학적인 특성을 나타내는 파라미터이다. 외부 파라미터와 내부 파라미터에 대하여 보다 구체적으로 설명한다. 가상 카메라의 위치를 나타내는 벡터를 t, 회전을 나타내는 행렬을 R이라 하면, 가상 카메라의 외부 파라미터는 이하와 같이 나타낼 수 있다.
Figure pat00001
여기서, 좌표계는 왼손 좌표계로서 기재하고, 가상 시점에 있어서 우측을 +x 방향, 위를 +y 방향, 앞을 +z 방향으로 한다.
또한, 가상 시점 영상의 주점 위치를 (cx, cy), 가상 카메라의 초점 거리를 f라 하면, 가상 카메라의 내부 파라미터 K는 이하와 같이 나타낼 수 있다.
Figure pat00002
또한, 카메라 파라미터의 표현 방법은 행렬 이외의 표현이어도 상관없다. 예를 들어, 가상 카메라의 위치를 3차원 좌표로 나타내고, 가상 카메라의 자세를 요(yaw), 롤(roll), 및 피치(pitch)의 값의 나열에 의해 나타내도록 해도 된다. 또한, 외부 파라미터와 내부 파라미터는 상술한 것에 한정되는 것은 아니다. 예를 들어, 가상 카메라의 줌값을 나타내는 정보가 가상 카메라의 내부 파라미터로서 취득되도록 해도 된다. 이와 같이, 가상 시점 영상의 생성을 위해 사용되는 가상 카메라의 파라미터에는 다양한 베리에이션이 존재한다. 이상이 본 실시 형태의 제어 장치(100)에서 행해지는 처리의 흐름이다.
<유저 조작에 따른 가상 카메라의 제어>
도 7의 S702의 처리의 상세를, 도 8을 참조하여 설명한다. S702에 있어서는, 시점 제어부(204)는, 조작부(201)에 대한 유저 조작의 검출 결과를 취득하고, 가상 시점 영상의 묘화에 사용되는 가상 카메라의 카메라 파라미터를 묘화부(205)에 출력한다.
S801에서는, 시점 제어부(204)는, 조작부(201)에 대한 유저 조작의 검출 결과를 취득한다. 유저 조작의 검출 결과에는, 표시 스크린 상에 있어서의 터치된 점의 수 n, 터치된 점의 2차원 스크린 좌표 xi(i=1 내지 n), 및 터치된 점의 대표점의 2차원 스크린 좌표 x'가 포함되는 것으로 한다. 또한, 유저 조작의 검출 결과에는, 앞의 화상 프레임에 있어서의 대표점으로부터의 이동량을 나타내는 2차원 벡터 d=(dx, dy), 및 상기 대표점에 기초하여 특정되는 3차원점의 위치를 나타내는 3차원 벡터 T가 포함되는 것으로 한다. 단, 반드시 상기 모든 정보를 검출 결과로서 취득해야만 하는 것은 아니다. 예를 들어, 1개 손가락의 조작이 행해진 경우, 2차원 스크린 좌표 xi와 대표점의 2차원 스크린 좌표 x'는 동일하기 때문에 어느 한쪽은 생략 가능하다.
2차원 스크린의 좌표계는 좌측 위를 원점으로 하고, 우측을 +x, 아래를 +y로 한다. 대표점은 터치된 복수의 점의 2차원 스크린 좌표 xi의 무게 중심에 위치하는 좌표로 한다. 그러나, 대표점은 무게 중심에 한정되지 않고, 2차원 스크린 좌표 xi의 평균에 위치하는 좌표여도 되고, 복수의 2차원 스크린 좌표 xi 중 1점이 랜덤하게 선택되도록 해도 되고, 가장 긴 시간 터치된 점이 선택되도록 해도 된다.
또한, 3차원점은, 가상 카메라의 위치에 따른 3차원 좌표를 시점으로 하여 가상 카메라의 촬영 방향으로 가상적으로 광선을 쏘아(레이 캐스트), 피사체와 충돌한 점으로 한다. 이 3차원점은, 가상 카메라의 조작에 있어서 회전 기점이나 이동의 기준점으로서 이용된다. 또한, 이 3차원점은, 터치의 수가 앞의 화상 프레임으로부터 변화된 경우만 결정하고, 변화되지 않은 경우에는 앞의 화상 프레임의 처리에 있어서 결정된 3차원 벡터 T를 그대로 이용한다. 또한, 본 실시 형태에서는 3차원점은 3차원 벡터 T에 의해 표시되는 예를 설명하지만, 반드시 벡터의 형식으로 표시되지는 않아도 된다.
S802에서는, 시점 제어부(204)는, 조작부(201)에 대한 유저 조작에 따라서 시점 리셋을 행할지 여부를 판정한다. 본 실시 형태에서는, 표시 스크린 상의 특정 영역(예를 들어 시점 리셋 버튼이 표시되어 있는 영역)이 탭된 경우에, 시점 리셋을 행하는 것으로 판정된다.
S803에서는, 시점 제어부(204)가, 가상 카메라의 위치 및 자세 등을 리셋한다. 즉 시점 제어부(204)는, 표시 스크린 상의 소정 위치에 대하여 유저 조작이 검출됨에 따라서, 가상 시점의 위치 및 배향을 미리 정해진 위치 및 방향으로 변경한다. 그리고, 시점 제어부(204)는, 리셋 시의 가상 카메라의 카메라 파라미터를 묘화부(205)에 출력한다. 본 실시 형태에 있어서 리셋 시의 가상 카메라의 위치는 [0 0 0]이며, 가상 카메라의 자세는 단위 행렬인 것으로 한다. 그러나, 리셋 시의 시점 정보는 상술한 것에 한정되는 것은 아니다. 예를 들어, 미리 유저가 설정한 값을 이용해도 되고, 화상 데이터에 묻힌 권장의 시점 정보를 판독하여 이용해도 된다.
S804에서는, 시점 제어부(204)가 터치된 점수 n에 기초하여, 가상 카메라의 제어 방법을 결정한다. 터치된 손가락의 개수에 맞추어 가상 카메라의 제어 방법을 상이하게 함으로써, 보다 다채로운 제어를 실현할 수 있게 된다. 터치 점수가 0점인 경우, S805로 진행하여, 현재의 가상 카메라의 위치 및 자세를 묘화부(205)에 출력한다.
터치 점수가 1점인 경우(즉 1개 손가락의 조작이 검출된 경우), S806으로 진행하여, 시점 제어부(204)는, 상술한 3차원점을 회전 중심으로 하여 가상 카메라를 회전시킨다. 3차원점은, 가상 카메라의 위치에 따른 3차원 좌표(예를 들어 가상 카메라의 중심 좌표)를 시점으로 하여 가상 카메라의 촬영 방향으로 가상적으로 광선을 쏘아(레이 캐스트), 피사체와 충돌한 점으로 한다. 다른 표현으로 하면, 3차원점이란, 터치 시에 표시되는 가상 시점 영상의 중심 위치에 대응하는 3차원 공간 상의 좌표이다. 단, 3차원점은 이 예에 한정되는 것은 아니다. S806 내지 S808의 상세는 후술한다.
터치 점수가 2점인 경우(즉 2개 손가락의 조작이 검출된 경우), S809로 진행하여, 시점 제어부(204)는, 유저에 의한 슬라이드 조작에 따라서, 가상 카메라의 높이 방향과 수평 방향의 양쪽의 위치를 변경하는 제어를 행한다. 또한, S811에 있어서는, 시점 제어부(204)는, 핀치 인 조작 및/또는 핀치 아웃 조작에 따라서 가상 카메라의 위치를 전후 방향으로 이동시키는 제어를 행한다. S809 내지 S812의 상세는 후술한다.
터치 점수가 3점인 경우(즉 3개 손가락의 조작이 검출된 경우), S813으로 진행하여, 시점 제어부(204)는, 가상 카메라를 슬라이드 조작에 따라서 병행 이동시키는 제어를 행한다. S813 및 S814의 상세는 후술한다.
S806에서는, 시점 제어부(204)가 가상 카메라를 회전할 때의 회전 중심이 되는 3차원점의 좌표를 결정한다. 시점 제어부(204)는, 1개 손가락의 터치의 검출에 따라서, 예를 들어 가상 카메라의 중심을 시점으로 하여 가상적으로 3차원 공간으로 광선을 쏘아, 피사체와 충돌한 점을 3차원점으로 한다. 3차원점은 3차원 벡터 A로서 표시되고, 회전 중심으로서 이용된다. 또한, 한 번 3차원점을 결정한 후에는, 터치 상태가 계속되고 있는 동안에는 재결정하지 않아도 된다.
S807에서는, 시점 제어부(204)가 대표점의 이동량 d를 취득하고, 가상 카메라의 이동량을 결정한다. 또한 1개 손가락의 유저 조작의 경우에는, 가상 카메라의 이동 방향은, 3차원점을 중심으로 하는 회전 방향만이다. 또한, 1개 손가락의 유저 조작의 경우, 가상 카메라는 수직 방향으로는 이동하지 않고, 수평 방향으로만 이동한다. 이와 같이 함으로써, 슬라이드 조작에 있어서의 손 떨림의 영향을 받기 어려워, 가상 카메라의 이동을 원활하게 행할 수 있다. 또한, 본 실시 형태의 시점 제어부(204)는, 대표점의 이동량 dx에 스케일 계수 s를 승산함으로써 가상 카메라의 이동량(수평 방향의 회전량 θ)을 결정한다. 표시 스크린의 해상도를 폭 w 화소로 하고, 표시 스크린의 단부로부터 단부까지 슬라이드 조작하였을 때의 회전량을 360도로 하면 이동량 dx로부터 회전량 θ[degree]를 결정하기 위한 스케일 계수 s는 이하의 식으로 나타낼 수 있다.
Figure pat00003
이 스케일 계수를 사용하여 가상 카메라의 회전량은 이하의 식으로 나타낼 수 있다.
Figure pat00004
또한 본 실시 형태에서는 손가락 1개의 유저 조작에 기초하는 가상 카메라의 이동 방향은 수평 방향만으로 하는 예를 중심으로 설명하지만, 수직 방향만의 이동으로 해도 된다. 또한, 유저 조작의 내용에 따라서, 수평 방향만의 이동으로 할지, 수직 방향만의 이동으로 할지가 결정되도록 해도 된다. 구체적으로는, 터치가 검출되고 나서 소정수의 화상 프레임의 슬라이드 조작의 방향에 따라서 이동 방향을 결정해도 된다. 예를 들어, 소정수의 화상 프레임에 있어서의 슬라이드 조작에 의한 x 방향과 y 방향의 이동량을 비교하여, x 방향의 이동량이 크면 수평 방향만의 이동으로 하고, y 방향의 이동량이 크면 수직 방향만의 이동으로 해도 된다. 또한, 스케일 계수 s의 결정 방법은 상술한 것에 한정되지 않는다. 예를 들어 유저가 임의의 값을 지정하도록 해도 되고, 복수의 선택지 중에서 유저가 임의로 선택할 수 있도록 해도 된다.
S808에서는, 시점 제어부(204)가 유저의 슬라이드 조작에 따른 가상 카메라의 위치 및 자세의 결정을 행하고, 그 결과를 묘화부(205)에 출력한다. 가상 카메라의 위치 Rn-1 및 자세 tn-1을, 좌표 A를 중심으로 수평 방향으로 θ만큼 회전한 경우의 가상 카메라의 위치 Rn 및 자세 tn은 이하의 식으로 나타낼 수 있다.
Figure pat00005
단, R(θ, φ)은 수평 방향으로 θ, 수직 방향으로 φ만큼 회전하는 회전 행렬이다. 또한, 회전시킨 현재의 가상 카메라의 위치 및 자세를 구하는 식은 이것에 한정되지 않는다.
S809에서는, 시점 제어부(204)가 대표점의 이동량 d를 취득하여, 가상 카메라의 이동량을 결정한다. 또한 2개 손가락의 유저 조작의 경우에는, 자유도가 높은 제어를 실현하기 위해, S807과는 달리, 3차원점을 중심으로 하여, 수평 방향과 수직 방향의 양방향으로 가상 카메라를 회전시킬 수 있다. 수평 방향의 회전량 θ와 스케일 계수 s는 S807과 마찬가지로 하여 구한다. 수직 방향의 회전량 φ는, 이하의 식으로 나타낼 수 있다.
Figure pat00006
S810에서는, 시점 제어부(204)가 유저의 슬라이드 조작에 따른 가상 카메라의 위치 및 자세의 결정을 행하고, 그 결과를 묘화부(205)에 출력한다. 가상 카메라의 위치 Rn-1 및 자세 tn-1을, 3차원점 T를 중심으로 수평 방향으로 θ만큼 회전하고, 수직 방향으로 φ만큼 회전한 경우의 가상 카메라의 위치 Rn, 자세 ｔ'n은 이하의 식으로 나타낼 수 있다.
Figure pat00007
단, 3차원점 T를 중심으로 회전시킨 경우의 가상 카메라의 위치 및 자세를 구하는 식은 이것에 한정되지 않는다. 예를 들어, 소정의 계수 등을 사용함으로써 손가락의 이동량에 대한 가상 카메라의 이동량을 크게 하는 것도 가능하고, 반대로, 손가락의 이동량에 대한 가상 카메라의 이동량을 작게 하는 것도 가능하다.
S811에서는, 시점 제어부(204)가 유저의 핀치 인 조작 및 핀치 아웃 조작에 따른 가상 카메라의 전후 방향의 이동량의 결정을 행한다. 현재의 화상 프레임이 표시되어 있을 때의 2개 손가락의 거리를 dn이라 하고, 직전의 화상 프레임이 표시되어 있을 때의 2개 손가락의 거리를 dn-1이라 하면, 그 변화량 Δd는 Δd=dn-dn-1이다. 그 변화량에 비례하여 가상 카메라를 전후로 이동시킨다. 이동의 민감도를 m이라 하면, 가상 카메라의 이동량 Δz는 Δz=m×Δd로 나타낼 수 있다. 즉, 핀치 인 조작, 및 핀치 아웃 조작에 의한 단위 시간당의 손가락의 이동량에 따라서, 가상 카메라의 이동량이 결정된다. 또한, 이동량을 결정하는 방법은 상술한 방법에 한정되지 않는다. 예를 들어, 가상 카메라로부터 3차원점 T까지의 거리에 기초하여 표시 스크린 상에서의 손가락의 이동량에 맞도록 3차원 공간 상에서의 이동량이 결정되도록 해도 된다.
S812에서는, 시점 제어부(204)가 유저의 핀치 인 조작, 및 핀치 아웃 조작에 따른 가상 카메라의 위치의 결정을 행하고, 그 결과를 묘화부(205)에 출력한다. 전후 방향으로 Δz만큼 이동한 가상 카메라의 위치는 이하의 식으로 나타내어진다.
Figure pat00008
S813에서는, 시점 제어부(204)가 유저의 슬라이드 조작에 따른 가상 카메라의 상하 좌우 방향의 이동량의 결정을 행한다. 본 실시 형태에서는, 표시 스크린 상에 있어서의 손가락의 이동량과 동일한 거리만큼 3차원점이 표시 스크린 상에서 이동하도록 이동량이 결정된다. 즉, 어떤 오브젝트(예를 들어 축구 선수)의 표시 위치에 3개 손가락으로 터치하여, 그 3개 손가락을 표시 스크린 상에서 슬라이드 이동시키면, 그 오브젝트의 표시 위치와 3개 손가락의 위치 관계가 변화되지 않도록, 가상 카메라의 위치가 변화된다. 이동량 Δx, Δy는, 가상 카메라로부터 터치한 3차원점까지의 거리를 r이라 하면 이하의 식으로 나타낼 수 있다.
Figure pat00009
S814에서는, 시점 제어부(204)가 유저의 슬라이드 조작에 따른 가상 카메라의 위치 및 자세의 결정을 행하고, 그 결과를 묘화부(205)에 출력한다. 좌우 방향으로 Δx, 상하 방향으로 Δy만큼 이동한 경우의 가상 카메라의 위치 및 자세는 이하의 식으로 나타내어진다.
Figure pat00010
또한, 손가락의 개수와 처리의 내용의 대응 관계는, 상술에 나타낸 예에 한정되지 않는다. 예를 들어, 손가락 1개의 슬라이드 조작과 손가락 3개의 슬라이드 조작에 의한 가상 카메라의 위치 및 자세의 제어는 바꾸는 것도 가능하다. 즉, 손가락 1개의 슬라이드 조작에 기초하여 가상 카메라를 상하 좌우로 평행 이동시키고, 손가락 3개의 슬라이드 조작에 기초하여 3차원점을 중심으로 하는 가상 카메라의 회전 이동을 실행하도록 해도 된다. 또한, 손가락의 개수와 제어 방법의 관계를, 유저가 임의로 설정할 수 있도록 해도 된다. 이와 같이 하면, 유저의 스킬이나, 가상 시점 영상의 표시 환경 등에 의해 매치한 조작 기능을 제공할 수 있게 된다. 또한, 본 실시 형태에서는, 터치 점수가 0점인 경우의 처리(S805), 1점인 경우의 처리(S806 내지 S808), 2점인 경우의 처리(S809 내지 S812), 3점인 경우의 처리(S813, S814)를 모두 행할 때의 예를 중심으로 설명하였다. 그러나 이 예에 한정되지 않는다. 예를 들어, 터치 점수가 2점인 경우의 처리(S809 내지 S812)와, 3점인 경우의 처리(S813, S814)만을 실행하도록 해도 되고, 터치 점수가 1점인 경우의 처리(S806 내지 S808)만을 실행하도록 해도 된다. 또한, 사전의 유저 설정에 따라서, 어느 처리를 유효로 할지가 전환되도록 해도 된다.
이상 설명한 바와 같이, 본 실시 형태의 제어 장치(100)는, 가상 시점 영상을 표시하기 위한 표시면(표시 스크린)에 대한 유저 조작에 따라서, 가상 시점의 위치 및 배향 중 적어도 어느 한쪽을 제어한다. 이와 같은 구성에 의하면, 유저는, 종래보다도 간이하게 가상 시점에 관한 제어를 행할 수 있게 된다. 또한, 본 실시 형태의 제어 장치(100)는, 표시면으로부터 검출된 손가락의 개수(유저 조작에 의해 동시에 지정되는 좌표의 수)에 따라서, 유저 조작에 따른 가상 시점의 제어 방법을 전환한다. 이와 같은 구성을 채용함으로써, 유저는, 그 의도에 따른 가상 시점의 제어를, 보다 직관적인 조작으로 행할 수 있게 된다. 바꿔 말하면, 본 실시 형태의 제어 장치(100)에 의하면, 보다 유저의 의도에 따른 가상 시점 영상을 생성할 수 있게 된다는 효과가 있다.
<그 밖의 실시 형태>
본 발명은, 상술한 실시 형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에 의해서도 실현 가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.
본 발명은 상기 실시 형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 공표하기 위해 이하의 청구항을 첨부한다.
본원은, 2017년 9월 19일에 제출된 일본 특허 출원 제2017-179581호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용 모두를 여기에 원용한다.

Claims (17)

  1. 제어 장치이며,
    가상 시점의 위치 및 가상 시점으로부터의 시야 방향에 대응하고, 복수의 촬상 장치에 의해 취득되는 화상 데이터에 기초하여 생성되는 가상 시점 화상을 표시하는 표시 장치의 표시면에 대한 터치 조작을 검출하는 검출 수단과,
    상기 검출 수단에 의해 검출된 터치 조작에 의해 제1 수의 좌표가 동시에 지정되는 제1의 경우, 상기 제1 수의 좌표의 변화에 기초하여 소정의 방향으로 슬라이딩시키는 터치 조작에 따라, 가상 시점의 미리 정해진 위치 및 가상 시점으로부터의 미리 정해진 시야 방향으로부터, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 변경하는 제1 변경 수단과,
    상기 검출 수단에 의해 검출된 터치 조작에 의해 제2 수의 좌표가 동시에 지정되는 제2의 경우, 상기 제2 수의 좌표의 변화에 기초하여 상기 소정의 방향과 동일한 방향으로 슬라이딩시키는 터치 조작에 따라, 상기 가상 시점으로부터의 미리 정해진 시야 방향과 동일한 시야 방향으로부터 상기 가상 시점으로부터의 시야 방향의 변화 없이, 상기 가상 시점의 미리 정해진 위치와 동일한 위치로부터 상기 가상 시점의 위치를 변경하는 제2 변경 수단을 갖는 것을 특징으로 하는, 제어 장치.
  2. 제1항에 있어서,
    상기 제1 변경 수단은, 소정의 방향으로 슬라이딩시키는 터치 조작에 따라 상기 가상 시점이 지향되는 미리 정해진 위치를 중심으로 상기 가상 시점이 선회하도록, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 변경하는 것을 특징으로 하는, 제어 장치.
  3. 제2항에 있어서,
    상기 가상 시점이 지향되는 상기 미리 정해진 위치는, 상기 터치 조작이 검출된 경우, 상기 표시 장치 상에 표시되는 가상 시점 화상의 중심 위치에 기초하여 결정되는 위치인 것을 특징으로 하는, 제어 장치.
  4. 제1항에 있어서,
    상기 제1 변경 수단은, 소정의 방향으로 슬라이딩시키는 터치 조작에 따라 상기 가상 시점이 지향되는 미리 정해진 위치를 상기 가상 시점이 주목한 채로 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향이 변화되도록, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 변경하는 것을 특징으로 하는, 제어 장치.
  5. 제1항에 있어서,
    상기 제1 수는 1개이고, 상기 제2 수는 2개인 것을 특징으로 하는, 제어 장치.
  6. 제1항에 있어서,
    상기 제1 수는 2개이고, 상기 제2 수는 1개인 것을 특징으로 하는, 제어 장치.
  7. 제1항에 있어서,
    상기 제2 변경 수단은, 소정의 방향으로 슬라이딩시키는 터치 조작에 따라 상기 가상 시점의 위치를 3차원 공간 내에 있어서 직선적으로 이동시킴으로써, 상기 가상 시점이 지향되는 미리 정해진 위치 및 상기 가상 시점의 위치를 변경하는 것을 특징으로 하는, 제어 장치.
  8. 제1항에 있어서,
    상기 검출 수단은 상기 가상 시점 화상의 재생 동안에 터치 조작을 검출하는 것을 특징으로 하는, 제어 장치.
  9. 제8항에 있어서,
    상기 가상 시점 화상의 재생 동안 터치 조작이 검출된 경우, 상기 가상 시점 화상의 재생이 일시 정지되고, 상기 가상 시점 화상의 재생이 일시 정지되어 있는 동안에 상기 터치 조작에 따라 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향 중 적어도 하나가 변경되는 것을 특징으로 하는, 제어 장치.
  10. 제8항에 있어서,
    상기 가상 시점 화상의 재생 동안 터치 조작이 검출된 경우, 상기 가상 시점 화상의 재생이 일시 정지되고, 상기 가상 시점 화상의 재생 동안에 상기 터치 조작에 따라 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향 중 적어도 하나가 변경되는 것을 특징으로 하는, 제어 장치.
  11. 제1항에 있어서,
    상기 검출 수단에 의해 상기 표시면 상의 소정 위치에 대해 터치 조작이 검출되는 경우, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 미리 정해진 위치 및 미리 정해진 방향으로 변경하는 제3 변경 수단을 더 갖는 것을 특징으로 하는, 제어 장치.
  12. 제1항에 있어서,
    상기 복수의 촬상 장치에 의해 촬상되는 촬상 대상 영역에는, 1 이상의 오브젝트가 존재하는 것을 특징으로 하는, 제어 장치.
  13. 제12항에 있어서,
    상기 오브젝트의 적어도 하나는 스포츠 선수인 것을 특징으로 하는, 제어 장치.
  14. 제어 장치이며,
    가상 시점의 위치 및 가상 시점으로부터의 시야 방향에 대응하고, 복수의 촬상 장치에 의해 취득되는 화상 데이터에 기초하여 생성되는 가상 시점 화상을 표시하는 표시 장치의 표시면에 대한 터치 조작을 검출하는 검출 수단과,
    1개의 손가락으로 터치 조작이 행해지는 제1의 경우, 1개의 손가락으로 소정의 방향으로 슬라이딩시키는 터치 조작에 따라, 가상 시점의 미리 정해진 위치 및 가상 시점으로부터의 미리 정해진 시야 방향으로부터, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 변경하는 제1 변경 수단과,
    2개의 손가락으로 터치 조작이 행해지는 제2의 경우, 2개의 손가락으로 상기 소정의 방향과 동일한 방향으로 슬라이딩시키는 터치 조작에 따라, 상기 가상 시점으로부터의 미리 정해진 시야 방향과 동일한 시야 방향으로부터 상기 가상 시점으로부터의 시야 방향의 변화 없이, 상기 가상 시점의 미리 정해진 위치와 동일한 위치로부터 상기 가상 시점의 위치를 변경하는 제2 변경 수단을 갖는 것을 특징으로 하는, 제어 장치.
  15. 제어 방법이며,
    3차원 공간에서의 가상 시점의 위치 및 가상 시점으로부터의 시야 방향에 대응하고, 복수의 촬상 장치에 의해 취득되는 화상 데이터에 기초하여 생성되는 가상 시점 화상을 표시하는 표시 장치의 표시면에 대한 터치 조작을 검출하고,
    상기 터치 조작에 의해 제1 수의 좌표가 동시에 지정되는 제1의 경우, 상기 제1 수의 좌표의 변화에 기초하여 소정의 방향으로 슬라이딩시키는 터치 조작에 따라, 가상 시점의 미리 정해진 위치 및 가상 시점으로부터의 미리 정해진 시야 방향으로부터, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 변경하고,
    상기 터치 조작에 의해 제2 수의 좌표가 동시에 지정되는 제2의 경우, 상기 제2 수의 좌표의 변화에 기초하여 상기 소정의 방향과 동일한 방향으로 슬라이딩시키는 터치 조작에 따라, 상기 가상 시점으로부터의 미리 정해진 시야 방향과 동일한 시야 방향으로부터 상기 가상 시점으로부터의 시야 방향의 변화 없이, 상기 가상 시점의 미리 정해진 위치와 동일한 위치로부터 상기 가상 시점의 위치를 변경하는 것을 특징으로 하는, 제어 방법.
  16. 제어 방법이며,
    가상 시점의 위치 및 가상 시점으로부터의 시야 방향에 대응하고, 복수의 촬상 장치에 의해 취득되는 화상 데이터에 기초하여 생성되는 가상 시점 화상을 표시하는 표시 장치의 표시면에 대한 터치 조작을 검출하고,
    1개의 손가락으로 터치 조작이 행해지는 제1의 경우, 1개의 손가락으로 소정의 방향으로 슬라이딩시키는 터치 조작에 따라, 가상 시점의 미리 정해진 위치 및 가상 시점으로부터의 미리 정해진 시야 방향으로부터, 상기 가상 시점의 위치 및 상기 가상 시점으로부터의 시야 방향을 변경하고,
    2개의 손가락으로 터치 조작이 행해지는 제2의 경우, 2개의 손가락으로 상기 소정의 방향과 동일한 방향으로 슬라이딩시키는 터치 조작에 따라, 상기 가상 시점으로부터의 미리 정해진 시야 방향과 동일한 시야 방향으로부터 상기 가상 시점으로부터의 시야 방향의 변화 없이, 상기 가상 시점의 미리 정해진 위치와 동일한 위치로부터 상기 가상 시점의 위치를 변경하는 것을 특징으로 하는, 제어 방법.
  17. 컴퓨터로 하여금, 제1항 내지 제14항 중 어느 한 항에 따른 제어 장치로서 동작하게 하는, 기록 매체에 저장된 컴퓨터 프로그램.
KR1020217000259A 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 컴퓨터 프로그램 KR20210006005A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-179581 2017-09-19
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム
PCT/JP2018/033398 WO2019059020A1 (ja) 2017-09-19 2018-09-10 制御装置、制御方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033018A Division KR20200002025A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 저장 매체

Publications (1)

Publication Number Publication Date
KR20210006005A true KR20210006005A (ko) 2021-01-15

Family

ID=64098693

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197033018A KR20200002025A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 저장 매체
KR1020217000259A KR20210006005A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 컴퓨터 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197033018A KR20200002025A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 저장 매체

Country Status (10)

Country Link
US (2) US11003350B2 (ko)
EP (1) EP3605295A4 (ko)
JP (1) JP6419278B1 (ko)
KR (2) KR20200002025A (ko)
CN (1) CN110720086A (ko)
AU (1) AU2018336341B2 (ko)
BR (1) BR112019019526A2 (ko)
CA (1) CA3072999C (ko)
RU (1) RU2720356C1 (ko)
WO (1) WO2019059020A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10712836B2 (en) * 2016-10-04 2020-07-14 Hewlett-Packard Development Company, L.P. Three-dimensional input device
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム，映像表示方法，及びコンピュータプログラム
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
JP7335335B2 (ja) 2019-06-28 2023-08-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US20230012271A1 (en) * 2019-12-10 2023-01-12 Sony Group Corporation Information processing system, information processing method, and program
WO2021232329A1 (en) * 2020-05-21 2021-11-25 Intel Corporation Virtual camera friendly optical tracking
EP4300950A1 (en) * 2021-02-25 2024-01-03 Sony Group Corporation Information processing device, information processing method, program, and display system
KR102435789B1 (ko) * 2021-12-16 2022-08-24 주식회사 카펜스트리트 3차원 객체 영상을 처리하기 위한 기법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59124800A (ja) 1982-12-30 1984-07-18 アルプス電気株式会社 ステイツクマガジン供給装置
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
RU2406150C2 (ru) * 2005-09-15 2010-12-10 Олег Станиславович Рурин Способ и система для визуализации виртуальных трехмерных объектов
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
KR101665034B1 (ko) * 2008-08-22 2016-10-24 구글 인코포레이티드 이동 장치 상의 삼차원 환경에서의 네비게이션
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP6074894B2 (ja) 2012-02-24 2017-02-08 株式会社ニコン 情報表示装置
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
KR20150034255A (ko) * 2012-07-15 2015-04-02 애플 인크. 3d 상호작용을 위한 멀티터치 제스처 인식의 명확화
CN103634584B (zh) * 2012-08-29 2015-10-21 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
JP5892060B2 (ja) * 2012-12-25 2016-03-23 カシオ計算機株式会社 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160140733A1 (en) 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN107851334A (zh) * 2015-08-06 2018-03-27 索尼互动娱乐股份有限公司 信息处理装置
KR20170079198A (ko) 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
JP2017179581A (ja) 2016-03-24 2017-10-05 Ntn株式会社 焼結拡散接合部品およびその製造方法
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置

Also Published As

Publication number Publication date
CA3072999A1 (en) 2019-03-28
WO2019059020A1 (ja) 2019-03-28
EP3605295A4 (en) 2020-05-13
KR20200002025A (ko) 2020-01-07
US11003350B2 (en) 2021-05-11
EP3605295A1 (en) 2020-02-05
AU2018336341B2 (en) 2020-05-07
JP2019056978A (ja) 2019-04-11
US20210232307A1 (en) 2021-07-29
BR112019019526A2 (pt) 2020-04-22
JP6419278B1 (ja) 2018-11-07
US20200012421A1 (en) 2020-01-09
CN110720086A (zh) 2020-01-21
AU2018336341A1 (en) 2019-10-10
CA3072999C (en) 2021-08-31
US11586349B2 (en) 2023-02-21
RU2720356C1 (ru) 2020-04-29

Similar Documents

Publication Publication Date Title
KR20210006005A (ko) 제어 장치, 제어 방법 및 컴퓨터 프로그램
US10948993B2 (en) Picture-taking within virtual reality
TWI586167B (zh) 以臉部偵測控制相機
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US11044398B2 (en) Panoramic light field capture, processing, and display
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114175630A (zh) 利用注视点网格渲染沉浸式视频内容的方法、***和介质
US9843714B2 (en) Control apparatus, imaging system, control method, and storage medium
TWI499938B (zh) 觸控系統
EP3702008A1 (en) Displaying a viewport of a virtual space
EP3599539B1 (en) Rendering objects in virtual views
JP7434385B2 (ja) 制御装置、制御方法、及びプログラム
EP3239811B1 (en) A method, apparatus or computer program for user control of access to displayed content
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
US20220408069A1 (en) Information processing apparatus, information processing method, and storage medium
JP7210153B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application