JP2019056978A - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP2019056978A
JP2019056978A JP2017179581A JP2017179581A JP2019056978A JP 2019056978 A JP2019056978 A JP 2019056978A JP 2017179581 A JP2017179581 A JP 2017179581A JP 2017179581 A JP2017179581 A JP 2017179581A JP 2019056978 A JP2019056978 A JP 2019056978A
Authority
JP
Japan
Prior art keywords
virtual viewpoint
coordinates
user operation
display surface
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017179581A
Other languages
English (en)
Other versions
JP6419278B1 (ja
Inventor
祐二 加藤
Yuji Kato
祐二 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017179581A priority Critical patent/JP6419278B1/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201880037599.2A priority patent/CN110720086A/zh
Priority to KR1020197033018A priority patent/KR20200002025A/ko
Priority to RU2019130044A priority patent/RU2720356C1/ru
Priority to PCT/JP2018/033398 priority patent/WO2019059020A1/ja
Priority to BR112019019526A priority patent/BR112019019526A2/pt
Priority to KR1020217000259A priority patent/KR20210006005A/ko
Priority to AU2018336341A priority patent/AU2018336341B2/en
Priority to CA3072999A priority patent/CA3072999C/en
Priority to EP18857883.5A priority patent/EP3605295A4/en
Application granted granted Critical
Publication of JP6419278B1 publication Critical patent/JP6419278B1/ja
Publication of JP2019056978A publication Critical patent/JP2019056978A/ja
Priority to US16/576,540 priority patent/US11003350B2/en
Priority to US17/230,344 priority patent/US11586349B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】三次元空間上の仮想視点の設定をより簡易に行えるようにする制御装置、方法及びプログラムを提供する。【解決手段】仮想カメラの制御において、表示制御装置の視点制御部は、仮想視点映像を表示する表示面に対するユーザのタッチ操作を検出し(S801)、タッチされた指の本数に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち、少なくとも何れか一方を制御する(S803、S808、S812、S814)。【選択図】図8

Description

本発明は仮想視点の制御方法に関する。
視点の異なる複数のカメラで撮影して得られる複数の撮影映像から任意の視点の映像を生成する仮想視点映像生成技術が知られている。仮想視点映像の生成方法(レンダリング方法)として、予め定められた仮想視点の移動経路に基づいて仮想視点映像を生成しておく方法や、視聴者等により指定された仮想視点の位置及び姿勢等に従って仮想視点映像を生成する方法が知られている。
仮想視点映像の生成技術によれば、インタラクティブ性の高い映像の視聴を行うことが可能である。一方で、タッチパネルを主要なインタフェイスとするタブレットやスマートフォンなどの機器では、望み通りに視点を操作することが困難である。特許文献1には、複数の視点座標データと、複数の回転起点データのうちから、それぞれ1つずつをユーザに選択させ、その後、視点の回転角度と移動量を入力して視点を設定することが記載されている。
特開2015−187797号公報
特許文献1の方法は、仮想視点の設定のための操作手順が多い。本発明は、仮想視点の設定をより簡易に行えるようにすることを目的とする。
上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、仮想視点映像を表示する表示面に対するユーザ操作を検出する検出手段と、前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。
本発明によれば、仮想視点の設定をより簡易に行うことができるようになる。
制御装置100のハードウェア構成を示すブロック図。 制御装置100の機能構成を示すブロック図。 実施形態1の1本指のスライド操作における仮想視点制御の例を示す図。 実施形態1の3本指のスライド操作における仮想視点制御の例を示す図。 実施形態1の2本指のスライド操作における仮想視点制御の例を示す図。 実施形態1の2本指のピンチアウト操作における仮想視点制御の例を示す図。 実施形態1の制御装置100における処理の流れを示すフローチャート。 ユーザ操作に応じた仮想視点制御の流れを示すフローチャート。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
<実施形態1>
実施形態1は、ユーザが表示スクリーン(タッチパネル)を操作することにより、仮想視点の位置及び向き等を制御し、それに応じた仮想視点映像を生成する例について説明する。なお、本実施形態では、「仮想カメラの位置を変更する」と「仮想視点の位置を変更する」は同様の意味として用いる。また、「仮想カメラの姿勢を変更する」と「仮想視点の向きを変更する」は同様の意味として用いる。
また、本実施形態において仮想視点映像とは、フィールド(撮影対象領域)を異なる方向から撮影する複数のカメラにより得られた複数の撮影映像に基づいて生成される映像であり、仮想視点(仮想カメラ)の位置及び姿勢等に従って生成される映像である。また、本実施形態の仮想視点映像は、各画像フレームが所定の動画圧縮の方式により圧縮された映像データであっても良いし、各画像フレームが所定の静止画圧縮の方式により圧縮された映像データであっても良いし、非圧縮の映像データであっても良い。
本実施形態における制御装置100のシステム構成例について、図1を用いて説明する。同図において、CPU101は、RAM102をワークメモリとして、ROM103及び/又はハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス112を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDインタフェイス(I/F)104は、制御装置100と、HDD105や光ディスクドライブなどの二次記憶装置とを接続する、例えばシリアルATA(SATA)等のインタフェイスである。CPU101は、HDDインタフェイス(I/F)104を介した、HDD105からのデータ読み出し、およびHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開する。また、CPU101は、プログラムの実行により得られたRAM102上の各種データをHDD105に保存することが可能である。入力インタフェイス(I/F)106は、1又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、スキャナなどの入力デバイス107と制御装置100とを接続する。入力インタフェイス(I/F)106は、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。CPU101は、入力I/F106を介して入力デバイス107からデータを読み込むことが可能である。出力インタフェイス(I/F)108は、ディスプレイなどの出力デバイス109と制御装置100とを接続する、例えばDVIやHDMI(登録商標)等の映像出力インタフェイスである。CPU101は、出力I/F108を介して出力デバイス109に仮想視点映像に係るデータを送ることで、仮想視点映像の表示を実行させることができる。ネットワークインタフェイス(I/F)110は、制御装置100と外部サーバ111とを接続する、例えばLANカードなどのネットワークカードである。CPU101は、ネットワークI/F110を介して外部サーバ111からデータを読み込むことが可能である。
なお、本実施形態では、入力デバイス107が制御装置100のタッチパネルである場合の例を中心に説明する。つまり、制御装置100はスマートフォンやタブレット端末などであっても良く、この場合は、入力デバイス107(タッチパネル)や出力デバイス109(表示スクリーン)は、制御装置100と一体である。また、図1にて示した構成のすべてが必須の構成とは限らない。例えば、HDD105に記憶された仮想視点映像を再生する場合、外部サーバ111は不要である。逆に、外部サーバ111から取得した仮想視点映像を生成する場合、HDD105は不要である。また、制御装置100が複数のCPU101を有してもよい。また、CPU101とは異なる専用の1又は複数のハードウェアやGPU(Graphics Processing Unit)を有し、CPU101による処理の少なくとも一部をGPUや専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、およびDSP(デジタルシグナルプロセッサ)などがある。
本実施形態では、タッチパネルに対するユーザ操作によってユーザの意図に沿った仮想カメラの制御を行う方法について述べる。本実施形態におけるユーザ操作には、タップ操作、指1本〜3本のスライド操作、ピンチイン・ピンチアウト操作が少なくとも含まれるものとする。
指1本のユーザ操作は初心者でも行いやすい反面、複雑な情報を入力することが難しく、指3本のユーザ操作は細かい操作が難しい。よって、指1本と指3本のユーザ操作(スライド操作)には単純な仮想カメラの制御処理を割り当てる。そして、指2本の操作に複雑な仮想カメラの制御処理を割り当てる。
図3から図6を用いて具体的なユーザ操作と仮想カメラの動作の関係について説明する。図3は、1本指のスライド操作によって、仮想カメラの位置及び姿勢が変化する様子を示している。ユーザ操作前の画像301に対して指1本で左方向にスライド操作を行うと、仮想カメラの位置及び姿勢が変更され、画像302が表示される。このとき、仮想カメラの位置及び姿勢は俯瞰画像303の中心に描画された3次元空間上の点304を中心として仮想視点305から右側に回り込んだ仮想視点306へ変化する。すなわち、ユーザ操作により同時に指定される表示スクリーン上(表示面上)の座標の数が第1の数(1つ)である場合、視点制御部204は、その座標の移動に応じて、仮想カメラを所定の注目座標を中心に旋回させる。別の言い方をすると、ユーザ操作により同時に指定される表示面上の座標の数が第1の数(1つ)である場合、視点制御部204は、その座標の移動に応じて、仮想カメラが所定の注目座標を注目したまま移動するように制御する。
図3に示すように、1本指のスライド操作が検出された場合は、仮想カメラの移動範囲を円307上に限定し、移動方向を水平方向に制限する。これにより、例えば、タッチ操作に不慣れなユーザや、タッチの軌道がぶれやすい利用シーンにおいても、ユーザの意図に近い仮想カメラの移動が行える。したがって、簡易にブレのないバレットタイムのような仮想視点映像を生成することができる。
図4は、3本指のスライド操作によって、仮想カメラの位置が変化する様子を示している。ユーザ操作前の画像401に対して指3本で右方向にスライド操作を行うと、仮想カメラの位置が変更され、画像402が表示される。このとき、仮想カメラの位置は俯瞰画像403において示される通り仮想視点404から仮想視点405へ移動する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第3の数(3つ)である場合、視点制御部204は、その座標の変化に応じて、仮想カメラが3次元空間内において並行移動するように、仮想カメラの位置を制御する。
なお、「3つの座標が同時に指定される」とは、3本の指が同時に表示スクリーンにタッチした場合に限らない。例えば、2本の指が表示スクリーンにタッチしている状態を保持しつつ、3本目の指が表示スクリーンにタッチした場合、3本の指が同時に表示スクリーンにタッチしている状態として判定される。このように、指ごとに表示スクリーンにタッチ開始するタイミングが異なっていたとしても、複数の座標が同時に指定されることがありうる。
また、本実施形態の視点制御部204は、表示スクリーン上での指の移動量と、ユーザ操作に応じて特定される3次元点406の仮想視点映像における描画位置の移動量が等しくなるように仮想カメラを移動する。このように、指の移動量と3次元点406の移動量とを一致させることで、ユーザは、より直感的に仮想カメラの制御を行うことができる。ただし、指の移動量と、仮想視点映像における3次元点406の描画位置の移動量とが異なるように制御しても良い。また、3本指によるユーザ操作においては、指の移動量は、3本指のそれぞれの移動量の平均値を用いるようにしても良いし、中央値を用いるようにしても良いし、代表値を用いるようにしても良いし、その他の値を用いるようにしても良い。また、本実施形態においては、3本指のスライド操作が行われた場合は、仮想カメラの位置を変更するが、仮想カメラの姿勢は変更しない。つまり、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第3の数(3つ)である場合、視点制御部204は、その座標の変化に応じて、仮想視点の位置を変更し、仮想視点の向きは変更しない。
図5は、2本指のスライド操作によって、仮想カメラの位置及び向きが変化する様子を示している。ユーザ操作前の画像501に対して指2本で左下方向にスライド操作を行うと、仮想カメラの位置及び姿勢が変更され、画像502が表示される。このとき、仮想カメラの位置及び姿勢は俯瞰画像503において示される通り、ユーザの指の位置に基づいて決定された3次元上の点504を中心として仮想視点505から仮想視点506へと変化する。仮想カメラの移動範囲は球面507に限定する。つまり、1本指のスライド操作を行った場合は、仮想カメラの高さ方向の位置を変更せず、水平方向の位置を変更したのに対し、2本指のスライド操作を行った場合は、仮想カメラの高さ方向と水平方向の両方の位置を変更する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第2の数(2つ)である場合、視点制御部204は、その座標の移動に応じて、仮想カメラの位置を第1方向及び第2方向に変更する。このように、本実施形態の制御装置100は、1本指でスライド操作が行われた場合よりも、2本指でスライド操作が行われた場合のほうが、より複雑な仮想カメラの制御を実行する。2本指のスライド操作を行うことにより、任意のオブジェクトを任意の方向から見た仮想視点映像を生成できる。
図6は、2本指のピンチアウト操作によって、仮想カメラの位置が変化する様子を示している。ユーザ操作前の画像601に対してピンチアウト操作を行うと、仮想カメラの位置が変更され、画像602が表示される。このとき、仮想カメラの位置は俯瞰画像603において示される通り、仮想視点604から仮想視点605へ移動する。なお、2本指のピンチイン操作が行われた場合は、仮想視点605から仮想視点604の方向へ移動する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第2の数(2つ)である場合、視点制御部204は、その座標の変化に応じて、仮想カメラの視線方向に応じた方向に仮想カメラを移動させる。
ピンチイン操作及びピンチアウト操作により、仮想カメラの位置は点線606で示すように前後に移動する。指を広げた分だけ被写体(例えば選手等のオブジェクト)が大きく表示され、指を狭めた分だけ被写体が小さく表示でき、直感的な操作が可能となる。このように、2本指のユーザ操作に応じて仮想カメラの前後移動と回転が行われるようにすることで、自由度の高い仮想カメラの制御を実現できる。なお、ピンチイン操作とピンチアウト操作に応じて仮想カメラの位置を変更する代わりに、仮想カメラのズーム値に関するパラメータを変更するようにしても良い。
また、本実施形態では、第1の数が「1」、第2の数が「2」、第3の数が「3」である場合の例を中心に説明するが、これに限らない。例えば、第1の数が「3」、第2の数が「2」、第3の数が「1」であっても良いし、第1の数が「1」、第2の数が「2」、第3の数が「4」であっても良い。
本実施形態の制御装置100が行う処理の流れについて、図2と図7とを参照して説明する。図2は、本実施形態における制御装置100の機能構成を示すブロック図である。CPU101は、ROM103及び/又はHDD104に格納されたプログラムを読み出してRAM102をワークエリアとして実行することで、図2に示す制御装置100内部の各機能ブロックの役割を果たす。なお、図2の操作部201及び表示部206は、図1の入力デバイス107及び出力デバイス109にそれぞれ対応する。また、CPU101が制御装置100内部の全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
図7は本実施形態の制御装置100で行われる処理の流れを示すフローチャートである。図7を用いて説明する各処理は、制御装置100が備えるCPU101が、ROM103及び/又はHDD104に格納されたプログラムを読み出してRAM102をワークエリアとして実行することで実現される。
S701では、取得データ制御部202が、操作部201に対するタップ操作を検出するまで待機する。タップ操作は、短時間指で表示スクリーンをタッチする操作である。タップ操作の判定に利用される接触時間の閾値は任意の値を設定可能である。タップ操作が検出された場合、表示部206における現在の仮想視点映像の再生状態が一時停止状態であれば再生状態に変更する。一方、タップ操作が検出されたときに仮想視点映像の再生状態であれば、取得データ制御部202は、仮想視点映像の一時停止状態に変更する。このように、取得データ制御部202は、表示スクリーンに対するタップ操作に応じて、仮想視点映像の再生状態を変更するので、ユーザは直観的な操作で再生状態を切り替えることができる。ただし、S701は必須の処理ではない。
S702では、視点制御部204が、操作部201に対するユーザ操作の検出結果に基づいて、仮想カメラの位置及び姿勢に関するカメラパラメータを描画部205へ出力する。S702の詳細は図8を用いて後述する。
S703では、データ取得部203が、HDD105又は外部サーバ111からレンダリングに必要なデータ(ポリゴンデータやテクスチャデータ)を取得し、描画部205に出力する。データ取得部203は、仮想視点映像を動画として再生している状態であれば、次の画像フレームのレンダリングに必要なデータを取得する。一方、仮想視点映像の再生が一時停止状態であれば、すでに現在再生中の画像フレームのレンダリングに必要なデータを取得する。なお、一時停止状態の場合は、改めてデータを取得しなくても良い。
S704では、描画部205が、データ取得部203から取得したデータと視点制御部204から取得したカメラパラメータとを基に仮想視点映像を生成し、当該生成された仮想視点映像を表示部206に出力する。表示部206は描画部205から取得した仮想視点映像を表示する。レンダリングに関しては既存の技術を使用できるためここでは詳しく説明を行わない。カメラパラメータとは、仮想カメラの外部パラメータと内部パラメータに分類できる。仮想カメラの外部パラメータとは、仮想カメラの位置及び姿勢を表すパラメータである。また、仮想カメラの内部パラメータとは、仮想カメラの光学的な特性を表すパラメータである。外部パラメータと内部パラメータについてより具体的に説明する。仮想カメラの位置を表すベクトルをt,回転を表す行列をRとすると、仮想カメラの外部パラメータは以下のように表すことができる。
Figure 2019056978
ここで、座標系は左手座標系として記載し、仮想視点において右を+x方向、上を+y方向、前を+z方向とする。
また、仮想視点映像の主点位置を(c,c)、仮想カメラの焦点距離をfとすると、仮想カメラの内部パラメータKは以下のように表すことができる。
Figure 2019056978
なお、カメラパラメータの表現方法は行列以外の表現であってもかまわない。例えば、仮想カメラの位置を3次元座標で表し、仮想カメラの姿勢をyaw、roll、及びpitchの値の羅列によって表すようにしてもよい。また、外部パラメータと内部パラメータは上述のものに限るわけではない。例えば、仮想カメラのズーム値を表す情報が仮想カメラの内部パラメータとして取得されるようにしてもよい。このように、仮想視点映像の生成のために用いられる仮想カメラのパラメータには種々のバリエーションが存在する。以上が本実施形態の制御装置100で行われる処理の流れである。
<ユーザ操作に応じた仮想カメラの制御>
図7のS702の処理の詳細を、図8を参照して説明する。S702においては、視点制御部204は、操作部201に対するユーザ操作の検出結果を取得し、仮想視点映像の描画に用いられる仮想カメラのカメラパラメータを描画部205に出力する。
S801では、視点制御部204は、操作部201に対するユーザ操作の検出結果を取得する。ユーザ操作の検出結果には、表示スクリーン上におけるタッチされた点の数n、タッチされた点の2次元スクリーン座標x--(i=1〜n)、及びタッチされた点の代表点の2次元スクリーン座標x’が含まれるものとする。また、ユーザ操作の検出結果には、前の画像フレームにおける代表点からの移動量を表す2次元ベクトルd=(d,d)、及び、上記代表点に基づいて特定される3次元点の位置を表す3次元ベクトルTが含まれるものとする。ただし、必ずしも上記すべての情報を検出結果として取得しなければならないわけではない。例えば、1本指の操作が行われた場合、2次元スクリーン座標xiと代表点の2次元スクリーン座標x’は同じであるため何れか一方は省略可能である。
2次元スクリーンの座標系は左上を原点とし、右を+x、下を+yとする。代表点はタッチされた複数の点の2次元スクリーン座標xの重心に位置する座標とする。しかしながら、代表点は重心に限らず、2次元スクリーン座標xの平均に位置する座標であっても良いし、複数の2次元スクリーン座標xのうちの1点がランダムに選択されるようにしても良いし、最も長い時間タッチされた点が選択されるようにしても良い。
また、3次元点は、仮想カメラの位置に応じた3次元座標を始点として仮想カメラの撮影方向へ仮想的に光線を飛ばし(レイキャスト)、被写体と衝突した点とする。この3次元点は、仮想カメラの操作において回転基点や移動の基準点として利用される。また、この3次元点は、タッチの数が前の画像フレームから変化した場合のみ決定し、変化していない場合は前の画像フレームの処理において決定済みの3次元ベクトルTをそのまま利用する。なお、本実施形態では3次元点は3次元ベクトルTにより表される例を説明するが、必ずしもベクトルの形式で示さなくても良い。
S802では、視点制御部204は、操作部201に対するユーザ操作に応じて視点リセットを行うか否かを判定する。本実施形態では、表示スクリーン上の特定の領域(例えば視点リセットボタンが表示されている領域)がタップされた場合に、視点リセットを行うと判定される。
S803では、視点制御部204が、仮想カメラの位置及び姿勢等をリセットする。すなわち視点制御部204は、表示スクリーン上の所定位置に対してユーザ操作が検出されたことに応じて、仮想視点の位置及び向きを予め定められた位置及び向きに変更する。そして、視点制御部204は、リセット時の仮想カメラのカメラパラメータを描画部205に出力する。本実施形態においてリセット時の仮想カメラの位置は[0 0 0]であり、仮想カメラの姿勢は単位行列であるものとする。しかしながら、リセット時の視点情報は上述のものに限るわけではない。例えば、予めユーザが設定した値を利用してもよいし、画像データに埋め込まれた推奨の視点情報を読出して利用しても良い。
S804では、視点制御部204が、タッチされた点数nに基づいて、仮想カメラの制御方法を決定する。タッチされた指の本数に合わせて仮想カメラの制御方法を異ならせることで、より多彩な制御が実現できるようになる。タッチ点数が0点の場合、S805に進み、現在の仮想カメラの位置及び姿勢を描画部205へ出力する。
タッチ点数が1点の場合(つまり1本指の操作が検出された場合)、S806に進み、視点制御部204は、上述の3次元点を回転中心として仮想カメラを回転させる。3次元点は、仮想カメラの位置に応じた3次元座標(例えば仮想カメラの中心座標)を始点として仮想カメラの撮影方向へ仮想的に光線を飛ばし(レイキャスト)、被写体と衝突した点とする。別の言い方をすると、3次元点とは、タッチ時に表示される仮想視点映像の中心位置に対応する3次元空間上の座標である。ただし、3次元点はこの例に限るものではない。S806〜S808の詳細は後述する。
タッチ点数が2点の場合(つまり2本指の操作が検出された場合)、S809に進み、視点制御部204は、ユーザによるスライド操作に応じて、仮想カメラの高さ方向と水平方向の両方の位置を変更する制御を行う。また、S811においては、視点制御部204は、ピンチイン操作及び/又はピンチアウト操作に応じて仮想カメラの位置を前後方向に移動させる制御を行う。S809〜S812の詳細は後述する。
タッチ点数が3点の場合(つまり3本指の操作が検出された場合)、S813に進み、視点制御部204は、仮想カメラをスライド操作に応じて並行移動させる制御を行う。S813及びS814の詳細は後述する。
S806では、視点制御部204が仮想カメラを回転する際の回転中心となる3次元点の座標を決定する。視点制御部204は、1本指のタッチの検出に応じて、例えば、仮想カメラの中心を視点として仮想的に3次元空間へ光線を飛ばし、被写体と衝突した点を3次元点とする。3次元点は3次元ベクトルAとして表され、回転中心として利用される。なお、1度3次元点を決定した後は、タッチ状態が継続している間は再決定しなくて良い。
S807では、視点制御部204が代表点の移動量dを取得し、仮想カメラの移動量を決定する。なお1本指のユーザ操作の場合は、仮想カメラの移動方向は、3次元点を中心とする回転方向のみである。また、1本指のユーザ操作の場合、仮想カメラは垂直方向には移動せず、水平方向のみ移動する。このようにすることで、スライド操作における手ぶれの影響を受けにくく、仮想カメラの移動をスムーズに行うことができる。なお、本実施形態の視点制御部204は、代表点の移動量dにスケール係数sを乗算することで仮想カメラの移動量(水平方向の回転量θ)を決定する。表示スクリーンの解像度を幅w画素とし、表示スクリーンの端から端までスライド操作した時の回転量を360度とすると移動量dから回転量θ[degree]を決定するためのスケールsは以下の式で表せる。
Figure 2019056978
このスケール係数を用いて仮想カメラの回転量は以下の式で表せる。
Figure 2019056978
なお本実施形態では指1本のユーザ操作に基づく仮想カメラの移動方向は水平方向のみとする例を中心に説明するが、垂直方向のみの移動として良い。また、ユーザ操作の内容に応じて、水平方向のみの移動にするか、垂直方向のみの移動にするかが決定されるようにしても良い。具体的には、タッチが検出されてから所定数の画像フレームのスライド操作の方向に応じて移動方向を決定してもよい。例えば、所定数の画像フレームにおけるスライド操作によるx方向とy方向の移動量を比較し、x方向の移動量が大きければ水平方向のみの移動とし、y方向の移動量が大きければ垂直方向のみの移動としても良い。また、スケール係数sの決定方法は上述のものに限らない。例えばユーザが任意の値を指定するようにしても良いし、複数の選択肢の中からユーザが任意に選択できるようにしても良い。
S808では、視点制御部204がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部205に出力する。仮想カメラの位置Rn−1及び姿勢tn−1を、座標Aを中心に水平方向にθだけ回転した場合の仮想カメラの位置R及び姿勢tは以下の式で表すことができる。
Figure 2019056978
ただし、R(θ、φ)は水平方向にθ、垂直方向にφだけ回転する回転行列である。また、回転させた現在の仮想カメラの位置及び姿勢を求める式はこれに限らない。
S809では、視点制御部204が代表点の移動量dを取得し、仮想カメラの移動量を決定する。なお2本指のユーザ操作の場合は、自由度の高い制御を実現するため、S807とは異なり、3次元点を中心として、水平方向と垂直方向の両方向に仮想カメラの回転させることができる。水平方向の回転量θとスケールsはS807と同様にして求める。垂直方向の回転量φは、以下の式で表すことができる。
φ=s×d
S810では、視点制御部204がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部205に出力する。仮想カメラの位置Rn−1及び姿勢tn−1を、3次元点Tを中心に水平方向にθだけ回転し、垂直方向にφだけ回転した場合の仮想カメラの位置R、姿勢t’は以下の式で表すことができる。
Figure 2019056978
ただし、3次元点Tを中心に回転させた場合の仮想カメラの位置及び姿勢を求める式はこれに限らない。例えば、所定の係数等を用いることで、指の移動量に対する仮想カメラの移動量を大きくすることも可能であるし、逆に、指の移動量に対する仮想カメラの移動量を小さくすることも可能である。
S811では、視点制御部204がユーザのピンチイン操作、及びピンチアウト操作に応じた仮想カメラの前後方向の移動量の決定を行う。現在の画像フレームが表示されているときの2本指の距離をdとし、直前の画像フレームが表示されているときの2本指の距離をdn−1とすると、その変化量ΔdはΔd=d−dn−1である。その変化量に比例して仮想カメラを前後に移動する。移動の敏感度をmとすると、仮想カメラの移動量ΔzはΔz=m×Δdで表すことができる。つまり、ピンチイン操作、及びピンチアウト操作による単位時間当たりの指の移動量に応じて、仮想カメラの移動量が決定される。なお、移動量を決定する方法は上述の方法に限らない。例えば、仮想カメラから3次元点Tまでの距離に基づいて表示スクリーン上での指の移動量に合うように3次元空間上での移動量が決定されるようにしても良い。
S812では、視点制御部204がユーザのピンチイン操作、及びピンチアウト操作に応じた仮想カメラの位置の決定を行い、その結果を描画部205に出力する。前後方向にΔzだけ移動した仮想カメラの位置は以下の式で表される。
Figure 2019056978
S813では、視点制御部204がユーザのスライド操作に応じた仮想カメラの上下左右方向の移動量の決定を行う。本実施形態では、表示スクリーン上における指の移動量と等しい距離だけ3次元点が表示スクリーン上で移動するように移動量が決定される。つまり、あるオブジェクト(例えばサッカー選手)の表示位置に3本指でタッチして、その3本指を表示スクリーン上でスライド移動させると、そのオブジェクトの表示位置と3本指の位置関係が変化しないように、仮想カメラの位置が変化する。移動量Δx,Δyは、仮想カメラからタッチした3次元点までの距離をrとすると以下の式で表すことができる。
Figure 2019056978
S814では、視点制御部204がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部205に出力する。左右方向にΔx、上下方向にΔyだけ移動した場合の仮想カメラの位置及び姿勢は以下の式で表される。
Figure 2019056978
なお、指の本数と処理の内容の対応関係は、上述に示した例に限らない。例えば、指1本のスライド操作と指3本のスライド操作による仮想カメラの位置及び姿勢の制御は入れ替えることも可能である。つまり、指1本のスライド操作に基づいて仮想カメラを上下左右に平行移動させ、指3本のスライド操作に基づいて3次元点を中心とする仮想カメラの回転移動を実行するようにしても良い。また、指の本数と制御方法の関係を、ユーザが任意に設定できるようにしても良い。このようにすれば、ユーザのスキルや、仮想視点映像の表示環境等によりマッチした操作機能を提供できるようになる。また、本実施形態では、タッチ点数が0点の場合の処理(S805)、1点の場合の処理(S806〜S808)、2点の場合の処理(S809〜S812)、3点の場合の処理(S813、S814)をすべて行う倍の例を中心に説明した。しかしこの例に限らない。例えば、タッチ点数が2点の場合の処理(S809〜S812)と、3点の場合の処理(S813、S814)のみを実行するようにしても良いし、タッチ点数が1点の場合の処理(S806〜S808)のみを実行するようにしても良い。また、事前のユーザ設定に応じて、どの処理を有効にするかが切り替わるようにしても良い。
以上説明した通り、本実施形態の制御装置100は、仮想視点映像を表示するための表示面(表示スクリーン)に対するユーザ操作に応じて、仮想視点の位置及び向きのうち少なくとも何れか一方を制御する。このような構成によれば、ユーザは、従来よりも簡易に仮想視点に関する制御を行うことができるようになる。また、本実施形態の制御装置100は、表示面から検出された指の本数(ユーザ操作により同時に指定される座標の数)に応じて、ユーザ操作に応じた仮想視点の制御方法を切り替える。このような構成を採用することにより、ユーザは、その意図に応じた仮想視点の制御を、より直観的な操作で行うことができるようになる。言い換えれば、本実施形態の制御装置100によれば、よりユーザの意図に沿った仮想視点映像を生成することができるようになるという効果がある。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 制御装置
201 操作部
202 取得データ制御部
203 データ取得部
204 視点制御部
205 描画部
206 表示部
上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、複数のカメラが所定の撮影対象領域を異なる方向から撮影することで得られる画像データを用いて生成される仮想視点映像に係る仮想視点の位置及び向きを制御する制御装置であって、前記仮想視点映像を表示するための表示面に対するタッチ操作を検出する検出手段と、前記検出手段が検出するタッチ操作により同時に指定される座標の数と、当該座標の変化量とに基づいて、前記仮想視点の位置及び向きのうち少なくともいずれかの変更量を決定する決定手段と、前記決定手段により決定された変更量に従って、前記仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。
上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、複数のカメラが所定の撮影対象領域を異なる方向から撮影することで得られる画像データを用いて生成される仮想視点映像に係る仮想視点の位置及び向きを制御する制御装置であって、前記仮想視点映像を表示するための表示面に対するタッチ操作を検出する検出手段と、前記タッチ操作により前記表示面における第1の数の座標が同時に指定されている場合、当該座標の変化に応じて前記仮想視点に基づく注目座標が変化することなく前記仮想視点の位置及び向きが変化し、且つ、前記タッチ操作により前記表示面における第2の数の座標が同時に指定されている場合、当該座標の変化に応じて前記仮想視点の向きが変化することなく前記仮想視点及び注目座標の位置が変化するように、前記検出手段が検出するタッチ操作により同時に指定されている座標の数と、当該座標の変化量とに基づいて、前記仮想視点の位置及び向きのうち少なくともいずれかの変更量を決定する決定手段と、前記決定手段により決定された変更量に従って、前記仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。

Claims (14)

  1. 仮想視点映像を表示する表示面に対するユーザ操作を検出する検出手段と、
    前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する制御装置。
  2. 前記制御手段は、前記ユーザ操作により同時に指定される前記表示面上の座標の数に応じて、前記ユーザ操作に応じた仮想視点の制御方法を決定する請求項1に記載の制御装置。
  3. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第1の数である場合、前記制御手段は、前記第1の数の座標の移動に応じて、前記仮想視点が所定の注目座標を中心に旋回するように前記仮想視点の位置及び向きを制御する請求項2に記載の制御装置。
  4. 前記所定の注目座標は、前記ユーザ操作により前記表示面上の座標が指定されたときに前記表示面上に表示される仮想視点映像の中心位置に基づいて決定される座標である請求項3に記載の制御装置。
  5. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第1の数である場合、前記制御手段は、前記第1の数の座標の移動に応じて、前記仮想視点が所定の注目座標を注目したまま前記仮想視点の位置及び向きが変化するように制御する請求項2に記載の制御装置。
  6. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第1の数である場合、前記制御手段は、前記第1の数の座標の移動に応じて、前記仮想視点の位置を第1方向に変更し且つ第2方向には変更せず、
    前記ユーザ操作により同時に指定される前記表示面上の座標の数が第2の数である場合、前記制御手段は、前記第2の数の座標の移動に応じて、前記仮想視点の位置を第1方向及び第2方向に変更する請求項1乃至5のうち、何れか1項に記載の制御装置。
  7. 前記所定の注目座標は、前記ユーザ操作により指定される前記第2の数の座標のうち、少なくとも1つに基づいて決定される請求項6に記載の制御装置。
  8. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第3の数である場合、前記制御手段は、前記第3の数の座標の変化に応じて、前記仮想視点が3次元空間内において並行移動するように、前記仮想視点の位置を制御する請求項1乃至7のうち、何れか1項に記載の制御装置。
  9. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第3の数である場合、前記制御手段は、前記第3の数の座標の変化に応じて、前記仮想視点の位置を変更し、且つ、前記仮想視点の向きを変更しない請求項1乃至7のうち、何れか1項に記載の制御装置。
  10. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第2の数である場合、前記制御手段は、前記第2の数の座標の変化に応じて、前記仮想視点の向きに応じた方向に前記仮想視点を移動させる請求項1乃至9のうち、何れか1項に記載の制御装置。
  11. 前記表示面における仮想視点映像の再生が一時停止状態になっている間に前記検出手段により前記表示面に対するタップ操作が検出された場合、前記制御手段は、前記一時停止状態から再生状態に変更する請求項1乃至10のうち、何れか1項に記載の制御装置。
  12. 前記表示面上の所定位置に対してユーザ操作が検出されたことに応じて、前記制御手段は、前記仮想視点の位置及び向きを予め定められた位置及び向きに変更する請求項1乃至11のうち、何れか1項に記載の制御装置。
  13. 仮想視点映像を表示する表示面に対するユーザ操作を検出し、
    前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御方法。
  14. コンピュータを請求項1乃至12のうち、何れか1項に記載の制御装置の各手段として動作させるためのプログラム。
JP2017179581A 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム Active JP6419278B1 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム
CA3072999A CA3072999C (en) 2017-09-19 2018-09-10 Control apparatus, control method, and program
RU2019130044A RU2720356C1 (ru) 2017-09-19 2018-09-10 Устройство управления, способ управления и носитель хранения
PCT/JP2018/033398 WO2019059020A1 (ja) 2017-09-19 2018-09-10 制御装置、制御方法、及びプログラム
BR112019019526A BR112019019526A2 (pt) 2017-09-19 2018-09-10 aparelho de controle, método de controle, e meio de armazenamento
KR1020217000259A KR20210006005A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 컴퓨터 프로그램
CN201880037599.2A CN110720086A (zh) 2017-09-19 2018-09-10 控制设备、控制方法和程序
KR1020197033018A KR20200002025A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 저장 매체
EP18857883.5A EP3605295A4 (en) 2017-09-19 2018-09-10 CONTROL DEVICE, CONTROL METHOD AND PROGRAM
AU2018336341A AU2018336341B2 (en) 2017-09-19 2018-09-10 Control device, control method and program
US16/576,540 US11003350B2 (en) 2017-09-19 2019-09-19 Control apparatus, control method, and storage medium
US17/230,344 US11586349B2 (en) 2017-09-19 2021-04-14 Control apparatus, control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018192133A Division JP6632681B2 (ja) 2018-10-10 2018-10-10 制御装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6419278B1 JP6419278B1 (ja) 2018-11-07
JP2019056978A true JP2019056978A (ja) 2019-04-11

Family

ID=64098693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017179581A Active JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム

Country Status (10)

Country Link
US (2) US11003350B2 (ja)
EP (1) EP3605295A4 (ja)
JP (1) JP6419278B1 (ja)
KR (2) KR20200002025A (ja)
CN (1) CN110720086A (ja)
AU (1) AU2018336341B2 (ja)
BR (1) BR112019019526A2 (ja)
CA (1) CA3072999C (ja)
RU (1) RU2720356C1 (ja)
WO (1) WO2019059020A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181175A1 (ja) * 2021-02-25 2022-09-01 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、表示システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10712836B2 (en) * 2016-10-04 2020-07-14 Hewlett-Packard Development Company, L.P. Three-dimensional input device
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム,映像表示方法,及びコンピュータプログラム
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
JP7335335B2 (ja) 2019-06-28 2023-08-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US20230012271A1 (en) * 2019-12-10 2023-01-12 Sony Group Corporation Information processing system, information processing method, and program
WO2021232329A1 (en) * 2020-05-21 2021-11-25 Intel Corporation Virtual camera friendly optical tracking
KR102435789B1 (ko) * 2021-12-16 2022-08-24 주식회사 카펜스트리트 3차원 객체 영상을 처리하기 위한 기법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59124800A (ja) 1982-12-30 1984-07-18 アルプス電気株式会社 ステイツクマガジン供給装置
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
RU2406150C2 (ru) * 2005-09-15 2010-12-10 Олег Станиславович Рурин Способ и система для визуализации виртуальных трехмерных объектов
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
KR101665034B1 (ko) * 2008-08-22 2016-10-24 구글 인코포레이티드 이동 장치 상의 삼차원 환경에서의 네비게이션
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP6074894B2 (ja) 2012-02-24 2017-02-08 株式会社ニコン 情報表示装置
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
KR20150034255A (ko) * 2012-07-15 2015-04-02 애플 인크. 3d 상호작용을 위한 멀티터치 제스처 인식의 명확화
CN103634584B (zh) * 2012-08-29 2015-10-21 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160140733A1 (en) 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN107851334A (zh) * 2015-08-06 2018-03-27 索尼互动娱乐股份有限公司 信息处理装置
KR20170079198A (ko) 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
JP2017179581A (ja) 2016-03-24 2017-10-05 Ntn株式会社 焼結拡散接合部品およびその製造方法
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
エンヒバヤル ムングンバト, 外2名: ""タブレットにおける3次元空間ナビゲーション手法の検討"", 第17回日本バーチャルリアリティ学会大会 論文集, JPN6018023994, 14 September 2012 (2012-09-14), pages 37 - 38, ISSN: 0003825812 *
柏熊淳也, 外3名: ""マルチタッチ操作を用いた自由視点映像閲覧法の検討"", 第16回日本バーチャルリアリティ学会大会 論文集, JPN6018023992, 22 September 2011 (2011-09-22), pages 674 - 677, ISSN: 0003825811 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181175A1 (ja) * 2021-02-25 2022-09-01 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、表示システム

Also Published As

Publication number Publication date
CA3072999A1 (en) 2019-03-28
WO2019059020A1 (ja) 2019-03-28
EP3605295A4 (en) 2020-05-13
KR20200002025A (ko) 2020-01-07
US11003350B2 (en) 2021-05-11
EP3605295A1 (en) 2020-02-05
AU2018336341B2 (en) 2020-05-07
KR20210006005A (ko) 2021-01-15
US20210232307A1 (en) 2021-07-29
BR112019019526A2 (pt) 2020-04-22
JP6419278B1 (ja) 2018-11-07
US20200012421A1 (en) 2020-01-09
CN110720086A (zh) 2020-01-21
AU2018336341A1 (en) 2019-10-10
CA3072999C (en) 2021-08-31
US11586349B2 (en) 2023-02-21
RU2720356C1 (ru) 2020-04-29

Similar Documents

Publication Publication Date Title
JP6419278B1 (ja) 制御装置、制御方法、及びプログラム
US10948993B2 (en) Picture-taking within virtual reality
US9690388B2 (en) Identification of a gesture
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
JP5822400B2 (ja) カメラとマーク出力とによるポインティング装置
US20160179211A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US20210390721A1 (en) Display control apparatus, display control method, and storage medium
US11477432B2 (en) Information processing apparatus, information processing method and storage medium
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US9122346B2 (en) Methods for input-output calibration and image rendering
TWI499938B (zh) 觸控系統
JP7434385B2 (ja) 制御装置、制御方法、及びプログラム
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
JP7210153B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181009

R151 Written notification of patent or utility model registration

Ref document number: 6419278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151