JP2022041258A - 端末装置、方法、およびプログラム - Google Patents

端末装置、方法、およびプログラム Download PDF

Info

Publication number
JP2022041258A
JP2022041258A JP2020146358A JP2020146358A JP2022041258A JP 2022041258 A JP2022041258 A JP 2022041258A JP 2020146358 A JP2020146358 A JP 2020146358A JP 2020146358 A JP2020146358 A JP 2020146358A JP 2022041258 A JP2022041258 A JP 2022041258A
Authority
JP
Japan
Prior art keywords
unit
terminal device
display device
display
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020146358A
Other languages
English (en)
Inventor
満帆子 新山
Mahoko Niiyama
知昭 尾形
Tomoaki Ogata
純 大木
Jun Oki
一也 田邊
Kazuya Tanabe
馨 豊口
Kaoru Toyoguchi
知英 猪俣
Tomohide Inomata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020146358A priority Critical patent/JP2022041258A/ja
Priority to PCT/JP2020/047829 priority patent/WO2022044357A1/ja
Publication of JP2022041258A publication Critical patent/JP2022041258A/ja
Priority to US18/172,357 priority patent/US20230206546A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】VR空間上の活動の思い出を記録すること。【解決手段】端末装置は、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出する算出部と、相対位置に基づいて、表示装置に表示されている仮想現実上で撮影する撮影範囲を変更する表示制御部と、表示制御部が変更した撮影範囲で撮影された仮想現実上の映像に関する映像データを取得する映像データ取得部と、を備える。【選択図】図2

Description

本発明は、端末装置、方法、およびプログラムに関する。
仮想現実(VR:Virtual Reality)を実現したVR空間を複数のユーザで体験することのできる技術が知られている。
例えば、特許文献1には、複数のユーザが同時にVR空間内で各自の視点の位置や向きを動かしながらVRを体験することができる技術が記載されている。
特開2019-211835号公報
VR空間上で複数のユーザ間による多様なコミュニケーションが実現されることが想定される。例えば、VR空間上において、各ユーザが個々に作成したアバターを用いて、仮想的に美術館などの展示施設、テーマパーク、旅行などに出かけたり、共通のゲームに参加したりするシチュエーションが想定される。そのため、現実世界で所定の操作を行うことで、VR空間上での思い出として風景を撮影したりアバター同士の集合写真を撮影したりして記録することが望まれる。
本発明は、VR空間上の活動の思い出を記録することのできる端末装置、方法、およびプログラムを提供することを目的とする。
本発明の一態様に係る端末装置は、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出する算出部と、前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更する表示制御部と、前記表示制御部が変更した撮影範囲で撮影された仮想現実上の映像に関する映像データを取得する映像データ取得部と、を備える。
本発明の一態様に係る方法は、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、を含む。
本発明の一態様に係るプログラムは、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、をコンピュータに実行させる。
本発明によれば、VR空間上の活動の思い出を記録することができる。
図1は、実施形態に係る情報処理システムの構成例を説明するための図である。 図2は、実施形態に係る端末装置の構成例を示すブロック図である。 図3は、表示部に表示される識別子を説明するための図である。 図4は、実施形態に係る表示装置の構成例を示すブロック図である。 図5は、実施形態に係るサーバの構成例を示すブロック図である。 図6は、実施形態に係る端末装置および表示装置の使用方法を説明するための図である。 図7は、実施形態に係る端末装置および表示装置の使用方法を説明するための図である。 図8は、実施形態に係る端末装置の処理の流れの一例を示すフローチャートである。 図9は、第1変形例に係る端末装置の構成例を示すブロック図である。 図10は、第2変形例に係る端末装置の構成例を示すブロック図である。 図11は、第2変形例に係る表示装置の構成例を示すブロック図である。
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
[情報処理システム]
図1を用いて、実施形態に係る情報処理システムについて説明する。図1は、実施形態に係る情報処理システムの構成例を説明するための図である。
図1に示すように、情報処理システム1は、端末装置10と、表示装置20と、サーバ30とを備える。端末装置10と、表示装置20と、サーバ30とは、ネットワークNを介して、通信可能に接続されている。情報処理システム1は、VR空間上での思い出を記録することのできるシステムである。端末装置10は、例えば、スマートフォン、タブレット端末などを含む装置である。表示装置20は、例えば、VRを体験することのできる装置である。表示装置20は、例えば、ユーザの頭部に装着されるHMD(Head Mounted Display)を含む装置である。ユーザは、例えば、表示装置20を頭部に装着した状態で、サーバ30上で他のユーザとアバターを用いたVR空間上のテーマパークなどを体験することができる。
[端末装置]
図2を用いて、実施形態に係る端末装置の構成について説明する。図2は、実施形態に係る端末装置の構成例を示すブロック図である。
図2に示すように、端末装置10は、表示部12と、音声出力部13と、操作部14と、記憶部15と、通信部16と、制御部17とを備える。表示部12と、音声出力部13と、操作部14と、記憶部15と、通信部16と、制御部17とは、それぞれ、バスB1により接続されている。
撮像部11は、端末装置10の周辺の各種の映像を撮影する。撮像部11は、例えば、表示装置20を撮影する。撮像部11は、図示しない撮像素子と、撮像素子の出力に基づいて映像データを生成する回路などを備える。撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサおよびCCD(Charge Coupled Device)などが例示されるが、これらに限られない。
表示部12は、種々の情報を表示する。表示部12は、例えば、各種の映像を表示する。表示部12は、例えば、端末装置10と、表示装置20との相対位置を算出するための識別子を表示する。識別子については、後述する。表示部12は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイ等を含むディスプレイで構成される。
音声出力部13は、各種の音声を出力する。音声出力部13は、例えば、スピーカで実現することができる。
操作部14は、端末装置10に対するユーザからの種々の操作を受け付ける。操作部14は、例えば、ボタン、スイッチ、およびタッチパネルなどで構成されている。操作部14は、例えば、表示装置20との間の通信を開始したり終了したりする操作を受け付ける。操作部14は、例えば、表示装置20に表示された映像を撮影して取得するための操作、および撮影した映像を記憶部15に記憶するための操作を受け付ける。
記憶部15は、各種の情報を記憶する。記憶部15は、例えば、表示装置20に表示されたVR空間上の景色や建築物、キャラクターなどの種々のオブジェクトの映像データを記憶する。記憶部15は、二次元の映像にレンダリングされた映像データを記憶してもよいし、三次元のオブジェクトと撮影範囲を特定する情報、または撮影範囲を特定する情報のみを記憶してもよい。記憶部15は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。
通信部16は、端末装置10と、外部の装置との間で通信を実行する。通信部16は、例えば、表示装置20と通信を実行する。
制御部17は、端末装置10の各部の動作を制御する。制御部17は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラム(例えば、本発明に係るプログラム)がRAM等を作業領域として実行されることにより実現される。制御部17は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部17は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
制御部17は、算出部171と、映像データ取得部172と、表示制御部173と、出力制御部174と、操作制御部175と、撮像制御部176と、記憶制御部177と、通信制御部178とを備える。
算出部171は、端末装置10と、表示装置20との相対位置を算出する。算出部171は、例えば、映像データ取得部172により取得された、外部の撮像装置が撮影した表示部12に表示された識別子の大きさに基づいて、端末装置10と、表示装置20との相対距離を算出する。算出部171は、例えば、撮影された映像に含まれる識別子の大きさと、端末装置10と、表示装置20との相対距離が対応付けられた図示しないテーブルなどに基づいて、端末装置10と、表示装置20との相対距離を算出すればよい。算出部171は、例えば、表示部12に表示された識別子の歪みの度合い及び歪み方向などに基づいて、表示装置20に対する端末装置10の相対的な傾きを算出する。算出部171は、例えば、端末装置10と、表示装置20との相対距離と、表示装置20に対する端末装置10の相対的な傾きに基づいて、端末装置10と、表示装置20との相対位置を算出する。
図3は、表示部12に表示される識別子を説明するための図である。図3に示すように、算出部171は、例えば、表示装置20の撮像部21で撮影された、表示部12に表示された識別子111の大きさに基づいて、端末装置10と、表示装置20との間の相対距離を算出する。算出部171は、例えば、表示装置20の撮像部21で撮影された表示部12に表示された識別子111の歪みの度合い及び歪み方向などに基づいて、表示装置20に対する端末装置10の相対的な傾きを算出する。算出部171は、例えば、端末装置10と、表示装置20との相対距離と、表示装置20に対する端末装置10の相対的な傾きに基づいて、端末装置10と、表示装置20との相対位置を算出する。算出部171は、例えば、その他の外部カメラで撮影された識別子111の大きさに基づいて、端末装置10と、表示装置20との相対位置を算出してもよい。識別子111は、例えば、表示部12の4隅に表示される。識別子111は、例えば、QRコード(登録商標)であるが、これに限定されない。なお、識別子111は、表示部12の中央部分などに1つ表示されるようにしてもよい。
また、算出部171は、撮像部11によって撮影された表示装置20の撮影データに基づいて、端末装置10と、表示装置20との相対位置を算出してもよい。算出部171は、例えば、撮影データに含まれる表示装置20の大きさを周知の画像認識処理を用いて判定し、判定された大きさに基づいて、端末装置10と、表示装置20との相対位置を算出してもよい。この場合、算出部171は、例えば、表示装置20の大きさと、端末装置10と、表示装置20との相対距離が対応付けられたテーブルなどに基づいて、端末装置10と、表示装置20との相対距離を算出すればよい。算出部171は、例えば、表示装置20の歪みの度合いと歪み方向に基づいて、表示装置20に対する端末装置10の相対的な傾きを算出すればよい。
また、算出部171は、撮像部11によって撮影された表示装置20の筐体に設けられたQRコードなどの識別子の撮影データに基づいて、端末装置10と、表示装置20との相対位置を算出してもよい。算出部171は、例えば、撮影データに含まれる識別子の大きさと歪みを周知の画像認識処理を用いて判定し、判定された大きさに基づいて、端末装置10と、表示装置20との相対距離と、表示装置20に対する端末装置10の相対的な傾きを算出してもよい。算出部171は、例えば、判定された識別子の大きさと、歪みとに基づいて、端末装置10と、表示装置20との相対距離と、表示装置20に対する端末装置10の相対的な傾きとを把握することで、端末装置10と、表示装置20との相対位置を算出すればよい。この場合、算出部171は、例えば、識別子の大きさと、端末装置10と、表示装置20との相対距離が対応付けられたテーブルなどに基づいて、端末装置10と、表示装置20との相対距離を算出すればよい。算出部171は、例えば、識別子の歪みの度合いおよび歪み方向などに基づいて、表示装置20に対する端末装置10の相対的な傾きを算出すればよい。
映像データ取得部172は、各種の映像データを取得する。映像データ取得部172は、例えば、表示装置20から表示装置20に表示されているVR空間上の仮想の端末装置で撮影された映像データを取得する。映像データ取得部172は、例えば、操作制御部175が操作部14に入力された表示装置20に表示されたVR空間上の映像を撮影するための操作信号を取得した場合に、表示装置20に表示されているVR空間上の仮想の端末装置で撮影された映像データを取得する。VR空間上の仮想の端末装置での撮影は、VR空間上における仮想の端末装置に備えられた仮想カメラの位置からVR空間の所定範囲をキャプチャした映像を生成することを指す。VR空間上における仮想の端末装置は、端末装置10と同一の形状、大きさにしてもよいし、異ならせてもよい。仮想の端末装置における仮想カメラの位置は、端末装置10に撮像部11を備える場合、端末装置10における撮像部11の位置と同一にしてもよいし、異ならせてもよい。仮想カメラの特性は、端末装置10が撮像部11を備える場合、撮像部11の特性と一致させてもよいし、異ならせてもよい。仮想カメラの特性は、広角や望遠(ズームイン、ズームアウト)など、ユーザがVR空間上での操作により適宜変更してもよい。仮想の端末装置の表示部に表示した操作画面によって、ユーザがVR空間上での操作を行えるようにしてもよい。
表示制御部173は、表示部12に各種の映像を表示させる。表示制御部173は、例えば、端末装置10と、表示装置20との間の相対位置を算出するための識別子を表示部12に表示させる。表示制御部173は、映像データ取得部172が表示装置20から取得した、VR空間上で撮影された映像データに関する映像を表示部12に表示する。
表示制御部173は、例えば、表示装置20で表示されているVR空間上の仮想の端末装置でVR空間上の種々のオブジェクトを撮影する際に、仮想の端末装置の表示部に表示される撮影範囲を制御する。表示制御部173は、例えば、現実の端末装置10と、表示装置20との相対位置に基づいて、VR空間上の仮想の端末装置の表示部に表示される撮影範囲を制御する。具体的には、表示制御部173は、例えば、現実の端末装置10と、表示装置20との相対位置の変化に応じて、VR空間上の仮想の端末装置の表示部に表示される撮影範囲が変化するように制御する。表示制御部173は、例えば、VR空間上の仮想の端末装置に表示される撮影範囲を変更させるための制御信号を、通信部16を介して、表示装置20に出力する。
表示制御部173は、例えば、表示装置20に表示されている映像に表示させるための、端末装置10および表示装置20を使用するユーザのアバターを生成する。表示制御部173は、例えば、端末装置10および表示装置20を使用するユーザの顔の映像データに基づいて、アバターを生成する。表示制御部173は、例えば、操作部14がユーザから受け付けた操作情報に基づいて、アバターの顔を構成する各パーツを変更するにしてもよい。表示制御部173は、例えば、表示装置20に生成したアバターを表示させるための制御信号を、通信部16を介して、表示装置20に出力する。
出力制御部174は、音声出力部13を制御して音声を出力させる。
操作制御部175は、操作部14に入力された操作に関する操作信号を取得する。操作制御部175は、例えば、取得した操作信号に関する制御信号を出力して、端末装置10の動作を制御する。操作制御部175は、例えば、操作部14に入力された表示装置20に表示されたVR空間上の映像を撮影するための操作に関する操作信号を取得する。
撮像制御部176は、撮像部11を制御する。撮像制御部176は、撮像部11による撮像条件を設定して、撮像部11に撮像を行わせる。撮像制御部176は、例えば、撮像部11を制御して、筐体に設けられたQRコードなどの識別子の撮像を行わせる。なお、端末装置10の表示部12にQRコードなどの識別子を表示する場合には、撮像部11と、撮像制御部176とは必要ではない。
記憶制御部177は、各種のデータを記憶部15に記憶する。記憶制御部177は、例えば、映像データ取得部172が取得した表示装置20に表示されたVR空間上で撮影された映像に関する映像データを記憶部15に記憶する。
通信制御部178は、通信部16を制御して、端末装置10と外部の装置との間の通信を制御する。通信制御部178は、例えば、通信部16を制御して、端末装置10と、表示装置20との間の通信を制御する。
[表示装置]
図4を用いて、実施形態に係る表示装置の構成について説明する。図4は、実施形態に係る表示装置の構成例を示すブロック図である。
図4に示すように、表示装置20は、撮像部21と、表示部22と、音声出力部23と、操作部24と、通信部25とを備える。撮像部21と、表示部22と、音声出力部23と、操作部24と、通信部25とは、それぞれ、バスB3により接続されている。
本実施形態では、表示装置20は、ユーザが頭部に装着するHMDを含む装置であるものとして説明するが、これに限定されない。表示装置20は、例えば、室内の机上などに設置される、液晶ディスプレイまたは有機ELディスプレイ等を含むディスプレイで構成される表示装置であってもよい。
撮像部21は、表示装置20の周辺の各種の映像を撮影する。撮像部21は、例えば、端末装置10の表示部12に表示された識別子111を撮影する。撮像部21は、図示しない撮像素子と、撮像素子の出力に基づいて映像データを生成する回路などを備える。撮像素子としては、CMOSイメージセンサおよびCCDなどが例示されるが、これらに限られない。
表示部22は、各種の映像を表示する。表示部22は、例えば、VR空間上の映像を表示する。表示部22は、例えば、HMDで実現される。
音声出力部23は、各種の音声を出力する。音声出力部23は、例えば、スピーカで実現することができる。
操作部24は、表示装置20に対するユーザからの種々の操作を受け付ける。操作部24は、例えば、ボタン、およびスイッチなどで構成されている。操作部24は、例えば、端末装置10との間の通信を開始したり終了したりする操作を受け付ける。
通信部25は、表示装置20と、外部の装置との間で通信を実行する。通信部25は、例えば、端末装置10と通信を実行する。通信部25は、例えば、サーバ30と通信を実行する。
制御部26は、表示装置20の各部の動作を制御する。制御部26は、例えば、CPUやMPU等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部26は、例えば、ASICやFPGA等の集積回路により実現されてもよい。制御部26は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
制御部26は、取得部261と、表示制御部262と、出力制御部263と、操作制御部264と、撮像制御部265と、通信制御部266とを備える。取得部261と、表示制御部262と、出力制御部263と、操作制御部264と、撮像制御部265と、通信制御部266とは、それぞれ、バスB4により接続されている。
取得部261は、各種の情報を取得する。取得部261は、例えば、撮像部21により撮影された端末装置10の表示部12に表示された識別子111の映像に関する映像データを取得する。
表示制御部262は、表示部22に表示されている映像を制御する。表示制御部262は、例えば、VRに関する映像を表示部22に表示させる。表示制御部262は、例えば、VR空間上で複数のユーザでテーマパークなどを体験させるための映像を表示部22に表示させる。表示制御部262は、例えば、端末装置10から受けた制御信号に従って、表示部22に表示されている映像の表示範囲を変更したり、表示部22に表示されている映像にアバターを表示させたりする。表示制御部262は、例えば、端末装置10から受けた制御信号に従って、表示部22に表示されているVR空間上における仮想の端末装置に表示されている撮影範囲を変更する。表示制御部262が端末装置10から受ける制御信号は、例えば、VR空間上の仮想の端末装置の表示部に表示される操作画面を、ユーザが端末装置10の操作部14にて操作し、その操作に基づいて生成される制御信号である。端末装置10の表示部12に識別子111を表示している場合、ユーザは、実際に手にしている端末装置10を操作しているが、表示部12には識別子111が表示されており、操作画面は表示されていない。一方、その操作に基づいて生成される制御信号は、端末装置10から表示装置20に送信され、表示制御部262が制御信号に基づいて、端末装置10に対応したVR空間上の仮想の端末装置の表示部に表示される操作画面を制御する。ユーザは表示装置20から視覚によって仮想の操作画面の挙動を知覚し、端末装置10から触覚によって実際の操作を知覚することになる。端末装置10は、図示しないアクチュエータで振動を生成し、ユーザへ操作のフィードバックを与えてもよい。
出力制御部263は、音声出力部23から各種の音声を出力する。出力制御部263は、例えば、VR空間上の他のユーザの音声を出力する。出力制御部263は、例えば、VR空間上で一緒にテーマパークなどを体験している他のユーザの音声を音声出力部23から出力させる。
操作制御部264は、操作部24に入力された操作に関する操作信号を取得する。操作制御部264は、例えば、取得した操作信号に関する制御信号を出力して、表示装置20の動作を制御する。
撮像制御部265は、撮像部21を制御する。撮像制御部265は、撮像部21による撮像条件を設定して、撮像部21に撮像を行わせる。
通信制御部266は、通信部25を制御して、表示装置20と外部の装置との間の通信を制御する。通信制御部266は、例えば、通信部25を制御して、端末装置10と、表示装置20との間の通信を制御する。通信制御部266は、例えば、通信部25を制御して、表示装置20と、サーバ30との間の通信を制御する。
[サーバ]
図5を用いて、実施形態に係るサーバの構成について説明する。図5は、実施形態に係るサーバの構成例を示すブロック図である。
図5に示すように、サーバ30は、通信部31と、記憶部32と、制御部33とを備える。
通信部31は、サーバ30と、外部の装置との間で通信を実行する。通信部31は、例えば、端末装置10と通信を実行する。通信部31は、例えば、表示装置20と通信を実行する。
記憶部32は、各種の情報を記憶する。記憶部32は、例えば、VR空間における地図情報を記憶する。地図情報には、VR空間における景色、建築物、キャラクターなどの各種の情報が含まれる。記憶部32は、RAM、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。
制御部33は、サーバ30の各部の動作を制御する。制御部33は、例えば、CPUやMPU等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部33は、例えば、ASICやFPGA等の集積回路により実現されてもよい。制御部33は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
制御部33は、記憶部32に記憶された地図情報に基づいて、VR空間を生成する。制御部33は、例えば、仮想的なテーマパークなどを体験することのできるVR空間を生成する。表示装置20と、サーバ30とが接続することで、表示装置20のユーザは、例えば、複数のユーザと一緒にアバターを用いて、仮想的なテーマパークなどを体験することができる。
[端末装置と表示装置の使用方法]
図6と、図7とを用いて、実施形態に係る端末装置および表示装置の使用方法について説明する。図6と、図7とは、実施形態に係る端末装置および表示装置の使用方法を説明するための図である。
図6に示すように、表示装置20は、例えば、ユーザUの頭部に装着して使用される。言い換えれば、ユーザUは、表示装置20を用いて、VR空間上の仮想的なテーマパークなどを体験することができる。ユーザUは、例えば、表示装置20を使用している状態で、端末装置10を操作することで、VR空間上のテーマパークの思い出として、景色、建築物、キャラクターなどのオブジェクトを撮影したり、他の複数のユーザと撮影したりすることができる。
図7は、VR空間上での撮影データを示している。ユーザUは、例えば、端末装置10を操作することで、VR空間上における仮想の端末装置を用いて、VR空間上でユーザUのアバターA1と、他のユーザのアバターA2、アバターA3、およびアバターA4とを含む画像を撮影することができる。撮影される画像は、静止画像であってもよいし、動画像であってもよい。撮影される画像の表示範囲は、端末装置10と、表示装置20との間の相対位置に応じて変化する。言い換えれば、ユーザUは、端末装置10と、表示装置20との実空間上の相対位置を調整することで、VR空間の撮影範囲を変更することができる。VR空間上における撮影範囲は、VR空間上の仮想の端末装置の表示部に表示される。端末装置10と、表示装置20との実空間上の相対位置を調整することで、仮想の端末装置の表示部に表示される撮影範囲を調整することができる。具体的には、ユーザUは、端末装置10と、表示装置20との実空間上の相対位置を調整することで、VR空間において、アバターA1と、アバターA2と、アバターA3と、アバターA4とが1枚の写真に写るように、撮影範囲を調整することができる。
[端末装置の処理]
図8を用いて、実施形態に係る端末装置の処理の流れについて説明する。図8は、実施形態に係る端末装置の処理の流れの一例を示すフローチャートである。
まず、操作制御部175は、操作部14を介して、VR空間における仮想カメラの撮影モードがアウトカメラで撮影する撮影モードに設定されたか否かを判定する(ステップS10)。アウトカメラで撮影する撮影モードに設定されたと判定された場合(ステップS10;Yes)、ステップS12に進む。アウトカメラで撮影する撮影モードに設定されていないと判定された場合(ステップS10;No)、ステップS11に進む。
ステップS10でNoと判定された場合、操作制御部175は、操作部14を介して、VR空間における仮想カメラの撮影モードがインカメラで撮影する撮影モードに設定されたか否かを判定する(ステップS11)。インカメラで撮影する撮影モードに設定された判定された場合(ステップS11;Yes)、ステップS12に進む。インカメラで撮影する撮影モードに設定されていないと判定された場合(ステップS11;No)、ステップS18に進む。
ステップS10でYesおよびステップS11でYesと判定された場合、算出部171は、端末装置10と、表示装置20との相対位置を算出する(ステップS12)。具体的には、算出部171は、表示装置20の撮像部21が撮影した、端末装置10の表示部12に表示された識別子111の大きさに基づいて、端末装置10と、表示装置20との相対位置を算出する。そして、ステップS12に進む。
表示制御部173は、算出部171が算出した相対位置に基づいて、表示装置20で表示されているVR空間上の撮影範囲を認識する(ステップS13)。具体的には、表示制御部173は、VR空間上における仮想の端末装置の表示部に表示される撮影範囲を認識する。そして、ステップS14に進む。
操作制御部175は、操作部14を介して、ステップS13で認識されたVR空間上の撮影範囲を撮影する操作を受け付けたか否かを判定する(ステップS14)。VR空間上の撮影範囲を撮影する操作を受け付けたと判定された場合(ステップS14;Yes)、ステップS15に進む。VR空間上の撮影範囲を撮影する操作を受け付けていないと判定された場合(ステップS14;No)、ステップS18に進む。
ステップS14でYesと判定された場合、映像データ取得部172は、撮影されたVR空間上の撮影範囲に関する撮影データを表示装置20から取得する(ステップS15)。ここで、表示制御部173は、映像データ取得部172が取得したVR空間上の撮影データに関する映像を表示部12に表示してもよい。また、撮影データは、静止画像であっても、動画像であってもよい。これにより、ユーザは、VR空間上で撮影された映像を把握することができる。そして、ステップS16に進む。
操作制御部175は、操作部14を介して、ステップS15で取得された撮影データを保存する操作を受け付けたか否かを判定する(ステップS16)。撮影データを保存する操作を受け付けたと判定された場合(ステップS16;Yes)、ステップS17に進む。撮影データを保存する操作を受け付けていないと判定された場合(ステップS16;No)、ステップS18に進む。
ステップS16でYesと判定された場合、記憶制御部177は、ステップS15で取得された撮影データを記憶部15に保存する(ステップS17)。そして、ステップS18に進む。
制御部17は、処理を終了するか否かを判定する(ステップS18)。具体的には、操作制御部175は、撮影を終了する操作を受け付けたり、端末装置10の電源をオフしたりする操作を受け付けた場合に、処理を終了すると判定する。処理を終了すると判定された場合(ステップS18;Yes)、図8の処理を終了する。処理を終了しないと判定された場合(ステップS18;No)、ステップS10に進む。
上述のとおり、本実施形態は、表示装置20で表示されているVR空間上の撮影範囲を、端末装置10を用いた操作で撮影し、撮影した映像データを端末装置10に保存する。これにより、本実施形態は、VR空間上での風景や、仮想的なテーマパークなどの思い出を端末装置10に記録することができるため、SNS(Social Network Service)上にVR空間上で撮影した写真を発信することが容易となる。
本実施形態は、VR空間上で他のユーザとアバターを用いて、仮想的なテーマパークを体験したり、コミュニケーションをとったりすることができる。また、本実施形態は、自身のアバターと、他のユーザのアバターとで、同一のVR空間上で集合写真を撮影することができる。
[第1変形例]
図9を用いて、本実施形態の第1変形例について説明する。図9は、第1変形例に係る端末装置の構成例を示すブロック図である。
図9に示すように、端末装置10Aは、制御部17Aが姿勢検出部179を備える点で、図2に図示の端末装置10と異なっている。
姿勢検出部179は、表示装置20を用いてVRを体験しているユーザの姿勢を検出する。姿勢検出部179は、例えば、ユーザの頭部、両腕、両脚を含む各部の姿勢を検出する。第1変形例では、例えば、映像データ取得部172は、外部の図示しない撮影装置からユーザを撮影した撮影データを取得する。この場合、姿勢検出部179は、映像データ取得部172が取得した撮影データに基づいて、ユーザの姿勢を検出すればよい。姿勢検出部179は、モーションキャプチャ、その他の周知の技術を用いて、ユーザの姿勢を検出してもよい。
表示制御部173は、姿勢検出部179の検出結果に基づいて、表示装置20に表示されているユーザのアバターの姿勢を変更する。表示制御部173は、例えば、姿勢検出部179によりユーザが右手を挙げていることを検出された場合には、ユーザのアバターの右手を挙げる。すなわち、表示制御部173は、姿勢検出部179により検出されたユーザの姿勢に合わせて、アバターの姿勢を変更する。
上述のとおり、本実施形態の第1変形例は、実空間上のユーザの姿勢に合わせて、VR空間上のアバターの姿勢をリアルタイムに変更する。これにより、本発明の第1変形例は、VR空間上のアバターの姿勢を容易に変更することができるので、使用性が向上する。
[第2変形例]
図10を用いて、本実施形態の第2変形例について説明する。図10は、第2変形例に係る端末装置の構成例を示すブロック図である。
図10に示すように、端末装置10Bは、センサ18を備える点で、図2に図示の端末装置10と異なっている。
センサ18は、各種のセンサを含む。センサ18は、例えば、端末装置10Bと、表示装置20との相対位置を検出するセンサを含む。センサ18としては、レーザレーダ(例えば、LIDAR:Laser Imaging Detection and Ranging)、赤外線照射部と受光センサとを含む赤外線センサ、およびToF(Time of Flight)センサなどが例示されるが、これらに限られない。
制御部17Bの算出部171は、センサ18による検出結果に基づいて、端末装置10Bと、表示装置20との相対位置を算出する。すなわち、第2変形例では、算出部171は、撮像部11とは異なる空間把握手段を用いて、端末装置10Bと、表示装置20との相対位置を算出する。
上述のとおり、本実施形態の第2変形例では、端末装置10Bと、表示装置20との相対位置を各種のセンサの検出結果に基づいて算出する。これにより、第2変形例では、設計の自由度を向上させることができる。
[第3変形例]
図11を用いて、本実施形態の第3変形例について説明する。図11は、第3変形例に係る表示装置の構成例を示すブロック図である。
図11に示すように、表示装置20Aは、センサ27を備える点と、制御部26Aが算出部267を備える点で、図4に図示の表示装置20と異なっている。
センサ27は、各種のセンサを含む。センサ27は、例えば、端末装置10Bと、表示装置20との相対位置を検出するセンサを含む。センサ27としては、レーザレーダ(例えば、LIDAR)、赤外線照射部と受光センサとを含む赤外線センサ、およびToFセンサなどが例示されるが、これらに限られない。
算出部267は、センサ27による検出結果に基づいて、端末装置10と、表示装置20Aとの相対位置を算出する。すなわち、端末装置10と、表示装置20Aとの相対位置は、端末装置10ではなく表示装置20Aが算出してもよい。この場合、表示装置20Aは、算出した端末装置10と、表示装置20Aとの相対位置に関する情報を、通信部25を介して、端末装置10に算出する。そして、表示制御部173は、例えば、算出部267が算出した端末装置10と、表示装置20Aとの相対位置に基づいて、表示装置20Aに表示されているVR空間上の仮想の端末装置の表示部に表示される撮影範囲を変更する。
上述のとおり、本実施形態の第3変形例では、端末装置10と、表示装置20Aとの相対位置は、表示装置20Aがセンサの検出結果に基づいて算出する。これにより、第3変形例では、設計の自由度を向上させることができる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 情報処理システム
10,10A,10B 端末装置
11,21 撮像部
12,22 表示部
13,23 音声出力部
14,24 操作部
15,32 記憶部
16,25,31 通信部
17,17A,17B,26,26A,33 制御部
18,27 センサ
20 表示装置
30 サーバ
171,267 算出部
172 映像データ取得部
173,262 表示制御部
174,263 出力制御部
175,264 操作制御部
176,265 撮像制御部
177 記憶制御部
178,266 通信制御部
179 姿勢検出部
261 取得部

Claims (5)

  1. ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出する算出部と、
    前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更する表示制御部と、
    前記表示制御部が変更した撮影範囲で撮影された仮想現実上の映像に関する映像データを取得する映像データ取得部と、
    を備える、端末装置。
  2. 前記映像データ取得部は、外部の撮像装置もしくは前記表示装置の撮像部によって撮影された前記端末装置の表示部に表示された識別子の映像に関する映像データを取得し、または前記端末装置の撮像部によって撮影された前記表示装置に設けられた識別子の映像に関する映像データを取得し
    前記算出部は、前記識別子の映像データに基づいて前記相対位置を算出する、
    請求項1に記載の端末装置。
  3. 前記ユーザの姿勢を検出する姿勢検出部を備え、
    前記表示制御部は、前記表示装置に表示されている前記ユーザのアバターの姿勢を、前記姿勢検出部が検出した前記ユーザの姿勢に応じて変更する、
    請求項1または2に記載の端末装置。
  4. ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、
    前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、
    変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、
    を含む、方法。
  5. ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、
    前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、
    変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、
    をコンピュータに実行させる、プログラム。
JP2020146358A 2020-08-31 2020-08-31 端末装置、方法、およびプログラム Pending JP2022041258A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020146358A JP2022041258A (ja) 2020-08-31 2020-08-31 端末装置、方法、およびプログラム
PCT/JP2020/047829 WO2022044357A1 (ja) 2020-08-31 2020-12-22 端末装置、方法、およびプログラム
US18/172,357 US20230206546A1 (en) 2020-08-31 2023-02-22 Terminal device, method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020146358A JP2022041258A (ja) 2020-08-31 2020-08-31 端末装置、方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2022041258A true JP2022041258A (ja) 2022-03-11

Family

ID=80355024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020146358A Pending JP2022041258A (ja) 2020-08-31 2020-08-31 端末装置、方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230206546A1 (ja)
JP (1) JP2022041258A (ja)
WO (1) WO2022044357A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914039B2 (ja) * 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2017146651A (ja) * 2016-02-15 2017-08-24 株式会社コロプラ 画像処理方法及び画像処理プログラム
JP7108389B2 (ja) * 2017-09-26 2022-07-28 株式会社コロプラ プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6462059B1 (ja) * 2017-07-13 2019-01-30 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置

Also Published As

Publication number Publication date
WO2022044357A1 (ja) 2022-03-03
US20230206546A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
CN106973228B (zh) 一种拍摄方法及电子设备
US8514285B2 (en) Image processing apparatus, image processing method and program
JP6723512B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2013162487A (ja) 画像表示装置及び撮像装置
JP7000050B2 (ja) 撮像制御装置及びその制御方法
JP6392945B1 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
EP2461570A1 (en) Control device, image-capturing system, control method, and program
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
JP2015012304A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2007251429A (ja) 動画撮影装置及びズーム調整方法
JP6921031B2 (ja) 制御装置及び撮影方法
CN110291777B (zh) 图像采集方法、设备及机器可读存储介质
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
KR20210101009A (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
JP5200800B2 (ja) 撮影装置及び撮影システム
CN111756992A (zh) 一种可穿戴设备跟拍的方法及可穿戴设备
WO2022044357A1 (ja) 端末装置、方法、およびプログラム
CN114625468B (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
JP6261191B2 (ja) 表示制御装置、表示制御方法、プログラム
JP2017037375A (ja) 撮像装置及びその制御方法
JP2019021324A (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
WO2022041013A1 (zh) 控制方法、手持云台、***及计算机可读存储介质
CN116828131A (zh) 基于虚拟现实的拍摄处理方法、装置及电子设备
JP7350510B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611