JP6281495B2 - 情報処理装置、端末装置、情報処理方法及びプログラム - Google Patents
情報処理装置、端末装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6281495B2 JP6281495B2 JP2014559502A JP2014559502A JP6281495B2 JP 6281495 B2 JP6281495 B2 JP 6281495B2 JP 2014559502 A JP2014559502 A JP 2014559502A JP 2014559502 A JP2014559502 A JP 2014559502A JP 6281495 B2 JP6281495 B2 JP 6281495B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- user
- real
- augmented reality
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
- A63F13/795—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
- A63F13/497—Partially or entirely replaying previous game actions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Environmental & Geological Engineering (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
1.概要
2.一実施形態に係る情報処理装置の構成例
2−1.ハードウェア構成
2−2.論理的機能の構成
3.AR空間の設定
3−1.AR空間の座標系
3−2.実空間マップからのAR空間の構築
3−3.AR空間のカスタマイズ
3−4.仮想オブジェクトの表示属性の設定
3−5.AR空間の共有
3−6.共有されるオブジェクトに関連する設定
4.仮想オブジェクトの操作
4−1.操作ウィンドウの例
4−2.アバタのアクション
4−3.アバタを用いたコミュニケーション
4−4.AR空間に対する操作
4−5.その他の操作
4−6.様々な動作モード
5.ARコミュニティ
5−1.ARコミュニティの形成
5−2.可変パラメータの調整
5−3.初期位置の設定
5−4.様々なアクセスモード
6.処理の流れの例
6−1.チェックイン時の画面遷移
6−2.ARアプリケーションの実行
6−3.アクション判定処理
7.変形例
7−1.端末とサーバとの連携
7−2.簡易的な実空間の認識
8.まとめ
まず、図1及び図2を用いて、本開示に係る技術の概要を説明する。図1及び図2は、一実施形態に係る情報処理装置100の概要について説明するための説明図である。
[2−1.ハードウェア構成]
図3は、一実施形態に係る情報処理装置100のハードウェア構成の一例を示すブロック図である。図3を参照すると、情報処理装置100は、カメラ102、センサ104、入力インタフェース106、メモリ108、ディスプレイ110、通信インタフェース112、バス116及びプロセッサ118を備える。
カメラ102は、画像を撮像するカメラモジュールである。カメラ102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。カメラ102により生成される撮像画像は、プロセッサ118により実行される情報処理の入力画像となる。なお、カメラ102は、必ずしも情報処理装置100の一部でなくてもよい。例えば、情報処理装置100と有線又は無線で接続される撮像装置がカメラ102として扱われてもよい。
センサ104は、情報処理装置100の地理的位置を測位する測位センサを含むセンサモジュールである。例えば、測位センサは、GPS(Global Positioning System)信号を受信して緯度、経度及び高度を測定してもよく、無線アクセスポイントとの間で送受信される無線信号に基づいて位置を測定してもよい。さらに、センサ104は、加速度センサ及びジャイロセンサなどのその他の種類のセンサを含んでもよい。センサ104により生成されるセンサデータは、実空間の認識の支援、地理的な位置に特化したデータの取得、又はユーザ入力の検出などの様々な用途のために利用されてよい。
入力インタフェース106は、ユーザが情報処理装置100を操作し又は情報処理装置100へ情報を入力するために使用される入力デバイスである。入力インタフェース106は、例えば、ディスプレイ110の画面(又は画面の反対側の筐体表面)上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力インタフェース106は、ボタン、スイッチ、キーパッド又はポインティングデバイスなどのその他の種類の入力デバイスを含んでもよい。また、入力インタフェース106は、ユーザにより発せられる音声コマンドをユーザ入力として認識する音声入力モジュール、又はユーザの視線方向をユーザ入力として検出する視線検出モジュールを含んでもよい。
メモリ108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置100による処理のためのプログラム及びデータを記憶する。メモリ108により記憶されるデータは、撮像画像データ、センサデータ、及び後に説明するデータ記憶部内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、メモリ108により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
ディスプレイ110は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などのディスプレイを含む表示モジュールである。ディスプレイ110は、例えば、情報処理装置100により生成されるARアプリケーションの画像を表示するために使用される。なお、ディスプレイ110もまた、必ずしも情報処理装置100の一部でなくてもよい。例えば、情報処理装置100と有線又は無線で接続される表示装置がディスプレイ110として扱われてもよい。
通信インタフェース112は、情報処理装置100による他の装置との間の通信を仲介する通信インタフェースである。通信インタフェース112は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
バス116は、カメラ102、センサ104、入力インタフェース106、メモリ108、ディスプレイ110、通信インタフェース112及びプロセッサ118を相互に接続する。
プロセッサ118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などに相当し得る。プロセッサ118は、メモリ108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置100の様々な機能を動作させる。
図4は、図3に示した情報処理装置100のメモリ108及びプロセッサ118により実現される論理的機能の構成の一例を示すブロック図である。図4を参照すると、情報処理装置100は、画像取得部120、データ取得部130、AR処理部140、及びデータ記憶部160を備える。AR処理部140は、認識部142、AR空間設定部144及びオブジェクト制御部146を有する。
画像取得部120は、実空間を映した撮像画像を入力画像としてカメラ102から取得する。画像取得部120により取得される入力画像は、典型的には、動画を構成する各フレームである。画像取得部120は、取得した入力画像を、AR処理部140へ出力する。
データ取得部130は、AR処理部140がARアプリケーションを動作させるために使用されるデータを取得する。例えば、データ取得部130は、センサ104により生成されるセンサデータ、及び通信インタフェース112を介して外部装置から受信される外部データを取得する。後に説明するデータ記憶部160内のデータの各々は、情報処理装置100により予め記憶されてもよく、又は外部装置から動的に受信されてもよい。
認識部142は、画像取得部120から入力される入力画像に映る実オブジェクトを認識し、認識した実オブジェクトごとの実空間内の位置及び姿勢を表現する実空間マップ164を生成する。また、認識部142は、情報処理装置100(カメラ102)の位置及び姿勢をも認識する。認識部142は、例えば、SfM(Structure from Motion)法又はSLAM(Simultaneous Localization And Mapping)法などの公知の画像認識アルゴリズムに従い、実オブジェクト及び情報処理装置100の3次元的な位置及び姿勢を認識してもよい。一例として、特開2011−159162号公報は、SLAM法を活用することにより実空間マップ(環境マップ)を動的に構築するための手法を開示している。認識部142は、かかる手法を応用することにより、実オブジェクト及び情報処理装置100の3次元的な位置及び姿勢をリアルタイムで認識し、実空間マップ164を生成することができる。その代わりに、認識部142は、カメラ102に追加的に設けられ得る深度センサからの深度データに基づいて、情報処理装置100に対する実オブジェクトの相対的な位置及び姿勢を認識してもよい。また、認識部142は、赤外線測距システム又はモーションキャプチャシステムなどの環境認識システムからの出力データに基づいて、認識処理を実行してもよい。認識部142は、新たな入力画像が入力される都度更新され得る実空間マップ164を、データ記憶部160に記憶させる。
AR空間設定部144は、入力画像に映る実空間を仮想的に拡張する拡張現実空間(AR空間)を設定する。本実施形態において、AR空間とは、実空間に関連付けて設定される3次元的な空間である。図1及び図2を用いて説明したアバタ及びその他の仮想オブジェクトは、AR空間設定部144により設定されるAR空間内に配置され、AR空間内で様々なアクションを行う。AR空間が実空間に関連付けて設定されるため、例えば、カメラ102の画角が変化しても仮想オブジェクトが実空間内の同じ位置に留まっているかのような表示、又はアバタが実オブジェクトの表面上を移動するかのような表示が可能となる。AR空間設定部144は、設定すべきAR空間を表現するAR空間モデル166を生成し又は取得し、AR空間モデル166をデータ記憶部160に記憶させる。
オブジェクト制御部146は、AR空間内に仮想オブジェクトを配置し、配置した仮想オブジェクトを画面に表示させる。オブジェクト制御部146により配置される仮想オブジェクトは、図1及び図2を用いて説明したようなユーザのアバタを含む。また、仮想オブジェクトは、アバタとは異なるオブジェクト(例えば、チャットなどのコミュニケーションのためのメッセージオブジェクト又は自律的に動作するキャラクタなど)を含んでもよい。オブジェクト制御部146は、例えば、AR空間モデル166により表現される水平面上のいずれかの場所に、アバタ又はキャラクタを配置してもよい。また、オブジェクト制御部146は、ある実オブジェクトに関連する仮想オブジェクトを、当該実オブジェクトの近傍に配置してもよい。典型的には、オブジェクト制御部146は、仮想オブジェクトが互いに干渉しないように、各仮想オブジェクトを配置する。ここでの干渉とは、AR空間内の同じ体積要素を2つ以上の仮想オブジェクトが占めることをいう(オブジェクトの衝突と表現されてもよい)。例えば、アバタが実オブジェクトに対応する仮想オブジェクトと干渉すると、出力画像において実オブジェクトにアバタがめり込んでいるような不自然な表示がなされ得る。そうしたオブジェクト間の干渉の回避について、後にさらに説明する。
データ記憶部160は、実オブジェクトデータ162、実空間マップ164、AR空間モデル166及び仮想オブジェクトデータ168を記憶する。
本節では、実空間と関連付けてAR空間を設定するための様々な手法について説明する。
仮想オブジェクトの位置及び姿勢は、AR空間の座標系(以下、AR座標系という)で表現される。AR座標系は、実空間マップ164において実オブジェクトの位置及び姿勢を表現するために使用される座標系と同一であってよい。AR座標系は、例えば、入力画像に映る何らかの実オブジェクトに沿って設定されてもよく、又はセンサデータから推定され得る水平面に沿って設定されてもよい。
ある実施例において、AR空間設定部144は、例えば、認識部142により生成された実空間マップ164内の実オブジェクトの各々を上述したボクセル単位で離散化することにより、AR空間を構築する。
AR空間は、実空間を離散化することにより構築された状態から、ユーザによりカスタマイズされてもよい。図8は、AR空間のカスタマイズの一例について説明するための説明図である。図8を参照すると、図7の下段に示したAR空間モデルM10が再び示されている。但し、図8の例では、AR空間モデルM10は、仮想オブジェクトV16及び窪みH17を含む。仮想オブジェクトV16は、実オブジェクトに対応しない、仮想的なブロックの集合である。仮想オブジェクトV16により占められるボクセルもまた、AR空間モデルM10により識別され得る。仮想的なブロックを追加するためのユーザインタフェースの一例について、後にさらに説明する。窪みH17は、本来実オブジェクトが占めていたはずのボクセルであって、実オブジェクトが存在しないとされるボクセルに相当する。このようなAR空間のカスタマイズが可能となれば、ユーザが自らの意図に沿ってゲームのフィールド又は他ユーザとのコミュニケーションのフィールドを独自に構築することが可能となる。例えば、対戦型ゲームのフィールドにおいて、仮想オブジェクトV16は障害物に、窪みH17は落とし穴にそれぞれなり得る。
AR空間設定部144は、AR空間モデル166において、実オブジェクトに対応する仮想オブジェクトの表示属性を、様々な条件に従って設定し得る。AR空間設定部144により設定され得る仮想オブジェクトの表示属性は、仮想オブジェクトのテクスチャ及び色を含み得る。以下、実オブジェクトに対応する仮想オブジェクトの表示属性を設定するための手法のいくつかの例を説明する。
図9は、仮想オブジェクトのテクスチャ又は色を設定するための手法の第1の例について説明するための説明図である。第1の例において、AR空間設定部144は、各実オブジェクトに対応する各仮想オブジェクトのテクスチャ又は色を、当該実オブジェクトのテクスチャ又は色に基づいて設定する。図9の上段には、実オブジェクトR12が示されている。実オブジェクトR12は本であり、その表紙には模様が描かれている。実オブジェクトR12の側面には、重なったページの端部が見えている。AR空間設定部144は、このような実オブジェクトR12に対応する仮想オブジェクトV12の表面のテクスチャ又は色を、入力画像から取得され得る実オブジェクトR12のテクスチャ又は色に基づいて設定する。図9の下段には、テクスチャ又は色の付与された仮想オブジェクトV12が示されている。図9の例では、テクスチャ又は色は、ボクセルの面ごとに決定されている。なお、仮想オブジェクトのテクスチャ又は色は、オブジェクトごとに決定されてもよく、又は仮想オブジェクトの面ごとに決定されてもよい。このような手法によれば、離散化された仮想オブジェクトの外観が対応する実オブジェクトの外観に似たものとなるため、実オブジェクトの代わりに対応する仮想オブジェクトが表示される場合にも、出力画像において実空間の状況をユーザが把握することが容易となる。
図10は、仮想オブジェクトのテクスチャ又は色を設定するための手法の第2の例について説明するための説明図である。第2の例において、AR空間設定部144は、各実オブジェクトに対応する各仮想オブジェクトのテクスチャ又は色を、基準オブジェクトのテクスチャ又は色に基づいて設定する。図10の上段には、実オブジェクトR12及びR19が示されている。実オブジェクトR12は本である。実オブジェクトR19は、飲料缶である。これら2つの実オブジェクトのうち、実オブジェクトR19が基準オブジェクトであるものとする。AR空間設定部144は、実オブジェクトR12に対応する仮想オブジェクトV12の表面のテクスチャ又は色を、基準オブジェクトR19のテクスチャ又は色に基づいて設定する。図10の下段には、テクスチャの付与された仮想オブジェクトV12が示されている。図10の例では、仮想オブジェクトV12のテクスチャは、基準オブジェクトR19の外観に類似する外観を示している。このような手法によれば、ユーザにより撮像される特定の実オブジェクトの外観でユーザの部屋の空間を装飾するような特別なAR空間を提供することが可能となる。また、特定の製品のマーケティングを計画する企業が、当該製品を基準オブジェクトとして使用するARアプリケーションを提供してもよい。その場合には、製品のパッケージ又はロゴの外観でユーザの周囲の空間が装飾されるため、ユーザに対する当該製品の認知度を高め、ユーザの購買意欲を喚起することができる。
図11は、仮想オブジェクトの表示属性を設定するための手法の一変形例について説明するための説明図である。ここでは、AR空間設定部144は、各実オブジェクトに対応する各仮想オブジェクトの外観の種類を、当該実オブジェクトの地形的パラメータに基づいて設定する。実オブジェクトの地形的パラメータとは、例えば、実オブジェクトの水平方向の幅、何らかの基準面からの高さ、及び位置を含み得る。図11の上段には、実オブジェクトR12及びR13が示されている。実オブジェクトR12は、第1の閾値を上回る幅と第2の閾値を上回る高さとを有する。実オブジェクトR13は、第1の閾値を下回る幅と第2の閾値を上回る高さとを有する。AR空間設定部144は、このような地形的パラメータに基づいて、実オブジェクトR12に対応する仮想オブジェクトV12の外観の種類を、山に設定する。また、AR空間設定部144は、実オブジェクトR13に対応する仮想オブジェクトV13の外観の種類を、木に設定する。AR空間設定部144は、基準面と等しい高さを有する領域の外観の種類を地面に、基準面よりも低い高さを有する領域の外観の種類を水面にそれぞれ設定してもよい。このような手法により、ユーザの周囲の空間が自然の景観で装飾されたかのような特別なAR空間をユーザに提供することができる。
ここまで説明したような手法で構築されるAR空間は、1人のユーザがARアプリケーションを楽しむために利用されてもよく、又は複数のユーザがアバタなどの仮想オブジェクトを介してコミュニケーションするために利用されてもよい。後者の場合、複数のユーザがそれぞれ個別にAR空間を構築するだけでは、それらAR空間は共有されない。そこで、本項では、複数のユーザの間でAR空間を共有するための手法のいくつかの例を説明する。
図12は、複数のユーザの間でAR空間を共有するための手法の第1の例について説明するための説明図である。第1の例では、AR空間設定部144は、AR空間が複数のユーザにより共有される場合に、当該複数のユーザのうちの親ユーザの撮像画像に基づいて設定されるAR空間を、複数のユーザの各々に適用する。図12には、ユーザUa、Ub及びUcが示されている。これらユーザのうち、ユーザUaは親ユーザであり、ユーザUb及びUcは子ユーザである。AR空間モデルM11は、親ユーザUaの撮像画像に基づいて設定されるAR空間を表現するモデル(以下、親AR空間モデルという)である。親AR空間モデルM11は、例えば、親ユーザUaの周囲の実空間を離散化することにより生成され得る。そして、親AR空間モデルM11は、親ユーザUaの端末又はアプリケーションサーバから、子ユーザUb及びUcの端末にそれぞれ配信される。子ユーザ側の情報処理装置100のAR空間設定部144は、データ取得部130を介して取得される親AR空間モデルを参照し、画像取得部120により取得される入力画像に映る実空間と関連付けて、親AR空間モデルにより表現されるAR空間を設定する。このような手法によれば、例えば、選択された親ユーザの部屋へ子ユーザのアバタが訪問しているかのようなARアプリケーションを実現することが可能となる。
図13は、複数のユーザの間でAR空間を共有するための手法の第2の例について説明するための説明図である。第2の例では、AR空間設定部144は、AR空間が複数のユーザにより共有される場合に、当該複数のユーザの撮像画像に基づいてそれぞれ構築される複数のユーザ別AR空間を統合することにより、1つのAR空間を形成する。AR空間設定部144は、例えば、複数のユーザ別AR空間の和をボクセル単位で計算することにより、当該複数のユーザ別AR空間を統合し得る。図13には、ユーザUa及びUbが示されている。ユーザUa及びUbは、互いにピアユーザである。図13の左上には、ユーザUaの周囲の実空間を離散化することにより構築されるユーザ別AR空間を表現するユーザ別AR空間モデルM21が示されている。図13の右上には、ユーザUbの周囲の実空間を離散化することにより構築されるユーザ別AR空間を表現するユーザ別AR空間モデルM22が示されている。ユーザ別AR空間モデルM21及びM22は、ユーザUa及びUbの端末において又はアプリケーションサーバにおいて統合され、1つの統合AR空間モデルM23が形成される。図13の例では、ユーザ別AR空間モデルM21及びM22は、基準オブジェクトの位置及び姿勢を基準として位置決め(align)された上で、ボクセル単位で論理和を計算することにより統合され、統合AR空間モデルM23が形成されている。ここでの論理和は、少なくとも一方のユーザ別AR空間モデルにおいて実(仮想)オブジェクトにより占められていると識別されるボクセルが、統合AR空間モデルにおいても実(仮想)オブジェクトにより占められていると識別されることを意味する。例えば、ユーザ別AR空間モデルM21は、実オブジェクトに対応する仮想オブジェクトV21及びV22を含む。ユーザ別AR空間モデルM22は、実オブジェクトに対応する仮想オブジェクトV23及びV24を含む。統合AR空間モデルM23は、これら仮想オブジェクトV21、V22、V23及びV24の全てを含む。
図14は、複数のユーザの間でAR空間を共有するための手法の第3の例について説明するための説明図である。第3の例では、AR空間設定部144は、AR空間が複数のユーザにより共有される場合に、当該複数のユーザの撮像画像に基づいてそれぞれ構築される複数のユーザ別AR空間を統合することにより、1つのAR空間を形成する。AR空間は、ユーザにそれぞれ割当てられる複数のテリトリに区分され、AR空間設定部144は、例えば、テリトリごとのユーザの割当てに従って、それぞれ異なるユーザ別拡張現実空間をテリトリごとに選択することにより、ユーザ別拡張現実空間を統合し得る。図14には、ユーザUa及びUbが示されている。ユーザUbは、ユーザUaの相手ユーザである。図14の左上には、ユーザUaの周囲の実空間を離散化することにより構築されるユーザ別AR空間を表現するユーザ別AR空間モデルM31が示されている。図14の右上には、ユーザUbの周囲の実空間を離散化することにより構築されるユーザ別AR空間を表現するユーザ別AR空間モデルM32が示されている。ユーザ別AR空間モデルM31及びM32は、ユーザUa及びUbの端末において又はアプリケーションサーバにおいて統合され、1つの統合AR空間モデルM33が形成される。図14の例では、基準オブジェクトの位置を基準として、AR空間の左半分がユーザUaに割当てられるテリトリTa、AR空間の右半分がユーザUbに割当てられるテリトリTbである。AR空間設定部144は、テリトリTaについてユーザ別AR空間モデルM31を選択し、テリトリTaについてユーザ別AR空間モデルM32を選択し、これら選択したユーザ別AR空間モデルをテリトリ境界で結合することにより、統合AR空間モデルM33を形成する。統合AR空間モデルM33は、テリトリTaにおいてユーザ別AR空間モデルM31に含まれていた仮想オブジェクトV31を含み、テリトリTbにおいてユーザ別AR空間モデルM32に含まれていた仮想オブジェクトV32及びV33を含む。
(1)仮想オブジェクトの表示属性
複数のユーザの間でAR空間が共有される場合、あるユーザの周囲には存在しない実オブジェクトに対応する仮想オブジェクトが、共有されるAR空間モデルに含まれる可能性がある。この場合、当該仮想オブジェクトが表示されなければ、ユーザは、そのオブジェクトの存在を認識しない。一方、ユーザの周囲に存在する実オブジェクトに対応する仮想オブジェクトが表示されなかったとしても、当該実オブジェクトは入力画像に映るため、ユーザは、そのオブジェクトの存在を認識することができる。実オブジェクトに対応する仮想オブジェクトを画面に表示させる際、オブジェクト制御部146は、仮想オブジェクトの表示属性を、当該仮想オブジェクトに対応する実オブジェクトがどのユーザの撮像画像に映っているかに応じて変化させてもよい。例えば、オブジェクト制御部146は、自装置のユーザの撮像画像に映っている実オブジェクトに対応する仮想オブジェクトは非表示又は半透明とし、他のユーザの撮像画像に映っている実オブジェクトに対応する仮想オブジェクトのみを入力画像に重畳してもよい。また、オブジェクト制御部146は、他のユーザの撮像画像に映っている実オブジェクトに対応する仮想オブジェクトのテクスチャ又は色を、ユーザごとに異なるように設定してもよい。
複数のユーザの間でAR空間が共有される場合に、ユーザは、自らの周囲にどのような実オブジェクトが存在するかを他のユーザに知られることを望まない可能性がある。ARアプリケーションを開始するにあたって、他のユーザに知られたくない実オブジェクトを実空間から物理的に排除しなければならないとすれば、ユーザにとっては不便である。そこで、AR空間設定部144は、ユーザにより指定される実オブジェクトのみを離散化することにより、AR空間を設定してもよい。その代わりに、AR空間設定部144は、AR空間から除外すべき実オブジェクトをユーザに指定させ、除外されなかった実オブジェクトを離散化することにより、AR空間を設定してもよい。
AR空間設定部144は、実オブジェクトを離散化するために使用されるボクセルの粒度を、ユーザに指定させてもよい。ボクセルの粒度が小さければ、実オブジェクトに対応する仮想オブジェクトは、当該実オブジェクトの外観を明瞭に再現し得る。ボクセルの粒度が大きければ実オブジェクトに対応する仮想オブジェクトは、当該実オブジェクトの外観を曖昧にのみ再現し得る。
本節では、AR空間内に配置されるアバタ及びその他の仮想オブジェクトの操作に関連する様々な実施例について説明する。
(1)アバタ選択ウィンドウ
図18は、アバタ選択ウィンドウの一例ついて説明するための説明図である。アバタ選択ウィンドウは、ユーザがアバタベースのARアプリケーションを開始する際に、又はユーザがユーザデータをアプリケーションに登録する際に表示され得るウィンドウである。図18の例において、アバタ選択ウィンドウIm21には、4体のアバタが表示されている。ユーザは、例えば左右方向のフリックによって、現在選択の候補となっているアバタを変更することができる。ユーザがOKボタンをタップすると、その時点で選択の候補となっているアバタ(典型的には、正面に表示されているアバタ)が、ユーザのためのアバタとして選択される。
図19は、基本的な操作ウィンドウの一例ついて説明するための説明図である。操作ウィンドウは、ARアプリケーションが実行されている間に表示され得るウィンドウである。図19の例において、操作ウィンドウIm22には、オブジェクト制御部146により生成される出力画像が表示される。当該出力画像は、例えば、実空間を映した入力画像に仮想オブジェクトを重畳させることにより生成され得る。図19の例では、アバタA11及びアバタA12が仮想オブジェクトとして表示されている。また、操作ウィンドウIm22には、ボタンB1、B2、B3及びB4が重畳されている。
一例として、オブジェクト制御部146は、アバタにより実行されるアクションの対象位置を、AR空間内のオブジェクトとカメラの光軸との交点の位置に基づいて決定する。例えば、アバタは、AR空間内で移動する。この場合、アバタの移動の目的地がアクションの対象位置である。また、アバタは、AR空間内でアイテムを使用する。この場合、アバタが使用するアイテムの作用点がアクションの対象位置である。
図20は、アバタの移動のための操作の一例について説明するための説明図である。図20の上段には、画像Im23aが示されている。画像Im23aには、アバタA11が表示されている。ここでは、説明の簡明さのために、実オブジェクトに対応する仮想オブジェクトのボクセルがグリッド状に可視化されている。しかしながら、実際には、ボクセルは必ずしも可視化されなくてもよい。アバタA11は、仮想オブジェクトV10の上面に配置されている。位置P11は、仮想オブジェクトV10とカメラの光軸との交点の位置である。位置P11がユーザに視認可能となるように、位置P11を指し示すマークが表示されてもよい。アバタA11は、位置P11を目的地として、AR空間内で移動する。図20の下段に示した画像Im23bにおいて、アバタA11は、より位置P11に近付いている。ユーザは、情報処理装置100を動かしてカメラの向きを変化させることにより、所望の目的地に向けてアバタを移動させることができる。その際、ユーザは画面にタッチする必要が無いため、ユーザは、情報処理装置100を安定的に支持しながらアバタを移動させることができる。なお、移動の目的地(アクションの対象位置)は、必ずしもオブジェクトとカメラの光軸との交点の位置に一致していなくてもよい。例えば、当該交点から一定のオフセットを有する位置が、アクションの対象位置として決定されてもよい。
アバタの方向転換は、いくつかの手法で実現され得る。例えば、アバタは、単純に移動の目的地の方向を向いてもよい。図22は、アバタを方向転換させるための操作の一例について説明するための説明図である。図22の上段には、画像Im23bが再び示されている。画像Im23bには、アバタA11が表示されている。位置P11は、仮想オブジェクトV10とカメラの光軸との交点の位置であり、アバタA11の移動の目的地である。その後、ユーザが情報処理装置100を動かしてカメラの向きを変化させた結果、位置P12が移動の新たな目的地になったものとする。図22の下段に示した画像Im23dにおいて、アバタA11は位置P12の方向を向いている。このように、ユーザは、情報処理装置100を動かすことにより、アバタを方向転換させることもできる。
図24A及び図24Bは、アバタにより実行されるアイテムを用いたアクションの第1の例について説明するための説明図である。図24Aの上段には、画像Im24aが示されている。画像Im24aには、アバタA11が表示されている。位置P11は、仮想オブジェクトV10とカメラの光軸との交点の位置である。ボタンB2は、アクションの種類をユーザに選択させるためのユーザインタフェースである。ボタンB2に関連付られるアクションの種類は、ブロックの設置を含む。図24Aの例では、ユーザがボタンB2をタップした結果として、アバタA11がブロックBL1を持っている。さらにユーザが画面をタップすると、アバタA11は、位置P11をアイテムの作用点(この場合、ブロックの設置点)として、ブロックBL1をAR空間内に設置する。図24Aの下段に示した画像Im24bにおいて、アバタA11は、ブロックBL1を位置P11に向けて放り投げている。さらに、図24Bの上段に示した画像Im24cにおいて、ブロックBL1は、位置P11に着地している。このようなユーザインタフェースによれば、ユーザは、情報処理装置100を動かしてカメラの向きを変化させることにより、AR空間内の所望の場所にアバタにブロックを設置させることができる。その際、ユーザは、所望の場所を指定するために、情報処理装置100から手を離さなくてよい。図24Bの下段に示した画像Im24dにおいて、より多くのブロックがAR空間内に設置されている。このようなユーザインタフェースは、例えば、図8を用いて説明したようにユーザがAR空間をカスタマイズすることを可能とするために採用されてもよい。その代わりに、当該ユーザインタフェースは、例えば積み木又は3次元的な落ち物ゲーム(3D block-matching puzzle)のようなARアプリケーションを実現するために採用されてもよい。
アバタのアクションは、アバタを介するユーザ間のコミュニケーションのために実行されてもよい。オブジェクト制御部146は、アバタを介するコミュニケーションのためのアクションを、ユーザ入力に従ってアバタに実行させる。
ここまでに説明してきたように、AR空間は、原則的には、入力画像に映る実空間に関連付けて設定される。そして、カメラの画角が変化すれば、画面上でのAR空間の見え方は、画角の変化に追随して変化する。しかしながら、AR空間の中でユーザが見たいと望む場所を見るために常にユーザがカメラを動かし又はユーザ自身が動かなければならないとすれば、ユーザにとっては不都合も生じ得る。そこで、以下に説明するように、AR空間そのものの位置及び姿勢をユーザが操作することを可能とするようなユーザインタフェースが提供されれば有益である。
上述した例に限定されず、様々な操作がARアプリケーションにおいて採用されてよい。例えば、図19に示した操作ウィンドウIm22のボタンB4は、ARアプリケーションにおいて採用され得るいくつかの追加的なメニューの表示及び非表示を切り替えるためのユーザインタフェースである。ボタンB4をタップすることにより表示され得る操作メニューの例が、図32に示されている。図32に示した画像Im35において、ユーザがボタンB4に対してフリック入力をすると、選択可能な操作メニューが複数のメニュー候補の間で切り替わる(トグリングされ得る)。図32には、4種類のメニュー候補B11、B12、B13及びB14が示されている。例えば、メニュー候補B11は、アバタにより実行されたアクションをアンドゥする(AR空間をアクション前の状態に戻す)ための操作メニューである。メニュー候補B12は、AR空間の状態をリセットする(例えば、設置された全てのブロックを消去する)ための操作メニューである。メニュー候補B13は、後に説明するARアプリケーションの動作モードを切り替えるための操作メニューである。メニュー候補B14は、AR空間からユーザが退出する(チェックアウトする)ための操作メニューである。
本項では、情報処理装置100によりサポートされ得るいくつかの動作モードについて説明する。
ここまでに説明したARアプリケーションは、通常は、毎フレーム更新される(画像取得部120により順次取得される)入力画像にAR空間内の仮想オブジェクトを重畳して画面に表示させる。そのような動作モードを、本明細書ではリアルタイムモードという。しかしながら、いくつかの状況を想定すると、リアルタイムモードでの動作が望ましくないこともあり得る。
設計図モードは、アプリケーションモードの一種である。設計図モードは、ユーザがAR空間をカスタマイズする際に利用されてもよく、又は積み木のようなアプリケーション用途において利用されてもよい。
オブジェクト制御部146は、通常、AR空間の画像を、カメラ102の位置及び姿勢を基準として生成する。そのような表示モードを、本明細書ではカメラ視点モードという。これに対し、アバタ視点モードにおいて、オブジェクト制御部146は、AR空間内に配置されるアバタの位置及び姿勢を基準として、AR空間の画像を生成する。
本節では、ここまでに説明した仕組みをプラットフォームとして用いるARコミュニティを、複数のユーザが利用することを前提とする様々な実施例について説明する。
ARコミュニティに複数のユーザが参加することに関連する重要な論点の1つは、どのユーザとどのユーザとに共通のAR空間を設定するか、である。何の基準もなく全てのユーザに共通のAR空間が設定されれば、AR空間内で多数のアバタが無秩序に活動することになるため、良好なユーザ体験は期待されない。そこで、一例として、AR空間設定部144は、入力画像に関連する関連情報(以下、画像関連情報という)に応じて異なるAR空間を、入力画像に映る実空間に関連付けて設定する。AR空間設定部144は、例えば、予め用意される複数のAR空間候補のうち画像関連情報に応じて選択されるAR空間を、入力画像を撮像したユーザのために設定してもよい。その代わりに(又はそれに加えて)、AR空間設定部144は、AR空間候補の可変パラメータを画像関連情報に応じて調整することにより形成されるAR空間を、入力画像を撮像したユーザのために設定してもよい。
図38は、AR空間を選択するための手法の第1の例について説明するための説明図である。第1の例において、画像関連情報は、入力画像に映る基準オブジェクトの属性を含む。一例として、基準オブジェクトの属性は、基準オブジェクトの種類を含む。AR空間設定部144は、同じ種類の基準オブジェクトを撮像したユーザに、共通のAR空間を設定する。図38の上段には、5人のユーザUa、Ub、Uc、Ud及びUeが示されている。
図39は、AR空間を選択するための手法の第2の例について説明するための説明図である。第2の例において、画像関連情報は入力画像に映る基準オブジェクトの属性を含み、基準オブジェクトはあるアーティストの音楽CD(Compact Disc)である。ここでは、ユーザを振り分けるための基準オブジェクトの属性として、基準オブジェクトの種類ではなく、基準オブジェクトの発売年が使用される。AR空間設定部144は、同じ年に発売された音楽CDを撮像したユーザに、共通のAR空間を設定する。図39の上段には、5人のユーザUa、Ub、Uc、Ud及びUeが示されている。
図40は、AR空間を選択するための手法の第3の例について説明するための説明図である。第3の例において、画像関連情報は、入力画像の撮像場所を含む。AR空間設定部144は、同じ地域において同一の又は異なる基準オブジェクトを撮像したユーザに、共通のAR空間を設定する。図40の上段には、5人のユーザUa、Ub、Uc、Ud及びUeが示されている。
図41は、AR空間を選択するための手法の第4の例について説明するための説明図である。第4の例において、AR空間設定部144は、複数のAR空間候補から画像関連情報に応じて決定されるサブセットのうちユーザにより指定されるAR空間を選択し、選択したAR空間を当該ユーザのために設定する。図41の上段には、4つのAR空間候補M44a、M44b、M44c及びM44dが示されている。
上述したように、AR空間設定部144は、ユーザのために設定すべきAR空間の可変パラメータを、画像関連情報に応じて調整してもよい。AR空間の可変パラメータは、例えば、AR空間のサイズ、NPCの数、ポリゴン解像度、参加可能なユーザの上限数、仮想オブジェクトのテクスチャ若しくは色、当該AR空間内で実行可能なアクションの種類、又は当該AR空間内で使用可能なアイテムの種類などを含み得る。
図42は、AR空間の可変パラメータの調整の第1の例について説明するための説明図である。図42の例において、AR空間の可変パラメータは、空間サイズ及びNPC数を含む。これら可変パラメータは、AR空間ごとに、基準オブジェクトの種類に応じて調整される。図42の上段には、5人のユーザUa、Ub、Uc、Ud及びUeが示されている。
図43は、AR空間の可変パラメータの調整の第2の例について説明するための説明図である。図43の例において、AR空間の可変パラメータは、ポリゴン解像度、NPC数及びユーザ上限数を含む。これら可変パラメータは、ユーザごとに、AR空間の表示に関与する装置の性能に応じて調整される。図43の上段には、2人のユーザUa及びUbが示されている。
オブジェクト制御部146は、AR空間内に配置されるアバタなどの仮想オブジェクトの初期位置を、様々な条件に基づいて決定し得る。例えば、オブジェクト制御部146は、上述した画像関連情報に基づいてアバタの初期位置を決定してもよく、又はユーザの属性に基づいて決定してもよい。
図44は、AR空間内の仮想オブジェクトの初期位置を設定するための手法の第1の例について説明するための説明図である。図44の例において、仮想オブジェクトの初期位置は、画像関連情報に基づいて決定される。画像関連情報は、撮像位置を含む。図44の上段には、2人のユーザUa及びUbが示されている。ユーザUaは、実空間において位置PRaに位置する。ユーザUbは、実空間において位置PRbに位置する。
図45は、AR空間内の仮想オブジェクトの初期位置を設定するための手法の第2の例について説明するための説明図である。図45の例において、仮想オブジェクトの初期位置は、ユーザの属性に基づいて決定される。ここでのユーザの属性は、例えば、ユーザの年齢、性別、職業、勤務先、嗜好又は予め定義されるグループなどであってよい。図45の上段には、4人のユーザUa、Ub、Uc及びUdが示されている。ユーザUa及びUcは、ユーザグループUG1に属する。ユーザUb及びUdは、ユーザグループUG2に属する。
(1)通常モード
オブジェクト制御部146は、通常のアクセスモードにおいて、同じAR空間にリアルタイムでアクセスしている1人以上のユーザのアバタ(又はその他の仮想オブジェクト)を、当該AR空間内に配置する。そして、オブジェクト制御部146は、ユーザにより操作されるアバタのアクションを記述するアクションデータを、他のユーザの装置との間で、(例えばアプリケーションサーバを介して又は直接的に)リアルタイムで交換する。また、オブジェクト制御部146は、AR空間内に配置されるNPC(非ユーザキャラクタ)のアクションシナリオを、他のユーザの装置との間で共有する。ここでのアクションシナリオは、各NPCの未来のアクションが時間軸に沿って記述されたデータである。それにより、アバタ及びNPCが同じように動作する共通のARアプリケーションの世界を、複数のユーザが同時に体験することが可能となる。アクションシナリオは、例えば、一定の時間間隔でブロードキャストされてもよく、又は各ユーザのチェックインの際に各ユーザの端末へ配信されてもよい。
過去再現モードにおいて、オブジェクト制御部146は、同じAR空間に過去にアクセスしたユーザのアバタをも、当該AR空間内に配置する。
オブジェクト制御部146は、過去再現モードの代わりに、次に説明する足跡モードをサポートしてもよい。オブジェクト制御部146は、足跡モードにおいて、同じAR空間に過去にアクセスしたユーザのアバタの足跡を、当該AR空間において表現する。
あるAR空間にユーザがチェックインした後、他のAR空間に興味が移った場合、現在のAR空間から一度チェックアウトして他のAR空間にチェックインし直さなければならないとすれば、ユーザにとって不便である。そこで、AR空間設定部144は、ユーザのために設定したAR空間内に、他のAR空間へアバタが移動することを可能とするためのパスを配置してもよい。
[6−1.チェックイン時の画面遷移]
図50A及び図50Bは、ユーザがAR空間へのチェックインする際の画面遷移の一例について説明するための遷移図である。
図51は、ARアプリケーションを実行するための情報処理の流れの一例を示すフローチャートである。
図52は、図51に示したアクション判定処理の詳細な流れの一例を示すフローチャートである。図52を参照すると、アクション判定処理は、その時点の動作モードがリアルタイムモード及びスナップショットモードのいずれであるかに依存して分岐する(ステップS142)。
[7−1.端末とサーバとの連携]
図4に示したブロック図は、実空間の認識、AR空間の設定及びオブジェクトの制御などの主要な機能をユーザ端末である情報処理装置100が有する例を示している。しかしながら、本開示に係る技術は、これら機能の少なくとも一部が外部装置(例えば、アプリケーションサーバ又は近傍の他の端末など)において実装される例にも適用可能である。そこで、本節では、そうした変形例の1つについて説明する。
上述した実施形態では、認識部142が実空間内の位置及び姿勢を表現する実空間マップを生成した後、AR空間設定部144が実空間マップを離散化することにより、仮想オブジェクトの配置を表すAR空間モデルを生成する例について主に説明した。しかしながら、仮想オブジェクトの配置は、より簡易な手法で決定されてもよい。
ここまで、図1〜図54を用いて、本開示に係る技術の様々な実施形態について説明した。上述した実施形態によれば、実オブジェクトと仮想オブジェクトとの間の関連付けの強化、ARアプリケーションならではの操作性の向上、及びARコミュニティにおけるコミュニケーションの活性化などの様々な観点を通じて、ユーザにより体験される拡張現実の魅力が向上される。
(1)
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間を前記実空間に関連付けて設定する設定部と、
前記拡張現実空間内のオブジェクトと前記撮像装置の光軸との間の位置関係に基づいて、前記拡張現実空間内で実行されるアクションの対象位置を決定する制御部と、
を備える情報処理装置。
(2)
前記制御部は、前記拡張現実空間内にユーザのアバタを配置し、前記アバタにより実行される前記アクションの前記対象位置を前記位置関係に基づいて決定する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記アバタの移動の目的地として、前記対象位置を決定する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記アバタが使用するアイテムの作用点として、前記対象位置を決定する、前記(2)に記載の情報処理装置。
(5)
前記制御部は、前記撮像装置の前記光軸周りの回転に基づいて、前記アバタの姿勢を制御する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記撮像装置に対する前記拡張現実空間の相対的な位置、姿勢又はスケールを、所定のユーザ入力に基づいて変更する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、前記拡張現実空間内のオブジェクトを表示するウィンドウの右端領域及び左端領域の少なくとも一方に、前記アクションの種類をユーザに選択させるためのユーザインタフェースを重畳し、
前記右端領域及び前記左端領域は、ディスプレイを把持しているユーザの指が届く領域である、
前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記情報処理装置は、前記撮像画像に映る実オブジェクトの前記実空間内の位置及び姿勢を認識する認識部、をさらに備え、
前記制御部は、前記認識部による前記実オブジェクトの認識結果を用いて、当該実オブジェクトに関連する前記アクションを制御する、
前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記撮像画像に映る実オブジェクトの前記拡張現実空間内の配置は、当該実オブジェクトをボクセル単位で離散化することにより決定される、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、前記アクションの前記対象位置を前記ボクセル単位で決定する、前記(9)に記載の情報処理装置。
(11)
前記制御部は、第1の動作モードにおいて、毎フレーム更新される前記撮像画像に前記拡張現実空間内のオブジェクトを重畳して画面に表示させ、第2の動作モードにおいて、前記撮像画像を更新することなく前記拡張現実空間内のオブジェクトを画面に表示させる、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、所定のユーザ入力に応じて、前記第1の動作モードと前記第2の動作モードとを切り替える、前記(11)に記載の情報処理装置。
(13)
前記制御部は、前記撮像画像に映る実オブジェクトの認識の失敗が所定のフレーム数分連続した場合に、前記第1の動作モードから前記第2の動作モードへ切り替える、前記(11)に記載の情報処理装置。
(14)
前記制御部は、前記第2の動作モードにおいて、前記拡張現実空間内のオブジェクトと前記撮像装置の光軸との間の位置関係に基づくことなく、前記拡張現実空間内で実行される前記アクションの前記対象位置を決定する、前記(11)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記制御部は、カメラ視点モードにおいて、前記撮像装置の位置及び姿勢を基準として前記拡張現実空間の画像を生成し、アバタ視点モードにおいて、前記拡張現実空間内に配置されるアバタの位置及び姿勢を基準として、前記拡張現実空間の画像を生成する、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(16)
前記制御部は、所定のユーザ入力又は前記拡張現実空間内の所定のイベントの発生に応じて、前記カメラ視点モードから前記アバタ視点モードへ切り替える、前記(15)に記載の情報処理装置。
(17)
前記制御部は、前記アクションが実行された場合において、前記対象位置に対応する前記実空間内の実オブジェクトがリアクションを遂行可能なときに、当該実オブジェクトにリアクションの遂行を指示する、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)
実空間を撮像することにより撮像画像を生成する撮像部と、
前記撮像画像に映る前記実空間に関連付けて前記実空間を仮想的に拡張する拡張現実空間を設定し、設定した当該拡張現実空間内のオブジェクトと前記撮像部の光軸との間の位置関係に基づいて前記拡張現実空間内で実行されるアクションの対象位置を決定するサーバ装置、と通信する通信部と、
前記サーバ装置により決定された前記対象位置に対して前記拡張現実空間内で実行される前記アクションを表現する画像を画面に表示させる制御部と、
を備える端末装置。
(19)
撮像部、及びサーバ装置と通信する通信部、を備える端末装置により実行される情報処理方法であって、
前記サーバ装置は、撮像画像に映る実空間に関連付けて前記実空間を仮想的に拡張する拡張現実空間を設定し、設定した当該拡張現実空間内のオブジェクトと前記撮像部の光軸との間の位置関係に基づいて前記拡張現実空間内で実行されるアクションの対象位置を決定し、
前記情報処理方法は、
前記撮像部を用いて実空間を撮像することにより前記撮像画像を生成することと、
前記サーバ装置により決定された前記対象位置に対して前記拡張現実空間内で実行される前記アクションを表現する画像を画面に表示させることと、
を含む、情報処理方法。
(20)
端末装置を制御するコンピュータを、
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間に関連付けて前記実空間を仮想的に拡張する拡張現実空間を設定するサーバ装置であって、設定した当該拡張現実空間内のオブジェクトと前記撮像装置の光軸との間の位置関係に基づいて前記拡張現実空間内で実行されるアクションの対象位置を決定する当該サーバ装置、により決定された前記対象位置に対して前記拡張現実空間内で実行される前記アクションを表現する画像を画面に表示させる制御部と、
として機能させるための、プログラム。
(1)
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間内の実オブジェクトをボクセル単位で離散化することにより、前記実空間を仮想的に拡張する拡張現実空間を前記実空間に関連付けて設定する設定部と、
前記拡張現実空間内に配置される仮想オブジェクトのアクションを制御する制御部と、
を備える情報処理装置。
(2)
前記仮想オブジェクトは、ユーザのアバタを含む、前記(1)に記載の情報処理装置。
(3)
前記仮想オブジェクトは、前記実オブジェクトに対応するオブジェクトを含み、
前記設定部は、前記実オブジェクトに対応する前記仮想オブジェクトのテクスチャ又は色を、前記実オブジェクトのテクスチャ又は色に基づいて設定する、
前記(1)又は前記(2)に記載の情報処理装置。
(4)
前記仮想オブジェクトは、前記実オブジェクトに対応するオブジェクトを含み、
前記設定部は、前記実オブジェクトに対応する前記仮想オブジェクトのテクスチャ又は色を、前記撮像画像に映る基準オブジェクトのテクスチャ又は色に基づいて設定する、
前記(1)又は前記(2)に記載の情報処理装置。
(5)
前記仮想オブジェクトは、前記実オブジェクトに対応するオブジェクトを含み、
前記設定部は、前記実オブジェクトに対応する前記仮想オブジェクトの表示属性を、前記実オブジェクトの地形的パラメータに基づいて設定する、
前記(1)又は前記(2)に記載の情報処理装置。
(6)
前記情報処理装置は、前記撮像画像に映る前記実オブジェクトの前記実空間内の位置及び姿勢を認識することにより実空間マップを生成する認識部、をさらに備え、
前記設定部は、前記認識部により生成された前記実空間マップをボクセル単位で離散化することにより、前記拡張現実空間を構築する、
前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記設定部は、前記拡張現実空間が複数のユーザにより共有される場合に、前記複数のユーザのうちの親ユーザの前記撮像画像に基づいて設定される前記拡張現実空間を、前記複数のユーザの各々に適用する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記設定部は、前記拡張現実空間が複数のユーザにより共有される場合に、前記複数のユーザの前記撮像画像に基づいてそれぞれ構築される複数のユーザ別拡張現実空間を統合することにより、前記拡張現実空間を形成する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(9)
前記設定部は、前記複数のユーザ別拡張現実空間の和をボクセル単位で計算することにより、前記複数のユーザ別拡張現実空間を統合する、前記(8)に記載の情報処理装置。
(10)
前記拡張現実空間は、ユーザにそれぞれ割当てられる複数のテリトリに区分され、
前記設定部は、テリトリごとに当該テリトリに割当てられたユーザの前記ユーザ別拡張現実空間を選択することにより、前記複数のユーザ別拡張現実空間を統合する、
前記(8)に記載の情報処理装置。
(11)
前記制御部は、前記撮像画像に重畳される前記仮想オブジェクトの表示属性を、当該仮想オブジェクトに対応する実オブジェクトがどのユーザの前記撮像画像に映っているかに応じて変化させる、前記(7)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記設定部は、前記複数のユーザにより共有される前記拡張現実空間の表示スケールを、前記撮像画像に映る基準オブジェクトのサイズに基づいて設定する、前記(7)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記設定部は、ユーザにより指定される粒度を有するボクセルを、前記実オブジェクトを離散化するために使用する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記設定部は、ユーザのプライバシー設定に基づいて決定される粒度を有するボクセルを、前記実オブジェクトを離散化するために使用する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(15)
前記設定部は、ユーザにより指定される前記実オブジェクト又はユーザにより除外されなかった前記実オブジェクトを離散化することにより、前記拡張現実空間を設定する、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
実空間を撮像することにより撮像画像を生成する撮像部と、
前記撮像画像に映る前記実空間内の実オブジェクトをボクセル単位で離散化することにより、前記実空間を仮想的に拡張する拡張現実空間を前記実空間に関連付けて設定するサーバ装置、と通信する通信部と、
前記サーバ装置により設定された前記拡張現実空間内に配置される仮想オブジェクトの画像を画面に表示させる制御部と、
を備える端末装置。
(17)
撮像部、及びサーバ装置と通信する通信部、を備える端末装置により実行される情報処理方法であって、
前記サーバ装置は、撮像画像に映る実空間内の実オブジェクトをボクセル単位で離散化することにより、前記実空間を仮想的に拡張する拡張現実空間を前記実空間に関連付けて設定し、
前記情報処理方法は、
前記撮像部を用いて実空間を撮像することにより前記撮像画像を生成することと、
前記サーバ装置により設定された前記拡張現実空間内に配置される仮想オブジェクトの画像を画面に表示させることと、
を含む、情報処理方法。
(18)
端末装置を制御するコンピュータを、
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間内の実オブジェクトをボクセル単位で離散化することにより前記実空間を仮想的に拡張する拡張現実空間を前記実空間に関連付けて設定するサーバ装置、により設定された前記拡張現実空間内に配置される仮想オブジェクトの画像を画面に表示させる制御部と、
として機能させるための、プログラム。
(1)
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を、前記実空間に関連付けて設定する設定部と、
前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を画面に表示させる制御部と、
を備える情報処理装置。
(2)
前記仮想オブジェクトは、ユーザごとのアバタを含む、前記(1)に記載の情報処理装置。
(3)
前記関連情報は、前記撮像画像に映る基準オブジェクトの属性を含む、前記(1)又は前記(2)に記載の情報処理装置。
(4)
前記関連情報は、前記撮像画像の撮像場所を含む、前記(1)又は前記(2)に記載の情報処理装置。
(5)
前記関連情報は、前記撮像装置の属性を含む、前記(1)又は前記(2)に記載の情報処理装置。
(6)
前記設定部は、予め用意される複数の拡張現実空間候補から前記関連情報に応じて選択される前記拡張現実空間を設定する、前記(3)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記設定部は、前記複数の拡張現実空間候補から前記関連情報に応じて決定されるサブセットのうちユーザにより指定される前記拡張現実空間を選択する、前記(6)に記載の情報処理装置。
(8)
前記設定部は、設定すべき前記拡張現実空間の可変パラメータを、前記関連情報に応じて調整する、前記(3)〜(6)のいずれか1項に記載の情報処理装置。
(9)
前記設定部は、前記拡張現実空間の表示に関与する装置の性能に基づいて、設定すべき前記拡張現実空間の可変パラメータを調整する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、前記拡張現実空間内に配置される前記仮想オブジェクトの初期位置を、前記関連情報に基づいて決定する、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、前記拡張現実空間内に配置される前記仮想オブジェクトの初期位置を、前記ユーザの属性に基づいて決定する、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(12)
前記設定部は、設定すべき前記拡張現実空間が前記関連情報から決定されない場合に、前記関連情報に依存しない既定の拡張現実空間候補を前記拡張現実空間として設定する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記仮想オブジェクトは、ユーザごとのアバタを含み、
前記制御部は、同じ前記拡張現実空間にリアルタイムでアクセスしている1人以上のユーザのアバタを当該拡張現実空間内に配置する、
前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記制御部は、同じ前記拡張現実空間に過去にアクセスしたユーザのアバタをも、当該拡張現実空間内に配置する、前記(13)に記載の情報処理装置。
(15)
前記制御部は、同じ前記拡張現実空間に過去にアクセスしたユーザのアバタの足跡を、前記拡張現実空間において表現する、前記(13)に記載の情報処理装置。
(16)
前記制御部は、前記拡張現実空間内に配置される非ユーザキャラクタのアクションシナリオを、前記1人以上のユーザの装置の間で共有する、前記(13)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記仮想オブジェクトは、ユーザごとのアバタを含み、
前記設定部は、設定した前記拡張現実空間内に、他の拡張現実空間へ前記アバタが移動することを可能とするためのパスを配置する、
前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)
実空間を撮像することにより撮像画像を生成する撮像部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を前記実空間に関連付けて設定するサーバ装置、と通信する通信部と、
前記サーバ装置により設定された前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を、画面に表示させる制御部と、
を備える端末装置。
(19)
撮像部、及びサーバ装置と通信する通信部、を備える端末装置により実行される情報処理方法において、
前記サーバ装置は、撮像画像に映る実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を前記実空間に関連付けて設定し、
前記情報処理方法は、
前記撮像部を用いて実空間を撮像することにより前記撮像画像を生成することと、
前記サーバ装置により設定された前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を、画面に表示させることと、
を含む、情報処理方法。
(20)
端末装置を制御するコンピュータを、
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を前記実空間に関連付けて設定するサーバ装置により設定された前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を、画面に表示させる制御部と、
として機能させるための、プログラム。
102 カメラ(撮像部)
110 ディスプレイ(表示部)
112 通信インタフェース(通信部)
118 プロセッサ(制御部)
120 画像取得部
130 データ取得部
142 認識部
144 AR空間設定部
146 オブジェクト制御部
200 端末装置
Claims (18)
- 撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を、前記実空間に関連付けて設定する設定部と、
前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を画面に表示させる制御部と、
を備え、
前記設定部は、予め用意される複数の拡張現実空間候補から前記関連情報に応じて決定されるサブセットのうちユーザにより指定される前記拡張現実空間を前記実空間に関連付けて設定する、
情報処理装置。 - 前記仮想オブジェクトは、ユーザごとのアバタを含む、請求項1に記載の情報処理装置。
- 前記関連情報は、前記撮像画像に映る基準オブジェクトの属性を含む、請求項1又は請求項2に記載の情報処理装置。
- 前記関連情報は、前記撮像画像の撮像場所を含む、請求項1又は請求項2に記載の情報処理装置。
- 前記関連情報は、前記撮像装置の属性を含む、請求項1又は請求項2に記載の情報処理装置。
- 前記設定部は、設定すべき前記拡張現実空間の可変パラメータを、前記関連情報に応じて調整する、請求項3〜5のいずれか1項に記載の情報処理装置。
- 前記設定部は、前記拡張現実空間の表示に関与する装置の性能に基づいて、設定すべき前記拡張現実空間の可変パラメータを調整する、請求項1〜6のいずれか1項に記載の情報処理装置。
- 前記制御部は、前記拡張現実空間内に配置される前記仮想オブジェクトの初期位置を、前記関連情報に基づいて決定する、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記制御部は、前記拡張現実空間内に配置される前記仮想オブジェクトの初期位置を、前記ユーザの属性に基づいて決定する、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記設定部は、設定すべき前記拡張現実空間が前記関連情報から決定されない場合に、前記関連情報に依存しない既定の拡張現実空間候補を前記拡張現実空間として設定する、請求項1〜9のいずれか1項に記載の情報処理装置。
- 前記仮想オブジェクトは、ユーザごとのアバタを含み、
前記制御部は、同じ前記拡張現実空間にリアルタイムでアクセスしている1人以上のユーザのアバタを当該拡張現実空間内に配置する、
請求項1〜10のいずれか1項に記載の情報処理装置。 - 前記制御部は、同じ前記拡張現実空間に過去にアクセスしたユーザのアバタをも、当該拡張現実空間内に配置する、請求項11に記載の情報処理装置。
- 前記制御部は、同じ前記拡張現実空間に過去にアクセスしたユーザのアバタの足跡を、前記拡張現実空間において表現する、請求項11に記載の情報処理装置。
- 前記制御部は、前記拡張現実空間内に配置される非ユーザキャラクタのアクションシナリオを、前記1人以上のユーザの装置の間で共有する、請求項11〜13のいずれか1項に記載の情報処理装置。
- 前記仮想オブジェクトは、ユーザごとのアバタを含み、
前記設定部は、設定した前記拡張現実空間内に、他の拡張現実空間へ前記アバタが移動することを可能とするためのパスを配置する、
請求項1〜14のいずれか1項に記載の情報処理装置。 - 実空間を撮像することにより撮像画像を生成する撮像部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を前記実空間に関連付けて設定するサーバ装置、と通信する通信部と、
前記サーバ装置により設定された前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を、画面に表示させる制御部と、
を備え、
前記制御部は、予め用意される複数の拡張現実空間候補から前記関連情報に応じて決定されるサブセットのうち前記実空間に関連付けて設定されるべき拡張現実空間をユーザに指定させる、
端末装置。 - 撮像部、及びサーバ装置と通信する通信部、を備える端末装置により実行される情報処理方法において、
前記サーバ装置は、撮像画像に映る実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を前記実空間に関連付けて設定し、
前記情報処理方法は、
前記撮像部を用いて実空間を撮像することにより前記撮像画像を生成することと、
前記サーバ装置により設定された前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を、画面に表示させることと、
を含み、
予め用意される複数の拡張現実空間候補から前記関連情報に応じて決定されるサブセットのうちユーザにより指定される前記拡張現実空間が前記実空間に関連付けて設定される、
情報処理方法。 - 端末装置を制御するコンピュータを、
撮像装置から実空間の撮像画像を取得する画像取得部と、
前記撮像画像に映る前記実空間を仮想的に拡張する拡張現実空間であって、前記撮像画像に関連する関連情報に応じて異なる当該拡張現実空間を前記実空間に関連付けて設定するサーバ装置により設定された前記拡張現実空間内にユーザごとに配置される仮想オブジェクトの画像を、画面に表示させる制御部と、
として機能させ、
前記制御部は、予め用意される複数の拡張現実空間候補から前記関連情報に応じて決定されるサブセットのうち前記実空間に関連付けて設定されるべき拡張現実空間をユーザに指定させる、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013018444 | 2013-02-01 | ||
JP2013018444 | 2013-02-01 | ||
PCT/JP2013/081407 WO2014119097A1 (ja) | 2013-02-01 | 2013-11-21 | 情報処理装置、端末装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014119097A1 JPWO2014119097A1 (ja) | 2017-01-26 |
JP6281495B2 true JP6281495B2 (ja) | 2018-02-21 |
Family
ID=51261829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014559502A Active JP6281495B2 (ja) | 2013-02-01 | 2013-11-21 | 情報処理装置、端末装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10453259B2 (ja) |
EP (2) | EP3517190B1 (ja) |
JP (1) | JP6281495B2 (ja) |
CN (1) | CN104937641A (ja) |
WO (1) | WO2014119097A1 (ja) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014191718A (ja) * | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
JP5925347B1 (ja) * | 2015-02-26 | 2016-05-25 | 株式会社Cygames | 情報処理システム及びプログラム、サーバ、端末、並びに媒体 |
CN108136257B (zh) * | 2015-08-17 | 2021-09-21 | 乐高公司 | 创建虚拟游戏环境的方法和采用该方法的互动游戏*** |
CN105335064B (zh) * | 2015-09-29 | 2017-08-15 | 腾讯科技(深圳)有限公司 | 一种信息处理方法和终端 |
JP6601136B2 (ja) * | 2015-10-13 | 2019-11-06 | 富士通株式会社 | 反応出力システム、反応出力プログラム、反応出力方法 |
CN106371571B (zh) * | 2015-11-30 | 2019-12-13 | 北京智谷睿拓技术服务有限公司 | 信息处理方法、信息处理装置及用户设备 |
WO2017191702A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
JP7098870B2 (ja) * | 2016-07-25 | 2022-07-12 | 富士フイルムビジネスイノベーション株式会社 | 測色システム、画像生成装置、および、プログラム |
CN106231205B (zh) * | 2016-08-10 | 2019-07-30 | 苏州黑盒子智能科技有限公司 | 增强现实移动终端 |
US10642991B2 (en) | 2016-10-14 | 2020-05-05 | Google Inc. | System level virtual reality privacy settings |
US10445523B2 (en) | 2016-10-14 | 2019-10-15 | Google Llc | Information privacy in virtual reality |
US11416975B2 (en) | 2016-10-21 | 2022-08-16 | Sony Interactive Entertainment Inc. | Information processing apparatus |
US10332317B2 (en) * | 2016-10-25 | 2019-06-25 | Microsoft Technology Licensing, Llc | Virtual reality and cross-device experiences |
EP3340187A1 (en) * | 2016-12-26 | 2018-06-27 | Thomson Licensing | Device and method for generating dynamic virtual contents in mixed reality |
CN110506249B (zh) * | 2017-02-16 | 2022-07-19 | 索尼公司 | 信息处理设备、信息处理方法和记录介质 |
EP3413166B1 (en) | 2017-06-06 | 2023-06-21 | Nokia Technologies Oy | Rendering mediated reality content |
US10831333B2 (en) * | 2017-07-26 | 2020-11-10 | Adobe Inc. | Manipulating a camera perspective within a three-dimensional space |
CN108245885B (zh) * | 2017-12-29 | 2019-03-08 | 网易(杭州)网络有限公司 | 信息处理方法、装置、移动终端和存储介质 |
US20190279438A1 (en) * | 2018-03-09 | 2019-09-12 | Progress Rail Locomotive Inc. | Systems and methods for servicing a vehicle |
CN108958469B (zh) * | 2018-05-07 | 2020-01-24 | 中德(珠海)人工智能研究院有限公司 | 一种基于增强现实的在虚拟世界增加超链接的方法 |
CN110545363B (zh) * | 2018-05-28 | 2022-04-26 | 中国电信股份有限公司 | 实现多终端联网同步的方法、***和云端服务器 |
DE102018208700A1 (de) * | 2018-06-01 | 2019-12-05 | Volkswagen Aktiengesellschaft | Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes |
US20190378334A1 (en) * | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Augmented reality portal-based applications |
US12003585B2 (en) | 2018-06-08 | 2024-06-04 | Vale Group Llc | Session-based information exchange |
US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
US11733824B2 (en) * | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
US10996831B2 (en) | 2018-06-29 | 2021-05-04 | Vulcan Inc. | Augmented reality cursors |
JP7206705B2 (ja) * | 2018-08-30 | 2023-01-18 | 富士フイルムビジネスイノベーション株式会社 | 三次元形状データの生成装置、三次元造形装置、及び三次元形状データの生成プログラム |
US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
US11532138B2 (en) * | 2018-11-15 | 2022-12-20 | Edx Technologies, Inc. | Augmented reality (AR) imprinting methods and systems |
US10983662B2 (en) * | 2019-04-01 | 2021-04-20 | Wormhole Labs, Inc. | Distally shared, augmented reality space |
JP7351638B2 (ja) * | 2019-04-23 | 2023-09-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および情報提示方法 |
US10698562B1 (en) * | 2019-04-30 | 2020-06-30 | Daqri, Llc | Systems and methods for providing a user interface for an environment that includes virtual objects |
JP7093084B2 (ja) * | 2020-03-31 | 2022-06-29 | 株式会社アニプレックス | 仮想的な構造体を生成するプログラム |
CN111580658B (zh) * | 2020-05-09 | 2024-04-26 | 维沃移动通信有限公司 | 基于ar的会议方法、装置及电子设备 |
IL293438A (en) * | 2020-05-19 | 2022-07-01 | Ovice Inc | Data processing device, data processing method and program |
CN111939561B (zh) * | 2020-08-31 | 2023-09-19 | 聚好看科技股份有限公司 | 显示设备及交互方法 |
US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US11657578B2 (en) | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
JP2023056109A (ja) * | 2021-10-07 | 2023-04-19 | トヨタ自動車株式会社 | 仮想空間制御システム、その制御方法、及び、制御プログラム |
US11574455B1 (en) * | 2022-01-25 | 2023-02-07 | Emoji ID, LLC | Generation and implementation of 3D graphic object on social media pages |
US20230351701A1 (en) * | 2022-04-28 | 2023-11-02 | Snap Inc. | Context-based selection of augmented reality experiences |
CN114863072A (zh) * | 2022-05-16 | 2022-08-05 | 聚好看科技股份有限公司 | 一种交互***中虚拟人物的定位方法及设备 |
CN115147520A (zh) * | 2022-06-07 | 2022-10-04 | 聚好看科技股份有限公司 | 基于视觉语义驱动虚拟人物的方法及设备 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6295367B1 (en) * | 1997-06-19 | 2001-09-25 | Emtera Corporation | System and method for tracking movement of objects in a scene using correspondence graphs |
US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
JP3406965B2 (ja) | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
JP4048347B2 (ja) | 2001-11-09 | 2008-02-20 | ソニー株式会社 | 三次元仮想空間表示方法、プログラム及びそのプログラムを格納した記録媒体、並びに、三次元仮想空間制御装置 |
JP2007163294A (ja) * | 2005-12-14 | 2007-06-28 | Sony Corp | 腕時計、腕時計の表示方法、および、プログラム |
US20080293464A1 (en) * | 2007-05-21 | 2008-11-27 | World Golf Tour, Inc. | Electronic game utilizing photographs |
US8200011B2 (en) * | 2007-09-27 | 2012-06-12 | Behavioral Recognition Systems, Inc. | Context processor for video analysis system |
KR100963238B1 (ko) * | 2008-02-12 | 2010-06-10 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 |
JP5111210B2 (ja) * | 2008-04-09 | 2013-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8839121B2 (en) * | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
JP5728159B2 (ja) * | 2010-02-02 | 2015-06-03 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5541974B2 (ja) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 画像表示プログラム、装置、システムおよび方法 |
JP5800484B2 (ja) | 2010-09-22 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
JP5627973B2 (ja) * | 2010-09-24 | 2014-11-19 | 任天堂株式会社 | ゲーム処理をするためのプログラム、装置、システムおよび方法 |
JP5646263B2 (ja) * | 2010-09-27 | 2014-12-24 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
JP5592014B2 (ja) * | 2010-09-30 | 2014-09-17 | エンパイア テクノロジー ディベロップメント エルエルシー | 高解像度テクスチャ抽出のためにパターンを投影すること |
US8723888B2 (en) * | 2010-10-29 | 2014-05-13 | Core Wireless Licensing, S.a.r.l. | Method and apparatus for determining location offset information |
JP5480777B2 (ja) * | 2010-11-08 | 2014-04-23 | 株式会社Nttドコモ | オブジェクト表示装置及びオブジェクト表示方法 |
US8550903B2 (en) * | 2010-11-15 | 2013-10-08 | Bally Gaming, Inc. | System and method for bonus gaming using a mobile device |
KR101758058B1 (ko) | 2011-01-20 | 2017-07-17 | 삼성전자주식회사 | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 |
KR101329935B1 (ko) * | 2011-01-27 | 2013-11-14 | 주식회사 팬택 | 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법 |
JP5776201B2 (ja) * | 2011-02-10 | 2015-09-09 | ソニー株式会社 | 情報処理装置、情報共有方法、プログラム及び端末装置 |
JP5812628B2 (ja) * | 2011-02-25 | 2015-11-17 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置、及び情報処理システム |
JP5350427B2 (ja) * | 2011-03-31 | 2013-11-27 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP5732988B2 (ja) | 2011-04-08 | 2015-06-10 | ソニー株式会社 | 画像処理装置、表示制御方法及びプログラム |
US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
JP2013050883A (ja) * | 2011-08-31 | 2013-03-14 | Nintendo Co Ltd | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
JP5718197B2 (ja) * | 2011-09-14 | 2015-05-13 | 株式会社バンダイナムコゲームス | プログラム及びゲーム装置 |
JP5988563B2 (ja) * | 2011-10-25 | 2016-09-07 | キヤノン株式会社 | 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム |
US9215293B2 (en) * | 2011-10-28 | 2015-12-15 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9619911B2 (en) * | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
-
2013
- 2013-11-21 EP EP19162351.1A patent/EP3517190B1/en active Active
- 2013-11-21 EP EP13873196.3A patent/EP2953098B1/en active Active
- 2013-11-21 JP JP2014559502A patent/JP6281495B2/ja active Active
- 2013-11-21 WO PCT/JP2013/081407 patent/WO2014119097A1/ja active Application Filing
- 2013-11-21 US US14/762,077 patent/US10453259B2/en active Active
- 2013-11-21 CN CN201380071380.1A patent/CN104937641A/zh active Pending
-
2019
- 2019-10-11 US US16/599,578 patent/US11488362B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2014119097A1 (ja) | 2017-01-26 |
EP3517190A3 (en) | 2019-10-23 |
EP2953098B1 (en) | 2019-03-13 |
US20200043240A1 (en) | 2020-02-06 |
US20150356787A1 (en) | 2015-12-10 |
CN104937641A (zh) | 2015-09-23 |
WO2014119097A1 (ja) | 2014-08-07 |
EP2953098A1 (en) | 2015-12-09 |
US10453259B2 (en) | 2019-10-22 |
US11488362B2 (en) | 2022-11-01 |
EP3517190B1 (en) | 2022-04-20 |
EP2953098A4 (en) | 2016-12-28 |
EP3517190A2 (en) | 2019-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6281495B2 (ja) | 情報処理装置、端末装置、情報処理方法及びプログラム | |
JP6281496B2 (ja) | 情報処理装置、端末装置、情報処理方法及びプログラム | |
JP2014149712A (ja) | 情報処理装置、端末装置、情報処理方法及びプログラム | |
JP6316387B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
US11058950B2 (en) | Methods and systems for spectating characters in virtual reality views | |
US20180322145A1 (en) | Information processing device, system, information processing method, and program | |
KR20200100046A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
JP2015116336A (ja) | 複合現実感アリーナ | |
WO2018103633A1 (zh) | 一种图像处理的方法及装置 | |
JP7503122B2 (ja) | 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム | |
CN107930114A (zh) | 信息处理方法及装置、存储介质、电子设备 | |
WO2023065949A1 (zh) | 虚拟场景中的对象控制方法、装置、终端设备、计算机可读存储介质、计算机程序产品 | |
KR20210006689A (ko) | 게임 이미지 변경 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6281495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |