JP2022505999A - 拡張現実データの提示方法、装置、機器および記憶媒体 - Google Patents

拡張現実データの提示方法、装置、機器および記憶媒体 Download PDF

Info

Publication number
JP2022505999A
JP2022505999A JP2020573331A JP2020573331A JP2022505999A JP 2022505999 A JP2022505999 A JP 2022505999A JP 2020573331 A JP2020573331 A JP 2020573331A JP 2020573331 A JP2020573331 A JP 2020573331A JP 2022505999 A JP2022505999 A JP 2022505999A
Authority
JP
Japan
Prior art keywords
target
data
virtual object
augmented reality
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020573331A
Other languages
English (en)
Inventor
侯欣如
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910979920.5A external-priority patent/CN110716646A/zh
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Publication of JP2022505999A publication Critical patent/JP2022505999A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、拡張現実データの提示方法、装置、電子機器および記憶媒体に関し、前記方法は、拡張現実(AR)機器の位置情報を取得することと、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。

Description

本願は、2019年10月15日に中国特許局に提出された、出願番号が201910979920.5である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。
本開示は、拡張現実の技術分野に関し、拡張現実データの提示方法、装置、機器および記憶媒体に関する。
拡張現実(AR:Augmented Reality)技術は、シミュレーションを通じてエンティティ情報(視角情報、音声、触感など)を実世界に重ね合わせることにより、実環境と仮想の物体をリアルタイムで同じ画面や空間に提示する。AR機器によって提示された拡張現実シーンの効果の最適化はますます重要になっている。
これを鑑みて、本開示は、少なくとも、拡張現実データの提示方法、装置、機器および記憶媒体を提供する。
本開示の技術的解決策は、次のように実現される。
第1態様によれば、本開示は、拡張現実データの提示方法を提供し、前記方法は、拡張現実(AR)機器の位置情報を取得することと、前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。当該方法を通じて、各目標現実領域は、関連付けられた仮想対象を有し、関連付けられた当該仮想対象は、当該目標現実領域内に位置してもよく、目標現実領域外に位置してもよい。本開示の実施例では、AR機器が目標現実領域に位置した後に、当該目標現実領域に関連付けられた仮想対象の特殊効果データを表示し、異なる現実領域での仮想対象表示に対する個性的なニーズを満たす。
一可能な実施形態において、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得すること、および/または、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することを含む。上記の実施形態において、仮想対象の特殊効果データは、目標現実領域の位置範囲内に位置してもよく、目標現実領域の位置範囲外に位置してもよい。したがって、目標現実領域内に位置するAR機器は、目標現実領域内の仮想対象の特殊効果データが含まれる拡張現実データを表示することができ、目標現実領域外の仮想対象の特殊効果データが含まれる拡張現実データを表示することもでき、仮想対象の特殊効果データ提示の多様性を高める。
一可能な実施形態において、前記現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得することを含み、ここで、前記プリセット条件は、現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。ここで、目標現実領域内に位置するAR機器が目標現実領域外の仮想対象の特殊効果データを表示する場合、目標現実領域外に位置する仮想対象の提示条件を限定することにより、仮想対象の提示を現実シーンによりよく適させることができ、例えば、現実シーンにおいて、特定の位置からの距離が遠い場合、または視角角度が当該位置に向かっていない場合、当該位置にある実体対象を観察することができない可能性がある。
一可能な実施形態において、前記位置情報が目標現実領域の位置範囲内に位置することを検出することは、前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出することを含む。
別の可能な実施形態において、前記位置情報が目標現実領域の位置範囲内に位置することを検出することは、前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定することと、決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定することとを含む。上記の2つの実施形態では、2つの異なる位置情報が目標現実領域の位置範囲内に位置することを検出する方法を提供し、いくつかの実施例において、領域規定の難易度に従ってどのような方式を使用するかを決定することができる。例えば、領域の位置座標範囲を事前に設定することが便利であると、プリセットの目標現実領域の位置座標範囲に基づいて判断し、そうでない場合、距離に基づいて判断することができる。
一可能な実施形態において、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、前記AR機器の撮影角度を検出することと、前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することとを含む。位置情報に従って仮想対象の特殊効果データを取得すること以外にも、仮想対象の特殊効果データとAR機器の撮影角度との間の関連付け関係を追加することもできるため、仮想対象の特殊効果データと目標現実領域との間の関連付けの緊密性を高める。
一可能な実施形態において、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、現実シーンにおける前記AR機器のポーズデータを取得することであって、前記ポーズデータは、位置情報および/または撮影角度を含むことと、現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に一致する前記仮想対象の特殊効果データを決定することとを含む。ここで、3次元シーンモデルは現実シーンを復元することができるため、当該3次元シーンモデルに基づいて事前に構築された仮想対象のポーズデータは、現実シーンによりよく統合され、本開示の実施例は、当該3次元シーンモデルに基づいて事前に構築された仮想対象のポーズデータから、現実シーンにおけるAR機器のポーズデータと一致する仮想対象の特殊効果データを決定し、それにより、表示された仮想対象の特殊効果データが現実シーンにより好ましく統合することができる。
第2態様によれば、本開示は、別の拡張現実シーンの提示方法を提供し、前記方法は、拡張現実(AR)機器の撮影角度を検出することと、前記撮影角度に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。当該方法を通じて、仮想対象をAR機器の撮影角度に関連付けることができ、仮想対象のタイプに従って、関連付けられた撮影角度を設定することができ、例えば、花火の特殊効果の場合、星空を撮影する時に対応する角度範囲に関連付けることができる。このように、仮想対象が現実シーンによりよく適させることができ、識別方式は簡単で効率的である。さらに、AR機器の撮影角度が異なることに従って、異なる仮想対象の特殊効果データを取得することができるため、異なる撮影角度の下で、異なる仮想対象の特殊効果データが含まれる拡張現実データを同じAR機器に表示することができ、拡張現実シーン提示の效果を最適化する。
第3態様によれば、本開示は、拡張現実データの提示装置を提供し、前記装置は、拡張現実(AR)機器の位置情報を取得し、第2取得モジュールに伝送するように構成される第1取得モジュールと、前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得し、第1表示モジュールに伝送するように構成される第2取得モジュールと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第1表示モジュールとを備える。
一可能な実施形態において、前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得し、および/または、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュールは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得する時に、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得するように構成され、ここで、前記プリセット条件は、現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
一可能な実施形態において、前記第2取得モジュールは、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出するように構成される。
一可能な実施形態において、前記第2取得モジュールは、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定し、決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定するように構成される。
一可能な実施形態において、前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、前記AR機器の撮影角度を検出し、前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、現実シーンにおける前記AR機器のポーズデータを取得し、現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定するように構成される。
第4態様によれば、本開示は、拡張現実データの提示装置を提供し、前記装置は、拡張現実(AR)機器の撮影角度を検出し、第3取得モジュールに伝送するように構成される検出モジュールと、前記撮影角度に関連付けられた仮想対象の特殊効果データを取得し、第2表示モジュールに伝送するように構成される第3取得モジュールと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第2表示モジュールとを備える。
第5態様によれば、本開示は電子機器を提供し、前記機器は、プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、上記の第1態様または任意の実施形態を実行し、または上記の第2態様に記載の拡張現実データの提示方法のステップを実行する。
第6態様によれば、本開示は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の第1態様または任意の実施形態を実行し、または上記の第2態様に記載の拡張現実データの提示方法のステップを実行する。
本開示は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品はコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されると、前記電子機器におけるプロセッサは、上記の1つまたは複数の実施例を実現するためのサーバを実行して上記の方法を実行する。
本開示で提供する拡張現実データの提示方法により、各目標現実領域は、関連付けられた仮想対象を有し、関連付けられた当該仮想対象は、当該目標現実領域内に位置してもよく、目標現実領域外に位置してもよい。本開示の実施例では、AR機器が目標現実領域に位置した後に、当該目標現実領域に関連付けられた仮想対象の特殊効果データを表示し、異なる現実領域での仮想対象表示に対する個性的なニーズを満たす。
上記の拡張現実データの提示装置、電子機器およびコンピュータ可読記憶媒体の効果に関する説明は、上記の拡張現実データの提示方法に対する説明を参照し、ここでは繰り返して説明しない。
本開示の上記した目的、特徴および利点をより明確で理解しやすくするために、好ましい実施例を、添付の図面と併せて、以下に詳細に説明する。
本開示の実施例で提供する、拡張現実データを提示するための方法の例示的なフローチャートを示す。 本開示の実施例で提供する目標位置領域の概略図を示す。 本開示の実施例で提供する、目標現実領域からの距離が、設定された距離範囲内にある領域の概略図を示す。 本開示の実施例で提供する、別の目標現実領域からの距離が、設定された距離範囲内にある領域の概略図を示す。 本開示の実施例で提供する撮影角度の概略図を示す。 本開示の実施例で提供する別の拡張現実シーンの提示方法のフローチャートを示す。 本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図を示す。 本開示の実施例で提供する別の拡張現実データの提示装置を示す。 本開示の実施例で提供する電子機器の概略的な構造図を示す。 本開示の実施例で提供する別の電子機器の概略的な構造図を示す。
本開示の実施例の目的、技術的解決策および利点をより明確にするために、以下、本開示の実施例における図面を参照して、本開示の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本開示の実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載および図示されている本開示の実施例のコンポーネントは、様々な異なる構成で配置および設計することができる。したがって、図面に提供される本開示の実施例の以下の詳細な説明は、本開示の保護範囲を制限するものではなく、本開示の特定の実施例を示すものに過ぎない。本開示の実施例に基づき、創造的な努力なしに当業者が取得した他のすべての実施例は、本開示の保護範囲に含まれる。
本開示は、AR技術をサポートする電子機器(携帯電話、タブレット、AR眼鏡など)またはサーバ、またはそれらの組み合わせに適用されることができ、本開示がサーバに適用される場合、当該サーバは、通信機能を備え且つカメラを備えた他の電子機器に接続することができ、その接続方式は有線接続または無線接続であってもよく、無線接続は、例えば、bluetooth接続、WIFI(登録商標)接続などであってもよい。
拡張現実シーンをAR機器に提示するとは、即ち、現実シーンに統合された仮想対象をAR機器に表示することであり、仮想対象の提示画面を直接にレンダリングして、それを現実シーンに統合させることができ、例えば、仮想のティーセットを提示し、表示効果が現実シーンの実際のテーブルの上に配置されるようにし、仮想対象の提示特殊効果を現実シーン画像に統合させた後に、統合された表示画面を表示する。どのような提示方式を選択するかはAR機器の機器タイプおよび使用する画面提示技術に依存し、例えば、通常、AR眼鏡から現実シーン(撮影後の現実シーン画像ではない)を直接に見ることができるため、AR眼鏡は、想対象の提示画面を直接にレンダリングする提示方式を使用することができ、携帯電話、タブレットコンピュータなどのモバイル端末機器において、モバイル端末機器に表示される画面は現実シーンを撮影した後の画面であるため、現実シーン画像および仮想対象の提示特殊効果に対して統合処理を実行する方式を使用して、拡張現実効果を表示する。
本開示の実施例では、各目標現実領域を当該目標現実領域に表示することができる仮想対象の特殊効果データに関連付け、目標現実領域に関連付けられた当該仮想対象は当該目標現実領域内に位置してもよく、目標現実領域外に位置してもよく、異なる目標現実領域での仮想対象表示に対する個性的なニーズを満たすことができる。
以下、本開示の実施例に関する拡張現実データを提示するための方法を詳細に紹介する。
図1を参照すると、図1は、本開示の実施例で提供する拡張現実データを提示するための方法の例示的なフローチャートであり、前記方法は、次のステップを含む。
ステップS101において、拡張現実(AR)機器の位置情報を取得する。
ステップS102において、位置情報が目標現実領域の位置範囲内に位置することを検出した場合、目標現実領域に関連付けられた仮想対象の特殊効果データを取得する。
ステップS103において、仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データが含まれる拡張現実データをAR機器に表示する。
AR機器の位置情報が目標現実領域の位置範囲内に位置することを検出し、以下の方法のうちの任意の1つの方法を実行することができる。
方法1として、位置情報の地理座標が目標現実領域の地理座標範囲内に含まれ、位置情報が目標現実領域の位置範囲内内に位置することを検出することができる。
いくつかの実施例において、目標現実領域の地理座標範囲を事前に記憶または事前に設定することができ、その後、AR機器の位置情報に対応する地理座標が目標現実領域の地理座標範囲内にあるかどうかを検出し、そうである場合、AR機器の位置情報が目標現実領域の位置範囲内に位置すると決定し、そうでない場合、AR機器の位置情報が目標現実領域の位置範囲内にいないと決定する。
ここで、目標現実領域に関連付けられた仮想対象の特殊効果データは、当該目標現実領域内のAR機器にある可能性があり、特定のビルディングの屋上から、反対側のビルディングの屋上の仮想対象特殊効果画面を見ることができるなど、仮想対象が実際に統合された現実シーン位置は当該目標現実領域にあるとは限れない。AR機器の位置情報が目標現実領域の位置範囲内にない場合、当該目標現実領域に関連付けられた仮想対象の特殊効果データを当該AR機器に提示せず、例えば、AR機器が円明園遺跡領域に入ると、復元後の円明園特殊効果画面が提示され、当該円明園遺跡領域内にないAR機器の場合、復元後の円明園特殊効果画面の提示を実行しない。
方法2として、AR機器の位置情報および現実シーン内の仮想対象の対応する地理的位置情報に基づいて、AR機器と現実シーン内の仮想対象の対応する地理的位置との間の距離を決定し、その後、決定された距離が、設定された距離より小さい場合、位置情報が目標現実領域の位置範囲内に位置すると決定する。
上記の方法2は、仮想対象が目標現実領域内に位置する状況に適用され、ここで、目標現実領域は、現実シーン内の仮想対象の対応する地理的位置を中心とし、設定された距離を半径とする領域であり、AR機器の位置情報が目標現実領域内にあるかどうかを検出することは、AR機器の位置と仮想対象との間の距離が、設定された距離より小さいかどうかを検出することとして理解することができる。
当該方法は、直接に、AR機器と現実シーンにおける仮想対象の地理的位置との間の距離に基づいて、当該仮想対象をAR機器に提示するかどうかを判断する方式を提供し、この方法は、AR機器の地理的位置座標情報および現実シーン内の仮想対象の対応する地理的位置座標情報を使用する。
一可能な実施形態において、目標現実領域に関連付けられた仮想対象は、仮想物体、音声および匂いのうちの1つまたは複数であってもよい。
本開示の一例では、目標現実シーンに関連付けされた仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置領域が目標現実領域の位置範囲内に位置する仮想対象の特殊効果データ(第1仮想対象の特殊効果データと略称する)を取得すること、および/または現実シーン内の対応する地理的位置が目標現実シーン領域の位置範囲外に位置する仮想対象の特殊効果データ(第2仮想対象の特殊効果データと略称する)を取得することを含み得る。
ここで、取得された、目標現実シーンに関連付けられた仮想対象の特殊効果データが上記の第1仮想対象の特殊効果データおよび上記の第2仮想対象の特殊効果データを同時に含む場合、目標現実シーンに関連付けられた仮想対象の特殊効果データは、複数の仮想対象の特殊効果データを含み得る。
さらに、異なる目標現実領域は、同じ仮想対象の特殊効果データに関連付けられることができる。例示的に、図2に示されたように、図2に示す現実シーンにおいて、領域A、領域Bおよび領域Cは3つの異なる目標現実領域であり、仮想対象の特殊効果データは、図の仮想物体Sの特殊効果データである。ここで、現実シーン内の仮想物体Sの対応する地理的位置は領域A内に位置し、且つ領域A、領域Bおよび領域Cの全ては仮想物体Sに関連付け、AR機器が領域A、領域Bおよび領域Cの3つの目標現実領域のうちの任意の1つの領域に位置する場合、関連付けられた仮想物体Sの特殊効果データをAR機器に提示することができる。
いくつかの実施例において、現実シーン内の対応する地理的位置が目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得した場合、現実シーン内の対応する地理的位置が目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得することができる。
ここで、プリセット条件は、
現実シーン内の仮想対象に対応する地理的位置から目標現実領域までの距離が、設定された距離範囲内であること、
AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
例示的に、図3aに示されたように、目標現実領域が図の内側の円の円形領域であると、目標現実領域からの距離が、設定された距離範囲内にある領域は、外側の円と内側の円との間の領域であり、更に例えば、図3bに示されたように、目標現実領域が図の長方形領域であると、目標現実領域からの距離が、設定された距離範囲内にある領域は図の網掛け部分領域である。
いくつかの実施例において、仮想対象は現実シーンに位置する目標現実領域に関連付けられてもよく、関連付けられなくてもよく、位置する目標現実領域に関連付けた場合、AR機器が当該目標現実領域内に位置する時に、当該仮想対象の特殊効果データを提示することができ、位置する目標現実領域に関連付けてない場合、AR機器が当該目標現実領域内に位置する時に、当該仮想対象の特殊効果データを提示することができない。
別の可能な実施形態において、目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、先ず、AR機器の撮影角度を検出し、その後、目標現実領域および撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することもできる。
いくつかの実施例において、各仮想対象の特殊効果データは、撮影角度範囲を事前にバウンドして、目標現実領域および撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置し、且つ事前にバウンドされた撮影角度範囲がAR機器の撮影角度を含む仮想対象の特殊効果データを取得することを含む。
適用シナリオは、例示的に、図4に示されたように、図4の現実シーン内の仮想対象の対応する地理的位置およびAR機器の位置情報は同じ目標現実領域内にあり、且つAR機器の撮影角度が仮想対象によて事前にバウンドされた撮影角度範囲内にあり、この場合、AR機器で表示される拡張現実データには、仮想対象の特殊効果データが含まれる。
ここで、AR機器の撮影ポーズデータは、様々な方式を通じて取得することができ、例えば、AR機器が、位置を検出するポジショニング構成要素および撮影角度を検出する角速度センサを構成した場合、ポジショニング構成要素および角速度センサを介してAR機器の撮影ポーズデータを決定することができ、AR機器が、カメラなどの画像収集構成要素を構成した場合、カメラによって収集された現実シーン画像を介して撮影角度を決定することができる。
上記の角速度センサは、例えば、ジャイロ、慣性測定ユニット(IMU:Inertial Measurement Unit)などを含み得、上記のポジショニング構成要素は、例えば、グローバルポジショニングシステム(GPS:Global Positioning System)、グローバルナビゲーション衛星システム(GLONASS:Global Navigation Satellite System)、WiFi(登録商標)測定技術のポジショニング構成要素などを含み得る。
一可能な実施形態において、目標現実領域に関連付けられた仮想対象の特殊効果データを取得するには、先ず、現実シーンに置かるAR機器のポーズデータを取得し、その後、現実シーンにおけるAR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける仮想対象のポーズデータに基づいて、目標現実領域に関連付けられた仮想対象の特殊効果データを決定することができる。
ここで、AR機器の撮影ポーズデータ、および事前に設定された、現実シーンを表すための3次元シーンモデルにおける仮想対象のポーズデータに基づいて、現実シーンにおける仮想対象の提示特殊効果データを決定し、ここで、3次元シーンモデルは現実シーンを表すことができるため、当該3次元シーンモデルに基づいて構築された仮想対象のポーズデータは現実シーンによりよく統合され、3次元シーンモデルにおける当該仮想対象のポーズデータから、AR機器のポーズデータに一致する提示特殊効果データを決定し、即ち、リアルな拡張現実シーンの效果をAR機器に表示することができる。
ここで、現実シーンを表すための3次元シーンモデルにおける仮想対象のポーズデータは、3次元シーンモデルにおける仮想対象の位置情報(例えば、座標であってもよく、且つ当該座標は一意である)および/または対応する姿勢情報を含み得る。仮想対象の特殊効果データは、仮想対象の提示状態であってもよい。例えば、仮想対象は、静的または動的に表示された仮想物体、特定の音声などであってもよい。仮想対象が動的な対象である場合、3次元シーンにおける仮想対象のポーズデータは、位置情報(地理的位置座標情報など)および/または対応する姿勢情報(仮想対象の表示姿勢)の複数のセットを含み得る。一シナリオにおいて、当該位置情報および/または姿勢情報の複数のセットは、アニメーションビデオデータの一部に対応することができ、位置情報および/または姿勢情報の各セットは、当該アニメーションビデオデータのうちの1フレーム画像に対応する。
仮想対象特殊効果データのレンダリングを実行して、3次元シーンモデルの下での仮想対象の表示特殊効果を復元することを便宜にするために、仮想対象の表示特殊効果および3次元シーンモデルを含む表示画面内の3次元シーンモデルに対して透過処理を実行することができ、このように、後続のレンダリング段階では、仮想対象の表示特殊効果および透過化処理後の3次元シーンモデルを含む表示画面をレンダリングして、現実シーンを3次元シーンモデルに対応させることができ、このようにして、3次元シーンモデルの下での仮想対象の表示特殊効果を実世界で取得することができる。
いくつかの実施例において、現実シーンにおけるAR機器のポーズデータが決定された後に、3次元シーンモデルにおける仮想対象の複数の位置情報(地理的位置座標情報など)および/または対応する姿勢情報(仮想対象の表示姿勢)のセットから、AR機器のポーズデータに一致する仮想対象の位置情報および/または姿勢情報のセットを決定することができる。例えば、構築されたビルディングモデルシナリオでの仮想対象の位置情報と姿勢情報の複数のセットから、AR機器のポーズデータに一致する仮想対象の位置および姿勢のセットを決定する。
仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データが含まれる拡張現実データを拡張現実(AR)機器に表示する場合、AR機器のタイプが異なること、および仮想対象の特殊効果データのタイプが異なることに従って、各タイプの特殊効果データをそれぞれ表示し、または、様々な特殊効果データを組み合わせて表示することができる。
1、仮想対象が音声を含む場合、仮想対象の特殊効果データは固定の周波数を有する音声であってもよく、仮想対象の特殊効果データが含まれる拡張現実データを表示することは、目標現実領域に関連付けられた音声を再生することであってもよい。
例えば、当該目標現実領域に関連付けられた仮想対象の特殊効果データが特定の一部の音声であり、AR機器の位置情報が目標現実領域の位置範囲に位置することを検出した場合、当該目標現実領域に関連付けられた音声を取得して、AR機器で当該音声を再生することができる。
2、仮想対象が現実シーンの匂いを含む場合、AR機器の位置情報が目標現実領域の位置範囲にあることを識別した後に、当該目標現実領域に関連付けられた匂いのタイプ、および香りを放出する持続時間を決定し、決定された香りのタイプ、および香りを放出する持続時間を香りの放出を制御するためのサードパーティの機器に送信し、対応するタイプの香りを当該持続時間に放出するように香りの放出を制御するためのサードパーティの機器を指示する。
3、仮想対象が仮想物体の提示画面を含む場合、仮想対象の特殊効果データは仮想物体の提示画面であってもよく、当該提示画面は静的であってもよく、動的であってもよく、拡張現実データは拡張現実画像を含み得る。AR機器のタイプが異なることに基づいて、拡張現実画像は、異なる提示方法に対応することができる。
一可能な提示方法は、AR眼鏡に適用されることができ、現実シーンにおける、事前に設定された仮想物体の位置情報に基づいて、仮想物体をAR眼鏡のレンズ内に対応する位置に表示することができる。ユーザが、仮想物体が表示されたAR眼鏡のレンズを通して現実シーンを見る場合、現実シーン内の仮想物体の位置で仮想物体を見ることができる。
別の可能な提示方法は、携帯電話、タブレットコンピュータなどの電子機器に適用されることができ、仮想対象の特殊効果データが含まれる拡張現実データを表示する場合、AR機器が現実シーンに基づいて現実シーン画像を生成した後に、AR機器に表示された拡張現実データは、現実シーン画像に仮想物体画像を重ね合わせた後の画像であってもよい。
本開示は、別の拡張現実シーンの提示方法をさらに提供し、図5に示されたように、前記方法は、本開示で提供する別の拡張現実シーンの提示方法の例示的なフローチャートであり、次のいくつかのステップを含む。
ステップS501において、拡張現実(AR)機器の撮影角度を検出する。
ここで、AR機器には角速度センサが内蔵された場合があり、この場合、AR機器における角速度センサに基づいて撮影角度を取得し、角速度センサは、例えば、ジャイロ、慣性測定ユニット(IMU:Inertial Measurement Unit)などを含み得る。
または、AR機器には画像収集構成要素が構成された場合、例えば、それがカメラである場合、カメラによって収集された現実シーン画像を介して撮影角度を決定することができる。
ステップS502において、撮影角度に関連付けられた仮想対象の特殊効果データを取得する。
いくつかの実施例において、各仮想対象の特殊効果データは、撮影範囲を事前に設定し、撮影角度に関連付けられた仮想対象の特殊効果データを取得する場合、各仮想対象の特殊効果データによって事前に設定された撮影範囲に基づいて、対応する事前に設定された撮影範囲にAR機器の撮影角度が含まれる目標仮想対象の特殊効果データを決定し、当該目標仮想対象の特殊効果データをAR機器の撮影角度に関連付けられた仮想対象の特殊効果データとして決定することができる。例示的に、同じ壁の異なる高さの位置に異なる仮想画像を対応的に配置することができ、仮想画像Aの事前に設定された撮影範囲は30°~ 60°であるなど、仮想画像のそれぞれは、事前に設定された撮影範囲を有し、AR機器の撮影角度が40°である場合、仮想画像Aを、当該撮影角度に関連付けられた仮想対象の特殊効果データとして決定することができる。
ステップS503において、仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データが含まれる拡張現実データをAR機器に表示する。
当該ステップにおいて、仮想対象の特殊効果データに基づき、仮想対象の特殊効果データが含まれる拡張現実データをAR機器に表示する方法は上記のステップ103における方法と同じであり、ここでは繰り返して説明しない。
当業者は、本開示の実施例の上記の方法において、各ステップの書き込み順序は、実施プロセスを限定する厳密な実行順序を意味するのではなく、各ステップの実行順序はそれらの機能と可能な内部ロジックによって決定されることを理解することができる。
同じ構想に基づき、本開示の実施例は、拡張現実データの提示装置をさらに提供し、図6に示されたように、図6は、本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図であり、前記装置は、第1取得モジュール601、第2取得モジュール602および第1表示モジュール603を備える。
第1取得モジュール601は、拡張現実(AR)機器の位置情報を取得し、第2取得モジュール602に伝送するように構成される。
第2取得モジュール602は、前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得し、第1表示モジュール603に伝送するように構成される。
第1表示モジュール603は、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得し、および/または、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得する時に、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得するように構成され、
ここで、前記プリセット条件は、
現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、
前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
一可能な実施形態において、前記第2取得モジュール602は、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、
前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、
前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定し、
決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
前記AR機器の撮影角度を検出し、
前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
現実シーンにおける前記AR機器のポーズデータを取得し、
現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定するように構成される。
同じ構想に基づき、本開示の実施例は、別の拡張現実データの提示装置をさらに提供し、図6に示されたように、図6は、本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図であり、前記装置は、検出モジュール701、第3取得モジュール702および第2表示モジュール703を備える。
検出モジュール701は、拡張現実(AR)機器の撮影角度を検出し、第3取得モジュール702に伝送するように構成される。
第3取得モジュール702は、前記撮影角度に関連付けられた仮想対象の特殊効果データを取得し、第2表示モジュール703に伝送するように構成される。
第2表示モジュール703は、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される。
いくつかの実施例において、本開示の実施例で提供される装置が有する機能または含まれたモジュールは、上文の方法の実施例で説明された方法を実行するように構成されることができ、その具現は、上文の方法の実施例の描述を参照することができ、簡潔にするために、ここでは繰り返して説明しない。
同じ技術的構想に基づき、本開示の実施例は、電子機器をさらに提供する。図8に示されたように、図8は、本開示の実施例で提供する電子機器の概略的な構造図であり、前記機器は、プロセッサ801、メモリ802およびバス803を備える。ここで、メモリ802は、実行命令を記憶するように構成され、当該メモリは、内部記憶装置8021および外部記憶装置8022を備え、ここで、内部記憶装置8021は、内臓メモリとも称し、当該メモリは、プロセッサ801の演算データおよびハードディスクなどの外部記憶装置8022と交換されるデータを一時的に記憶するように構成され、プロセッサ801は、内部記憶装置8021および外部記憶装置8022を介してデータを交換し、電子機器800が実行される場合、プロセッサ801はバス803を介してメモリ802と通信し、プロセッサ801が、
拡張現実(AR)機器の位置情報を取得する命令と、
前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する命令と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示する命令とを実行するようにする。
ここで、プロセッサ801によって実行される処理プロセスは、上記の方法の実施例の説明を参照してもよく、ここでは詳細に説明しない。
同じ技術的構想に基づき、本開示の実施例は、電子機器をさらに提供する。図9に示されたように、図9は、本開示の実施例で提供する電子機器の概略的な構造図であり、前記機器は、プロセッサ901、メモリ902およびバス903を備える。ここで、メモリ902は、実行命令を記憶するように構成され、当該メモリは、内部記憶装置9021および外部記憶装置9022を備え、ここで、内部記憶装置9021は、内臓メモリとも称し、当該メモリは、プロセッサ901の演算データおよびハードディスクなどの外部記憶装置9022と交換されるデータを一時的に記憶するように構成され、プロセッサ901は、内部記憶装置9021および外部記憶装置9022を介してデータを交換し、電子機器900が実行される場合、プロセッサ901はバス903を介してメモリ902と通信し、プロセッサ901が、
拡張現実(AR)機器の撮影角度を検出する命令と、
前記撮影角度に関連付けられた仮想対象の特殊効果データを取得する命令と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示する命令とを実行するようにする。
ここで、プロセッサ901によって実行される処理プロセスは、上記の方法の実施例の説明を参照してもよく、ここでは詳細に説明しない。
加えて、本開示の実施例はコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の方法の実施例に記載の拡張現実データの提示方法のステップを実行する。
本開示の実施例で提供する拡張現実データの提示方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれた命令は、上記の方法実施例に記載の拡張現実データの提示方法のステップを実行するために使用され、上記の方法の実施例を参照してもよく、ここでは繰り返して説明しない。
当業者は、説明の便宜上および簡潔にするために、上記に説明されたシステム、装置の作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができることを明確に理解することができ、ここでは繰り返して説明しない。本開示で提供されたいくつかの実施例において、開示されたシステム、装置および方法は、他の方法を通じて実現され得ることを理解されたい。上記で説明された装置の実施例は例示的なものに過ぎず、例えば、当該ユニットの分離は、論理機能の分離に過ぎず、実際の実現時には別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論された相互結合または直接結合または通信接続は、電気的、機械的または他の形態の一部の通信インターフェース、装置またはユニットを介した間接的な結合または通信接続であり得る。
前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際のニーズにしたがって、その中のユニットの一部または全部を選択して本実施例の技術案の目的を実現することができる。
また、本開示の各実施例における各機能ユニットを1つの処理ユニットに統合してもよく、各ユニットを別々に1つのユニットとして使用してもよいし、2つ以上のユニットを1つのユニットに統合してもよい。
前記機能は、ソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、プロセッサによって実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本開示の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る)に本開示の各実施例に記載の方法の全部または一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスクまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
上記した内容は、本開示の実施形態に過ぎないが、本開示の保護範囲はこれに限定されず、当業者は、本開示に開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本開示の保護範囲内に含まれるべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
本開示は、拡張現実データの提示方法、装置、電子機器および記憶媒体に関し、前記方法は、拡張現実(AR)機器の位置情報を取得することと、前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。当該方法を通じて、異なる仮想対象の特殊効果データが含まれる拡張現実データを異なる位置情報のAR機器に表示し、拡張現実シーンの表示効果を向上させる。
本願は、2019年10月15日に中国特許局に提出された、出願番号が201910979920.5である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。
本開示は、拡張現実の技術分野に関し、拡張現実データの提示方法、装置、機器および記憶媒体に関する。
拡張現実(AR:Augmented Reality)技術は、シミュレーションを通じてエンティティ情報(視角情報、音声、触感など)を実世界に重ね合わせることにより、実環境と仮想の物体をリアルタイムで同じ画面や空間に提示する。AR機器によって提示された拡張現実シーンの効果の最適化はますます重要になっている。
これを鑑みて、本開示は、少なくとも、拡張現実データの提示方法、装置、機器および記憶媒体を提供する。
本開示の技術的解決策は、次のように実現される。
第1態様によれば、本開示は、拡張現実データの提示方法を提供し、前記方法は、拡張現実(AR)機器の位置情報を取得することと、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。当該方法を通じて、各目標現実領域は、関連付けられた仮想対象を有し、関連付けられた当該仮想対象は、当該目標現実領域内に位置してもよく、目標現実領域外に位置してもよい。本開示の実施例では、AR機器が目標現実領域に位置した後に、当該目標現実領域に関連付けられた仮想対象の特殊効果データを表示し、異なる現実領域での仮想対象表示に対する個性的なニーズを満たす。
一可能な実施形態において、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得すること、および/または、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することを含む。上記の実施形態において、仮想対象の特殊効果データは、目標現実領域の位置範囲内に位置してもよく、目標現実領域の位置範囲外に位置してもよい。したがって、目標現実領域内に位置するAR機器は、目標現実領域内の仮想対象の特殊効果データが含まれる拡張現実データを表示することができ、目標現実領域外の仮想対象の特殊効果データが含まれる拡張現実データを表示することもでき、仮想対象の特殊効果データ提示の多様性を高める。
一可能な実施形態において、前記現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得することを含み、ここで、前記プリセット条件は、現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。ここで、目標現実領域内に位置するAR機器が目標現実領域外の仮想対象の特殊効果データを表示する場合、目標現実領域外に位置する仮想対象の提示条件を限定することにより、仮想対象の提示を現実シーンによりよく適させることができ、例えば、現実シーンにおいて、特定の位置からの距離が遠い場合、または視角角度が当該位置に向かっていない場合、当該位置にある実体対象を観察することができない可能性がある。
一可能な実施形態において、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出することは、前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報に対応する位置が前記目標現実領域の位置範囲内に位置することを検出することを含む。
別の可能な実施形態において、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出することは、前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定することと、決定された距離が、設定された距離の閾値より小さい場合、前記位置情報に対応する位置が前記目標現実領域の位置範囲内に位置すると決定することとを含む。上記の2つの実施形態では、2つの異なる位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出する方法を提供し、いくつかの実施例において、領域規定の難易度に従ってどのような方式を使用するかを決定することができる。例えば、領域の位置座標範囲を事前に設定することが便利であると、プリセットの目標現実領域の位置座標範囲に基づいて判断し、そうでない場合、距離に基づいて判断することができる。
一可能な実施形態において、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、前記AR機器の撮影角度を検出することと、前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することとを含む。位置情報に従って仮想対象の特殊効果データを取得すること以外にも、仮想対象の特殊効果データとAR機器の撮影角度との間の関連付け関係を追加することもできるため、仮想対象の特殊効果データと目標現実領域との間の関連付けの緊密性を高める。
一可能な実施形態において、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、現実シーンにおける前記AR機器のポーズデータを取得することであって、前記ポーズデータは、位置情報および/または撮影角度を含むことと、現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に一致する前記仮想対象の特殊効果データを決定することとを含む。ここで、3次元シーンモデルは現実シーンを復元することができるため、当該3次元シーンモデルに基づいて事前に構築された仮想対象のポーズデータは、現実シーンによりよく統合され、本開示の実施例は、当該3次元シーンモデルに基づいて事前に構築された仮想対象のポーズデータから、現実シーンにおけるAR機器のポーズデータと一致する仮想対象の特殊効果データを決定し、それにより、表示された仮想対象の特殊効果データが現実シーンにより好ましく統合することができる。
第2態様によれば、本開示は、別の拡張現実データの提示方法を提供し、前記方法は、拡張現実(AR)機器の撮影角度を検出することと、前記撮影角度に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。当該方法を通じて、仮想対象をAR機器の撮影角度に関連付けることができ、仮想対象のタイプに従って、関連付けられた撮影角度を設定することができ、例えば、花火の特殊効果の場合、星空を撮影する時に対応する角度範囲に関連付けることができる。このように、仮想対象が現実シーンによりよく適させることができ、識別方式は簡単で効率的である。さらに、AR機器の撮影角度が異なることに従って、異なる仮想対象の特殊効果データを取得することができるため、異なる撮影角度の下で、異なる仮想対象の特殊効果データが含まれる拡張現実データを同じAR機器に表示することができ、拡張現実シーン提示の效果を最適化する。
第3態様によれば、本開示は、拡張現実データの提示装置を提供し、前記装置は、拡張現実(AR)機器の位置情報を取得し、第2取得モジュールに伝送するように構成される第1取得モジュールと、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得し、第1表示モジュールに伝送するように構成される第2取得モジュールと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第1表示モジュールとを備える。
一可能な実施形態において、前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得し、および/または、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュールは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得する時に、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得するように構成され、ここで、前記プリセット条件は、現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
一可能な実施形態において、前記第2取得モジュールは、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出する時に、前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報に対応する位置が前記目標現実領域の位置範囲内に位置することを検出するように構成される。
一可能な実施形態において、前記第2取得モジュールは、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出する時に、前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定し、決定された距離が、設定された距離の閾値より小さい場合、前記位置情報に対応する位置が前記目標現実領域の位置範囲内に位置すると決定するように構成される。
一可能な実施形態において、前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、前記AR機器の撮影角度を検出し、前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、現実シーンにおける前記AR機器のポーズデータを取得し、現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定するように構成される。
第4態様によれば、本開示は、拡張現実データの提示装置を提供し、前記装置は、拡張現実(AR)機器の撮影角度を検出し、第3取得モジュールに伝送するように構成される検出モジュールと、前記撮影角度に関連付けられた仮想対象の特殊効果データを取得し、第2表示モジュールに伝送するように構成される第3取得モジュールと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第2表示モジュールとを備える。
第5態様によれば、本開示は電子機器を提供し、前記機器は、プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、上記の第1態様または任意の実施形態を実行し、または上記の第2態様に記載の拡張現実データの提示方法のステップを実行する。
第6態様によれば、本開示は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の第1態様または任意の実施形態を実行し、または上記の第2態様に記載の拡張現実データの提示方法のステップを実行する。
本開示は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品はコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されると、前記電子機器におけるプロセッサは、上記の1つまたは複数の実施例を実現するためのサーバを実行して上記の方法を実行する。
例えば、本願は以下の項目を提供する。
(項目1)
拡張現実データの提示方法であって、
拡張現実(AR)機器の位置情報を取得することと、
前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することと、を含む、前記拡張現実データの提示方法。
(項目2)
前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得すること、および/または、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することを含む、
項目1に記載の拡張現実データの提示方法。
(項目3)
前記現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することは、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得することを含み、
前記プリセット条件は、
現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、
前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
項目2に記載の拡張現実データの提示方法。
(項目4)
前記位置情報が目標現実領域の位置範囲内に位置することを検出することは、
前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出することを含む、
項目2ないし3のいずれか一項に記載の拡張現実データの提示方法。
(項目5)
前記位置情報が目標現実領域の位置範囲内に位置することを検出することは、
前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定することと、
決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定することと、を含む、
項目2ないし4のいずれか一項に記載の拡張現実データの提示方法。
(項目6)
前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、
前記AR機器の撮影角度を検出することと、
前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することと、を含む、
項目1に記載の拡張現実データの提示方法。
(項目7)
前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、
現実シーンにおける前記AR機器のポーズデータを取得することと、
現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定することと、を含む、
項目1または6に記載の拡張現実データの提示方法。
(項目8)
拡張現実シーンの提示方法であって、
拡張現実(AR)機器の撮影角度を検出することと、
前記撮影角度に関連付けられた仮想対象の特殊効果データを取得することと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することと、を含む、前記拡張現実シーンの提示方法。
(項目9)
拡張現実データの提示装置であって、
拡張現実(AR)機器の位置情報を取得し、第2取得モジュールに伝送するように構成される第1取得モジュールと、
前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得し、第1表示モジュールに伝送するように構成される第2取得モジュールと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第1表示モジュールと、を備える、前記拡張現実データの提示装置。
(項目10)
前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得し、および/または、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得するように構成される、
項目9に記載の拡張現実データの提示装置。
(項目11)
前記第2取得モジュールは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得する時に、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得するように構成され、
前記プリセット条件は、
現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、
前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
項目10に記載の拡張現実データの提示装置。
(項目12)
前記第2取得モジュールは、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、
前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出するように構成される、
項目10ないし13のいずれか一項に記載の拡張現実データの提示装置。
(項目13)
前記第2取得モジュールは、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、
前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定し、
決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定するように構成される、
項目10ないし12のいずれか一項に記載の拡張現実データの提示装置。
(項目14)
前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
前記AR機器の撮影角度を検出し、
前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得するように構成される、
項目9に記載の拡張現実データの提示装置。
(項目15)
前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
現実シーンにおける前記AR機器のポーズデータを取得し、
現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定するように構成される、
項目9または14に記載の拡張現実データの提示装置。
(項目16)
拡張現実データの提示装置であって、
拡張現実(AR)機器の撮影角度を検出し、第3取得モジュールに伝送するように構成される検出モジュールと、
前記撮影角度に関連付けられた仮想対象の特殊効果データを取得し、第2表示モジュールに伝送するように構成される第3取得モジュールと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第2表示モジュールと、を備える、前記拡張現実データの提示装置。
(項目17)
電子機器であって、
プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、項目1ないし7のいずれか一項に記載の拡張現実データの提示方法または項目8に記載の拡張現実データの提示方法のステップを実行する、前記電子機器。
(項目18)
コンピュータプログラムが記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される時に、項目1ないし7のいずれか一項に記載の拡張現実データの提示方法または項目8に記載の拡張現実データの提示方法のステップを実行する、前記コンピュータ可読記憶媒体。
(項目19)
コンピュータ可読コードを含む、コンピュータプログラム製品であって、
前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサは、項目1ないし7のいずれか一項に記載の拡張現実データの提示方法を実行し、または項目8に記載の拡張現実シーンの提示方法を実行する、前記コンピュータプログラム製品。
本開示で提供する拡張現実データの提示方法により、各目標現実領域は、関連付けられた仮想対象を有し、関連付けられた当該仮想対象は、当該目標現実領域内に位置してもよく、目標現実領域外に位置してもよい。本開示の実施例では、AR機器が目標現実領域に位置した後に、当該目標現実領域に関連付けられた仮想対象の特殊効果データを表示し、異なる現実領域での仮想対象表示に対する個性的なニーズを満たす。
上記の拡張現実データの提示装置、電子機器およびコンピュータ可読記憶媒体の効果に関する説明は、上記の拡張現実データの提示方法に対する説明を参照し、ここでは繰り返して説明しない。
本開示の上記した目的、特徴および利点をより明確で理解しやすくするために、好ましい実施例を、添付の図面と併せて、以下に詳細に説明する。
本開示の実施例で提供する、拡張現実データを提示するための方法の例示的なフローチャートを示す。 本開示の実施例で提供する目標位置領域の概略図を示す。 本開示の実施例で提供する、目標現実領域からの距離が、設定された距離範囲内にある領域の概略図を示す。 本開示の実施例で提供する、別の目標現実領域からの距離が、設定された距離範囲内にある領域の概略図を示す。 本開示の実施例で提供する撮影角度の概略図を示す。 本開示の実施例で提供する別の拡張現実データの提示方法のフローチャートを示す。 本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図を示す。 本開示の実施例で提供する別の拡張現実データの提示装置を示す。 本開示の実施例で提供する電子機器の概略的な構造図を示す。 本開示の実施例で提供する別の電子機器の概略的な構造図を示す。
本開示の実施例の目的、技術的解決策および利点をより明確にするために、以下、本開示の実施例における図面を参照して、本開示の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本開示の実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載および図示されている本開示の実施例のコンポーネントは、様々な異なる構成で配置および設計することができる。したがって、図面に提供される本開示の実施例の以下の詳細な説明は、本開示の保護範囲を制限するものではなく、本開示の特定の実施例を示すものに過ぎない。本開示の実施例に基づき、創造的な努力なしに当業者が取得した他のすべての実施例は、本開示の保護範囲に含まれる。
本開示は、AR技術をサポートする電子機器(携帯電話、タブレット、AR眼鏡など)またはサーバ、またはそれらの組み合わせに適用されることができ、本開示がサーバに適用される場合、当該サーバは、通信機能を備え且つカメラを備えた他の電子機器に接続することができ、その接続方式は有線接続または無線接続であってもよく、無線接続は、例えば、bluetooth接続、WIFI(登録商標)接続などであってもよい。
拡張現実シーンをAR機器に提示するとは、即ち、現実シーンに統合された仮想対象をAR機器に表示することであり、仮想対象の提示画面を直接にレンダリングして、それを現実シーンに統合させることができ、例えば、仮想のティーセットを提示し、表示効果が現実シーンの実際のテーブルの上に配置されるようにし、仮想対象の提示特殊効果を現実シーン画像に統合させた後に、統合された表示画面を表示する。どのような提示方式を選択するかはAR機器の機器タイプおよび使用する画面提示技術に依存し、例えば、通常、AR眼鏡から現実シーン(撮影後の現実シーン画像ではない)を直接に見ることができるため、AR眼鏡は、想対象の提示画面を直接にレンダリングする提示方式を使用することができ、携帯電話、タブレットコンピュータなどのモバイル端末機器において、モバイル端末機器に表示される画面は現実シーンを撮影した後の画面であるため、現実シーン画像および仮想対象の提示特殊効果に対して統合処理を実行する方式を使用して、拡張現実効果を表示する。
本開示の実施例では、各目標現実領域を当該目標現実領域に表示することができる仮想対象の特殊効果データに関連付け、目標現実領域に関連付けられた当該仮想対象は当該目標現実領域内に位置してもよく、目標現実領域外に位置してもよく、異なる目標現実領域での仮想対象表示に対する個性的なニーズを満たすことができる。
以下、本開示の実施例に関する拡張現実データを提示するための方法を詳細に紹介する。
図1を参照すると、図1は、本開示の実施例で提供する拡張現実データを提示するための方法の例示的なフローチャートであり、前記方法は、次のステップを含む。
ステップS101において、拡張現実(AR)機器の位置情報を取得する。
ステップS102において、位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、目標現実領域に関連付けられた仮想対象の特殊効果データを取得する。
ステップS103において、仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データが含まれる拡張現実データをAR機器に表示する。
AR機器の位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出し、以下の方法のうちの任意の1つの方法を実行することができる。
方法1として、位置情報の地理座標が目標現実領域の地理座標範囲内に含まれ、位置情報が目標現実領域の位置範囲内内に位置することを検出することができる。
いくつかの実施例において、目標現実領域の地理座標範囲を事前に記憶または事前に設定することができ、その後、AR機器の位置情報に対応する位置に対応する地理座標が目標現実領域の地理座標範囲内にあるかどうかを検出し、そうである場合、AR機器の位置情報が目標現実領域の位置範囲内に位置すると決定し、そうでない場合、AR機器の位置情報が目標現実領域の位置範囲内にいないと決定する。
ここで、目標現実領域に関連付けられた仮想対象の特殊効果データは、当該目標現実領域内のAR機器にある可能性があり、特定のビルディングの屋上から、反対側のビルディングの屋上の仮想対象特殊効果画面を見ることができるなど、仮想対象が実際に統合された現実シーン位置は当該目標現実領域にあるとは限れない。AR機器の位置情報が目標現実領域の位置範囲内にない場合、当該目標現実領域に関連付けられた仮想対象の特殊効果データを当該AR機器に提示せず、例えば、AR機器が円明園遺跡領域に入ると、復元後の円明園特殊効果画面が提示され、当該円明園遺跡領域内にないAR機器の場合、復元後の円明園特殊効果画面の提示を実行しない。
方法2として、AR機器の位置情報および現実シーン内の仮想対象の対応する地理的位置情報に基づいて、AR機器と現実シーン内の仮想対象の対応する地理的位置との間の距離を決定し、その後、決定された距離が、設定された距離より小さい場合、位置情報に対応する位置が目標現実領域の位置範囲内に位置すると決定する。
上記の方法2は、仮想対象が目標現実領域内に位置する状況に適用され、ここで、目標現実領域は、現実シーン内の仮想対象の対応する地理的位置を中心とし、設定された距離を半径とする領域であり、AR機器の位置情報が目標現実領域内にあるかどうかを検出することは、AR機器の位置と仮想対象との間の距離が、設定された距離より小さいかどうかを検出することとして理解することができる。
当該方法は、直接に、AR機器と現実シーンにおける仮想対象の地理的位置との間の距離に基づいて、当該仮想対象をAR機器に提示するかどうかを判断する方式を提供し、この方法は、AR機器の地理的位置座標情報および現実シーン内の仮想対象の対応する地理的位置座標情報を使用する。
一可能な実施形態において、目標現実領域に関連付けられた仮想対象は、仮想物体、音声および匂いのうちの1つまたは複数であってもよい。
本開示の一例では、目標現実シーンに関連付けされた仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置領域が目標現実領域の位置範囲内に位置する仮想対象の特殊効果データ(第1仮想対象の特殊効果データと略称する)を取得すること、および/または現実シーン内の対応する地理的位置が目標現実シーン領域の位置範囲外に位置する仮想対象の特殊効果データ(第2仮想対象の特殊効果データと略称する)を取得することを含み得る。
ここで、取得された、目標現実シーンに関連付けられた仮想対象の特殊効果データが上記の第1仮想対象の特殊効果データおよび上記の第2仮想対象の特殊効果データを同時に含む場合、目標現実シーンに関連付けられた仮想対象の特殊効果データは、複数の仮想対象の特殊効果データを含み得る。
さらに、異なる目標現実領域は、同じ仮想対象の特殊効果データに関連付けられることができる。例示的に、図2に示されたように、図2に示す現実シーンにおいて、領域A、領域Bおよび領域Cは3つの異なる目標現実領域であり、仮想対象の特殊効果データは、図の仮想物体Sの特殊効果データである。ここで、現実シーン内の仮想物体Sの対応する地理的位置は領域A内に位置し、且つ領域A、領域Bおよび領域Cの全ては仮想物体Sに関連付け、AR機器が領域A、領域Bおよび領域Cの3つの目標現実領域のうちの任意の1つの領域に位置する場合、関連付けられた仮想物体Sの特殊効果データをAR機器に提示することができる。
いくつかの実施例において、現実シーン内の対応する地理的位置が目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得した場合、現実シーン内の対応する地理的位置が目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得することができる。
ここで、プリセット条件は、
現実シーン内の仮想対象に対応する地理的位置から目標現実領域までの距離が、設定された距離範囲内であること、
AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
例示的に、図3aに示されたように、目標現実領域が図の内側の円の円形領域であると、目標現実領域からの距離が、設定された距離範囲内にある領域は、外側の円と内側の円との間の領域であり、更に例えば、図3bに示されたように、目標現実領域が図の長方形領域であると、目標現実領域からの距離が、設定された距離範囲内にある領域は図の網掛け部分領域である。
いくつかの実施例において、仮想対象は現実シーンに位置する目標現実領域に関連付けられてもよく、関連付けられなくてもよく、位置する目標現実領域に関連付けた場合、AR機器が当該目標現実領域内に位置する時に、当該仮想対象の特殊効果データを提示することができ、位置する目標現実領域に関連付けてない場合、AR機器が当該目標現実領域内に位置する時に、当該仮想対象の特殊効果データを提示することができない。
別の可能な実施形態において、目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、先ず、AR機器の撮影角度を検出し、その後、目標現実領域および撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することもできる。
いくつかの実施例において、各仮想対象の特殊効果データは、撮影角度範囲を事前にバウンドして、目標現実領域および撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置し、且つ事前にバウンドされた撮影角度範囲がAR機器の撮影角度を含む仮想対象の特殊効果データを取得することを含む。
適用シナリオは、例示的に、図4に示されたように、図4の現実シーン内の仮想対象の対応する地理的位置およびAR機器の位置情報は同じ目標現実領域内にあり、且つAR機器の撮影角度が仮想対象によて事前にバウンドされた撮影角度範囲内にあり、この場合、AR機器で表示される拡張現実データには、仮想対象の特殊効果データが含まれる。
ここで、AR機器の撮影ポーズデータは、様々な方式を通じて取得することができ、例えば、AR機器が、位置を検出するポジショニング構成要素および撮影角度を検出する角速度センサを構成した場合、ポジショニング構成要素および角速度センサを介してAR機器の撮影ポーズデータを決定することができ、AR機器が、カメラなどの画像収集構成要素を構成した場合、カメラによって収集された現実シーン画像を介して撮影角度を決定することができる。
上記の角速度センサは、例えば、ジャイロ、慣性測定ユニット(IMU:Inertial Measurement Unit)などを含み得、上記のポジショニング構成要素は、例えば、グローバルポジショニングシステム(GPS:Global Positioning System)、グローバルナビゲーション衛星システム(GLONASS:Global Navigation Satellite System)、WiFi(登録商標)測定技術のポジショニング構成要素などを含み得る。
一可能な実施形態において、目標現実領域に関連付けられた仮想対象の特殊効果データを取得するには、先ず、現実シーンに置かるAR機器のポーズデータを取得し、その後、現実シーンにおけるAR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける仮想対象のポーズデータに基づいて、目標現実領域に関連付けられた仮想対象の特殊効果データを決定することができる。
ここで、AR機器の撮影ポーズデータ、および事前に設定された、現実シーンを表すための3次元シーンモデルにおける仮想対象のポーズデータに基づいて、現実シーンにおける仮想対象の提示特殊効果データを決定し、ここで、3次元シーンモデルは現実シーンを表すことができるため、当該3次元シーンモデルに基づいて構築された仮想対象のポーズデータは現実シーンによりよく統合され、3次元シーンモデルにおける当該仮想対象のポーズデータから、AR機器のポーズデータに一致する提示特殊効果データを決定し、即ち、リアルな拡張現実シーンの效果をAR機器に表示することができる。
ここで、現実シーンを表すための3次元シーンモデルにおける仮想対象のポーズデータは、3次元シーンモデルにおける仮想対象の位置情報(例えば、座標であってもよく、且つ当該座標は一意である)および/または対応する姿勢情報を含み得る。仮想対象の特殊効果データは、仮想対象の提示状態であってもよい。例えば、仮想対象は、静的または動的に表示された仮想物体、特定の音声などであってもよい。仮想対象が動的な対象である場合、3次元シーンにおける仮想対象のポーズデータは、位置情報(地理的位置座標情報など)および/または対応する姿勢情報(仮想対象の表示姿勢)の複数のセットを含み得る。一シナリオにおいて、当該位置情報および/または姿勢情報の複数のセットは、アニメーションビデオデータの一部に対応することができ、位置情報および/または姿勢情報の各セットは、当該アニメーションビデオデータのうちの1フレーム画像に対応する。
仮想対象特殊効果データのレンダリングを実行して、3次元シーンモデルの下での仮想対象の表示特殊効果を復元することを便宜にするために、仮想対象の表示特殊効果および3次元シーンモデルを含む表示画面内の3次元シーンモデルに対して透過処理を実行することができ、このように、後続のレンダリング段階では、仮想対象の表示特殊効果および透過化処理後の3次元シーンモデルを含む表示画面をレンダリングして、現実シーンを3次元シーンモデルに対応させることができ、このようにして、3次元シーンモデルの下での仮想対象の表示特殊効果を実世界で取得することができる。
いくつかの実施例において、現実シーンにおけるAR機器のポーズデータが決定された後に、3次元シーンモデルにおける仮想対象の複数の位置情報(地理的位置座標情報など)および/または対応する姿勢情報(仮想対象の表示姿勢)のセットから、AR機器のポーズデータに一致する仮想対象の位置情報および/または姿勢情報のセットを決定することができる。例えば、構築されたビルディングモデルシナリオでの仮想対象の位置情報と姿勢情報の複数のセットから、AR機器のポーズデータに一致する仮想対象の位置および姿勢のセットを決定する。
仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データが含まれる拡張現実データを拡張現実(AR)機器に表示する場合、AR機器のタイプが異なること、および仮想対象の特殊効果データのタイプが異なることに従って、各タイプの特殊効果データをそれぞれ表示し、または、様々な特殊効果データを組み合わせて表示することができる。
1、仮想対象が音声を含む場合、仮想対象の特殊効果データは固定の周波数を有する音声であってもよく、仮想対象の特殊効果データが含まれる拡張現実データを表示することは、目標現実領域に関連付けられた音声を再生することであってもよい。
例えば、当該目標現実領域に関連付けられた仮想対象の特殊効果データが特定の一部の音声であり、AR機器の位置情報が目標現実領域の位置範囲に位置することを検出した場合、当該目標現実領域に関連付けられた音声を取得して、AR機器で当該音声を再生することができる。
2、仮想対象が現実シーンの匂いを含む場合、AR機器の位置情報が目標現実領域の位置範囲にあることを識別した後に、当該目標現実領域に関連付けられた匂いのタイプ、および香りを放出する持続時間を決定し、決定された香りのタイプ、および香りを放出する持続時間を香りの放出を制御するためのサードパーティの機器に送信し、対応するタイプの香りを当該持続時間に放出するように香りの放出を制御するためのサードパーティの機器を指示する。
3、仮想対象が仮想物体の提示画面を含む場合、仮想対象の特殊効果データは仮想物体の提示画面であってもよく、当該提示画面は静的であってもよく、動的であってもよく、拡張現実データは拡張現実画像を含み得る。AR機器のタイプが異なることに基づいて、拡張現実画像は、異なる提示方法に対応することができる。
一可能な提示方法は、AR眼鏡に適用されることができ、現実シーンにおける、事前に設定された仮想物体の位置情報に基づいて、仮想物体をAR眼鏡のレンズ内に対応する位置に表示することができる。ユーザが、仮想物体が表示されたAR眼鏡のレンズを通して現実シーンを見る場合、現実シーン内の仮想物体の位置で仮想物体を見ることができる。
別の可能な提示方法は、携帯電話、タブレットコンピュータなどの電子機器に適用されることができ、仮想対象の特殊効果データが含まれる拡張現実データを表示する場合、AR機器が現実シーンに基づいて現実シーン画像を生成した後に、AR機器に表示された拡張現実データは、現実シーン画像に仮想物体画像を重ね合わせた後の画像であってもよい。
本開示は、別の拡張現実データの提示方法をさらに提供し、図5に示されたように、前記方法は、本開示で提供する別の拡張現実データの提示方法の例示的なフローチャートであり、次のいくつかのステップを含む。
ステップS501において、拡張現実(AR)機器の撮影角度を検出する。
ここで、AR機器には角速度センサが内蔵された場合があり、この場合、AR機器における角速度センサに基づいて撮影角度を取得し、角速度センサは、例えば、ジャイロ、慣性測定ユニット(IMU:Inertial Measurement Unit)などを含み得る。
または、AR機器には画像収集構成要素が構成された場合、例えば、それがカメラである場合、カメラによって収集された現実シーン画像を介して撮影角度を決定することができる。
ステップS502において、撮影角度に関連付けられた仮想対象の特殊効果データを取得する。
いくつかの実施例において、各仮想対象の特殊効果データは、撮影範囲を事前に設定し、撮影角度に関連付けられた仮想対象の特殊効果データを取得する場合、各仮想対象の特殊効果データによって事前に設定された撮影範囲に基づいて、対応する事前に設定された撮影範囲にAR機器の撮影角度が含まれる目標仮想対象の特殊効果データを決定し、当該目標仮想対象の特殊効果データをAR機器の撮影角度に関連付けられた仮想対象の特殊効果データとして決定することができる。例示的に、同じ壁の異なる高さの位置に異なる仮想画像を対応的に配置することができ、仮想画像Aの事前に設定された撮影範囲は30°~ 60°であるなど、仮想画像のそれぞれは、事前に設定された撮影範囲を有し、AR機器の撮影角度が40°である場合、仮想画像Aを、当該撮影角度に関連付けられた仮想対象の特殊効果データとして決定することができる。
ステップS503において、仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データが含まれる拡張現実データをAR機器に表示する。
当該ステップにおいて、仮想対象の特殊効果データに基づき、仮想対象の特殊効果データが含まれる拡張現実データをAR機器に表示する方法は上記のステップ103における方法と同じであり、ここでは繰り返して説明しない。
当業者は、本開示の実施例の上記の方法において、各ステップの書き込み順序は、実施プロセスを限定する厳密な実行順序を意味するのではなく、各ステップの実行順序はそれらの機能と可能な内部ロジックによって決定されることを理解することができる。
同じ構想に基づき、本開示の実施例は、拡張現実データの提示装置をさらに提供し、図6に示されたように、図6は、本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図であり、前記装置は、第1取得モジュール601、第2取得モジュール602および第1表示モジュール603を備える。
第1取得モジュール601は、拡張現実(AR)機器の位置情報を取得し、第2取得モジュール602に伝送するように構成される。
第2取得モジュール602は、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得し、第1表示モジュール603に伝送するように構成される。
第1表示モジュール603は、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得し、および/または、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得する時に、
現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得するように構成され、
ここで、前記プリセット条件は、
現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、
前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
一可能な実施形態において、前記第2取得モジュール602は、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出する時に、
前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報に対応する位置が前記目標現実領域の位置範囲内に位置することを検出するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出する時に、
前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定し、
決定された距離が、設定された距離の閾値より小さい場合、前記位置情報に対応する位置が前記目標現実領域の位置範囲内に位置すると決定するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
前記AR機器の撮影角度を検出し、
前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得するように構成される。
一可能な実施形態において、前記第2取得モジュール602は、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
現実シーンにおける前記AR機器のポーズデータを取得し、
現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定するように構成される。
同じ構想に基づき、本開示の実施例は、別の拡張現実データの提示装置をさらに提供し、図6に示されたように、図6は、本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図であり、前記装置は、検出モジュール701、第3取得モジュール702および第2表示モジュール703を備える。
検出モジュール701は、拡張現実(AR)機器の撮影角度を検出し、第3取得モジュール702に伝送するように構成される。
第3取得モジュール702は、前記撮影角度に関連付けられた仮想対象の特殊効果データを取得し、第2表示モジュール703に伝送するように構成される。
第2表示モジュール703は、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される。
いくつかの実施例において、本開示の実施例で提供される装置が有する機能または含まれたモジュールは、上文の方法の実施例で説明された方法を実行するように構成されることができ、その具現は、上文の方法の実施例の描述を参照することができ、簡潔にするために、ここでは繰り返して説明しない。
同じ技術的構想に基づき、本開示の実施例は、電子機器をさらに提供する。図8に示されたように、図8は、本開示の実施例で提供する電子機器の概略的な構造図であり、前記機器は、プロセッサ801、メモリ802およびバス803を備える。ここで、メモリ802は、実行命令を記憶するように構成され、当該メモリは、内部記憶装置8021および外部記憶装置8022を備え、ここで、内部記憶装置8021は、内臓メモリとも称し、当該メモリは、プロセッサ801の演算データおよびハードディスクなどの外部記憶装置8022と交換されるデータを一時的に記憶するように構成され、プロセッサ801は、内部記憶装置8021および外部記憶装置8022を介してデータを交換し、電子機器800が実行される場合、プロセッサ801はバス803を介してメモリ802と通信し、プロセッサ801が、
拡張現実(AR)機器の位置情報を取得する命令と、
前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する命令と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示する命令とを実行するようにする。
ここで、プロセッサ801によって実行される処理プロセスは、上記の方法の実施例の説明を参照してもよく、ここでは詳細に説明しない。
同じ技術的構想に基づき、本開示の実施例は、電子機器をさらに提供する。図9に示されたように、図9は、本開示の実施例で提供する電子機器の概略的な構造図であり、前記機器は、プロセッサ901、メモリ902およびバス903を備える。ここで、メモリ902は、実行命令を記憶するように構成され、当該メモリは、内部記憶装置9021および外部記憶装置9022を備え、ここで、内部記憶装置9021は、内臓メモリとも称し、当該メモリは、プロセッサ901の演算データおよびハードディスクなどの外部記憶装置9022と交換されるデータを一時的に記憶するように構成され、プロセッサ901は、内部記憶装置9021および外部記憶装置9022を介してデータを交換し、電子機器900が実行される場合、プロセッサ901はバス903を介してメモリ902と通信し、プロセッサ901が、
拡張現実(AR)機器の撮影角度を検出する命令と、
前記撮影角度に関連付けられた仮想対象の特殊効果データを取得する命令と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示する命令とを実行するようにする。
ここで、プロセッサ901によって実行される処理プロセスは、上記の方法の実施例の説明を参照してもよく、ここでは詳細に説明しない。
加えて、本開示の実施例はコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の方法の実施例に記載の拡張現実データの提示方法のステップを実行する。
本開示の実施例で提供する拡張現実データの提示方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれた命令は、上記の方法実施例に記載の拡張現実データの提示方法のステップを実行するために使用され、上記の方法の実施例を参照してもよく、ここでは繰り返して説明しない。
当業者は、説明の便宜上および簡潔にするために、上記に説明されたシステム、装置の作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができることを明確に理解することができ、ここでは繰り返して説明しない。本開示で提供されたいくつかの実施例において、開示されたシステム、装置および方法は、他の方法を通じて実現され得ることを理解されたい。上記で説明された装置の実施例は例示的なものに過ぎず、例えば、当該ユニットの分離は、論理機能の分離に過ぎず、実際の実現時には別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論された相互結合または直接結合または通信接続は、電気的、機械的または他の形態の一部の通信インターフェース、装置またはユニットを介した間接的な結合または通信接続であり得る。
前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際のニーズにしたがって、その中のユニットの一部または全部を選択して本実施例の技術案の目的を実現することができる。
また、本開示の各実施例における各機能ユニットを1つの処理ユニットに統合してもよく、各ユニットを別々に1つのユニットとして使用してもよいし、2つ以上のユニットを1つのユニットに統合してもよい。
前記機能は、ソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、プロセッサによって実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本開示の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る)に本開示の各実施例に記載の方法の全部または一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスクまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
上記した内容は、本開示の実施形態に過ぎないが、本開示の保護範囲はこれに限定されず、当業者は、本開示に開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本開示の保護範囲内に含まれるべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
本開示は、拡張現実データの提示方法、装置、電子機器および記憶媒体に関し、前記方法は、拡張現実(AR)機器の位置情報を取得することと、前記位置情報に対応する位置が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することとを含む。当該方法を通じて、異なる仮想対象の特殊効果データが含まれる拡張現実データを異なる位置情報のAR機器に表示し、拡張現実シーンの表示効果を向上させる。

Claims (19)

  1. 拡張現実データの提示方法であって、
    拡張現実(AR)機器の位置情報を取得することと、
    前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することと、
    前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することと、を含む、前記拡張現実データの提示方法。
  2. 前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、
    現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得すること、および/または、
    現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することを含む、
    請求項1に記載の拡張現実データの提示方法。
  3. 前記現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得することは、
    現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得することを含み、
    前記プリセット条件は、
    現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、
    前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
    請求項2に記載の拡張現実データの提示方法。
  4. 前記位置情報が目標現実領域の位置範囲内に位置することを検出することは、
    前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出することを含む、
    請求項2ないし3のいずれか一項に記載の拡張現実データの提示方法。
  5. 前記位置情報が目標現実領域の位置範囲内に位置することを検出することは、
    前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定することと、
    決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定することと、を含む、
    請求項2ないし4のいずれか一項に記載の拡張現実データの提示方法。
  6. 前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、
    前記AR機器の撮影角度を検出することと、
    前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得することと、を含む、
    請求項1に記載の拡張現実データの提示方法。
  7. 前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得することは、
    現実シーンにおける前記AR機器のポーズデータを取得することと、
    現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定することと、を含む、
    請求項1または6に記載の拡張現実データの提示方法。
  8. 拡張現実シーンの提示方法であって、
    拡張現実(AR)機器の撮影角度を検出することと、
    前記撮影角度に関連付けられた仮想対象の特殊効果データを取得することと、
    前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示することと、を含む、前記拡張現実シーンの提示方法。
  9. 拡張現実データの提示装置であって、
    拡張現実(AR)機器の位置情報を取得し、第2取得モジュールに伝送するように構成される第1取得モジュールと、
    前記位置情報が目標現実領域の位置範囲内に位置することを検出した場合、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得し、第1表示モジュールに伝送するように構成される第2取得モジュールと、
    前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第1表示モジュールと、を備える、前記拡張現実データの提示装置。
  10. 前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
    現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲内に位置する仮想対象の特殊効果データを取得し、および/または、
    現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得するように構成される、
    請求項9に記載の拡張現実データの提示装置。
  11. 前記第2取得モジュールは、現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置する仮想対象の特殊効果データを取得する時に、
    現実シーン内の対応する地理的位置が前記目標現実領域の位置範囲外に位置し、且つプリセット条件に一致する仮想対象の特殊効果データを取得するように構成され、
    前記プリセット条件は、
    現実シーン内の前記仮想対象に対応する地理的位置から前記目標現実領域までの距離が、設定された距離範囲内であること、
    前記AR機器の撮影角度が、設定された角度範囲内に位置することのうちの少なくとも1つを含む。
    請求項10に記載の拡張現実データの提示装置。
  12. 前記第2取得モジュールは、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、
    前記位置情報の地理座標が前記目標現実領域の地理座標範囲内に含まれる場合、前記位置情報が前記目標現実領域の位置範囲内に位置することを検出するように構成される、
    請求項10ないし13のいずれか一項に記載の拡張現実データの提示装置。
  13. 前記第2取得モジュールは、前記位置情報が目標現実領域の位置範囲内に位置することを検出する時に、
    前記AR機器の位置情報および現実シーン内の前記仮想対象の対応する地理的位置情報に基づいて、前記AR機器と現実シーン内の前記仮想対象の対応する地理的位置との間の距離を決定し、
    決定された距離が、設定された距離の閾値より小さい場合、前記位置情報が前記目標現実領域の位置範囲内に位置すると決定するように構成される、
    請求項10ないし12のいずれか一項に記載の拡張現実データの提示装置。
  14. 前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
    前記AR機器の撮影角度を検出し、
    前記目標現実領域および前記撮影角度に共同で関連付けられた仮想対象の特殊効果データを取得するように構成される、
    請求項9に記載の拡張現実データの提示装置。
  15. 前記第2取得モジュールは、前記目標現実領域に関連付けられた仮想対象の特殊効果データを取得する時に、
    現実シーンにおける前記AR機器のポーズデータを取得し、
    現実シーンにおける前記AR機器のポーズデータ、および現実シーンを表すための3次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記目標現実領域に関連付けられた前記仮想対象の特殊効果データを決定するように構成される、
    請求項9または14に記載の拡張現実データの提示装置。
  16. 拡張現実データの提示装置であって、
    拡張現実(AR)機器の撮影角度を検出し、第3取得モジュールに伝送するように構成される検出モジュールと、
    前記撮影角度に関連付けられた仮想対象の特殊効果データを取得し、第2表示モジュールに伝送するように構成される第3取得モジュールと、
    前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データが含まれる拡張現実データを前記AR機器に表示するように構成される第2表示モジュールと、を備える、前記拡張現実データの提示装置。
  17. 電子機器であって、
    プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、請求項1ないし7のいずれか一項に記載の拡張現実データの提示方法または請求項8に記載の拡張現実データの提示方法のステップを実行する、前記電子機器。
  18. コンピュータプログラムが記憶される、コンピュータ可読記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される時に、請求項1ないし7のいずれか一項に記載の拡張現実データの提示方法または請求項8に記載の拡張現実データの提示方法のステップを実行する、前記コンピュータ可読記憶媒体。
  19. コンピュータ可読コードを含む、コンピュータプログラム製品であって、
    前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサは、請求項1ないし7のいずれか一項に記載の拡張現実データの提示方法を実行し、または請求項8に記載の拡張現実シーンの提示方法を実行する、前記コンピュータプログラム製品。
JP2020573331A 2019-10-15 2020-08-28 拡張現実データの提示方法、装置、機器および記憶媒体 Pending JP2022505999A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910979920.5A CN110716646A (zh) 2019-10-15 2019-10-15 一种增强现实数据呈现方法、装置、设备及存储介质
CN201910979920.5 2019-10-15
PCT/CN2020/112280 WO2021073278A1 (zh) 2019-10-15 2020-08-28 一种增强现实数据呈现方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
JP2022505999A true JP2022505999A (ja) 2022-01-17

Family

ID=75492145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573331A Pending JP2022505999A (ja) 2019-10-15 2020-08-28 拡張現実データの提示方法、装置、機器および記憶媒体

Country Status (2)

Country Link
US (1) US20210118236A1 (ja)
JP (1) JP2022505999A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068703B (zh) * 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN113393516B (zh) * 2021-06-17 2022-05-24 贝壳找房(北京)科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN113850746A (zh) * 2021-09-29 2021-12-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114390215B (zh) * 2022-01-20 2023-10-24 脸萌有限公司 一种视频生成方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165848A (ja) * 2003-12-04 2005-06-23 Canon Inc 複合現実感提示方法および装置
JP2013539090A (ja) * 2010-06-30 2013-10-17 ノキア コーポレイション 拡張現実において、提案する情報レイヤを自動的に生成する方法・装置・コンピュータプログラム
JP2015007632A (ja) * 2014-07-14 2015-01-15 コア ワイヤレス ライセンシング エス.アー.エール.エル. 位置オフセット情報を決定する方法および装置
WO2018039269A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
WO2019097726A1 (ja) * 2017-11-20 2019-05-23 楽天株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2019125278A (ja) * 2018-01-19 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789764B2 (en) * 2017-05-31 2020-09-29 Live Cgi, Inc. Systems and associated methods for creating a viewing experience

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165848A (ja) * 2003-12-04 2005-06-23 Canon Inc 複合現実感提示方法および装置
JP2013539090A (ja) * 2010-06-30 2013-10-17 ノキア コーポレイション 拡張現実において、提案する情報レイヤを自動的に生成する方法・装置・コンピュータプログラム
JP2015007632A (ja) * 2014-07-14 2015-01-15 コア ワイヤレス ライセンシング エス.アー.エール.エル. 位置オフセット情報を決定する方法および装置
WO2018039269A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
WO2019097726A1 (ja) * 2017-11-20 2019-05-23 楽天株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2019125278A (ja) * 2018-01-19 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
US20210118236A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
JP2022505999A (ja) 拡張現実データの提示方法、装置、機器および記憶媒体
US9430038B2 (en) World-locked display quality feedback
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
US10607403B2 (en) Shadows for inserted content
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
WO2019059992A1 (en) RENDERING VIRTUAL OBJECTS BASED ON LOCATION DATA AND IMAGE DATA
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
CN112729327B (zh) 一种导航方法、装置、计算机设备及存储介质
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111651051B (zh) 一种虚拟沙盘展示方法及装置
JP6711137B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
CN111610997A (zh) Ar场景内容的生成方法、展示方法、展示***及装置
US20160284130A1 (en) Display control method and information processing apparatus
CN111815783A (zh) 虚拟场景的呈现方法及装置、电子设备及存储介质
TWI764366B (zh) 基於光通信裝置的互動方法和系統
CN111599292A (zh) 一种历史场景的呈现方法、装置、电子设备及存储介质
CN103632627A (zh) 信息显示方法、装置及移动导览电子设备
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
Střelák Augmented reality tourist guide
CN113209610A (zh) 虚拟场景画面展示方法、装置、计算机设备及存储介质
JP2011022662A (ja) 携帯電話端末及び情報処理システム
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230320