JP2022537861A - Arシーンコンテンツの生成方法、表示方法、装置及び記憶媒体 - Google Patents

Arシーンコンテンツの生成方法、表示方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP2022537861A
JP2022537861A JP2021538425A JP2021538425A JP2022537861A JP 2022537861 A JP2022537861 A JP 2022537861A JP 2021538425 A JP2021538425 A JP 2021538425A JP 2021538425 A JP2021538425 A JP 2021538425A JP 2022537861 A JP2022537861 A JP 2022537861A
Authority
JP
Japan
Prior art keywords
virtual object
data
scene
data packet
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021538425A
Other languages
English (en)
Inventor
シンルー ホウ
チン ルワン
ディンルー ワン
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010456843.8A external-priority patent/CN111610998A/zh
Priority claimed from CN202010456842.3A external-priority patent/CN111610997A/zh
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022537861A publication Critical patent/JP2022537861A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本発明は、ARシーンコンテンツの生成方法、表示方法、装置及び記憶媒体を提供し、ここで、当該ARシーンコンテンツの生成方法は、第1トリガ操作に応答して、前記第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得することと、前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することであって、前記更新データは、前記少なくとも1つの仮想対象に対応する第1姿勢データを含むことと、前記少なくとも1つの仮想対象の更新データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成することと、を含む。【選択図】図1

Description

本願は、2020年05月26日に中国特許局に提出された、出願番号が202010456842.3であり、発明の名称が「ARシーンコンテンツの生成方法、表示方法、表示システム及び装置」である中国特許出願、及び2020年05月26日に中国特許局に提出された、出願番号が202010456843.8であり、発明の名称が「ARシーンコンテンツの生成方法、表示方法、表示システム及び装置」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれている。
本発明は、拡張現実の技術分野に関し、具体的に、ARシーンコンテンツの生成方法、表示方法、装置及び記憶媒体に関する。
拡張現実(AR:Augmented Reality)技術は、仮想対象を現実世界と巧みに融合する技術であり、コンピュータによって生成されたテキスト、画像、3次元モデル、音楽、ビデオなどの仮想対象をシミュレートした後、それらを現実世界に適用して、拡張現実シーンを提示する。
拡張現実シーンを提示する前に、拡張現実シーンに表示されるARコンテンツ(例えば、仮想対象、及び仮想対象の表示情報を含み得る)を事前に決定できるが、現在の現実シーンの内部環境が変化すると、前に作成された仮想対象が現在の現実シーンと一致しなくなるため、仮想対象を現実シーンに重ね合わせたときの拡張現実シーンの表示効果が低下する。
本発明の実施例は、少なくとも、ARシーンコンテンツを生成するための技術的解決策を提供する。
第1態様によれば、本発明の実施例は、拡張現実(AR)シーンコンテンツの生成方法を提供し、前記方法は、
第1トリガ操作に応答して、前記第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得することと、
前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することであって、前記更新データは、前記少なくとも1つの仮想対象に対応する第1姿勢データを含む、ことと、
前記少なくとも1つの仮想対象の更新データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成することと、を含む。
本発明の実施例では、第1トリガ操作を検出すると、目標現実シーンに関連付けられた初期ARデータパケットを取得することができ、更に、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データ(例えば、少なくとも1つの仮想対象に対応する第1姿勢データを含み得る)を取得することができる。その後、更新データに基づき、初期ARデータパケットを更新して、目標現実シーンにより一致する仮想対象を取得することにより、拡張現実シーンの現実的な効果を向上させる。
第2態様によれば、本発明の実施例は、拡張現実(AR)シーンコンテンツの表示方法を提供し、前記方法は、
第2トリガ操作に応答して、前記第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得することであって、前記ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含む、ことと、
現在前記目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び前記ARデータパケット内の少なくとも1つの仮想対象に対応する前記第1姿勢データに基づいて、前記少なくとも1つの仮想対象の特殊効果提示情報を決定することと、
前記特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示することと、を含む。
本発明の実施例では、第2トリガ操作に応答して、当該第2トリガ操作に関連付けられたARデータパケットを取得することができ、更に、AR機器に対応する第2姿勢データ、及び目標現実シーンにおける事前に設定された、ARデータパケット内の仮想対象の第1姿勢データに基づいて、当該目標現実シーンにおける仮想対象の特殊効果提示情報を決定することができ、最後に、現実的な拡張現実シーンの効果をAR機器に表示する。
第3態様によれば、本発明の実施例は、拡張現実(AR)シーンコンテンツの生成装置を提供し、前記装置は、
第1トリガ操作に応答して、前記第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得するように構成される第1取得モジュールと、
前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得するように構成される第2取得モジュールであって、前記更新データは、前記少なくとも1つの仮想対象に対応する第1姿勢データを含む、第2取得モジュールと、
前記少なくとも1つの仮想対象の更新データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成するように構成される更新モジュールと、を備える。
第4態様によれば、本発明の実施例は、拡張現実(AR)シーンコンテンツの表示装置を提供し、前記装置は、
第2トリガ操作に応答して、前記第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得するように構成される取得モジュールであって、前記ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含む、取得モジュールと、
現在前記目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び前記ARデータパケット内の少なくとも1つの仮想対象に対応する前記第1姿勢データに基づいて、前記少なくとも1つの仮想対象の特殊効果提示情報を決定するように構成される決定モジュールと、
前記特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示するように構成される表示モジュールと、を備える。
第5態様によれば、本発明の実施例は、電子機器を提供し、前記電子機器は、プロセッサ、メモリ及びバスを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶され、電子機器が動作するときに、前記プロセッサと前記メモリはバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるときに、第1態様に記載のARシーンコンテンツの生成方法のステップ、又は第2態様に記載のARシーンコンテンツの表示方法のステップを実行する。
第6態様によれば、本発明の実施例は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、第1態様に記載のARシーンコンテンツの生成方法のステップ、又は第2態様に記載のARシーンコンテンツの表示方法のステップを実行する。
本発明の実施例の技術的解決策をより明確に説明するために、以下、実施例で使用する必要のある図面を簡単に紹介し、ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示し、明細書とともに本発明の技術的解決策を説明するために使用される。以下の図面は、本発明のいくつかの特定の実施例のみを示し、範囲を限定するものと見なされるべきではないことを理解されたい。当業者にとっては、創造的な作業なしに、これらの図面にしたがって他の図面を得ることもできる。
本発明の実施例に係る、ARシーンコンテンツを生成するための第1方法のフローチャートを示す。 本発明の実施例に係る、ARデータパケットダウンロードインターフェイスの概略図を示す。 本発明の実施例に係る、ARデータパケットをダウンロード及びアップロードするインターフェイスの概略図を示す。 本発明の実施例に係る位置特定のプロンプトページの概略図を示す。 本発明の実施例に係る仮想対象の姿勢データ表示ページの概略図を示す。 本発明の実施例に係る仮想対象の姿勢データ編集ページの概略図を示す。 本発明の実施例に係るインタラクションデータによって生成されたインターフェイスの概略図を示す。 本発明の実施例に係るARデータパケット保存ページの概略図を示す。 本発明の実施例に係る更新後のARデータパケットをアップロードするためのインターフェイスを示す。 本発明の実施例に係るARシーンコンテンツの表示方法のフローチャートを示す。 本発明の実施例に係る、ARシーンコンテンツを表示するときにAR機器で実行される位置特定プロンプトの概略図を示す。 本発明の実施例に係る拡張現実シーンの概略図を示す。 本発明の実施例に係る、ARシーンコンテンツを生成するための第2方法のフローチャートを示す。 本発明の実施例に係るARシーンコンテンツの表示システムの概略構造図を示す。 本発明の実施例に係る、ARシーンコンテンツを生成するための第3方法のフローチャートを示す。 本発明の実施例に係るARシーンコンテンツの生成装置の概略構造図を示す。 本発明の実施例に係るARシーンコンテンツの表示装置の概略構造図を示す。 本発明の実施例に係る電子機器の概略構造図を示す。
本発明の実施例の目的、技術的解決策および利点をより明確にするために、以下、本発明の実施例における図面を参照して、本発明の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本発明の実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載および図示されている本発明の実施例のコンポーネントは、様々な異なる構成で配置および設計することができる。したがって、図面に提供される本発明の実施例の以下の詳細な説明は、本発明の保護範囲を制限するものではなく、本発明の特定の実施例を示すものに過ぎない。本発明の実施例に基づき、創造的な努力なしに当業者が取得した他のすべての実施例は、本発明の保護範囲に含まれる。
なお、以下の図面では、類似の参照番号および文字は類似のアイテムを示すため、特定のアイテムが1つの図面で定義されると、後続の図面でそれをさらに定義して説明する必要はない。
本明細書における「及び/又は」という用語は、単なる関連付け関係を説明するものであり、3種類の関係が存在することができることを示し、例えば、A及び/又はBは、Aが独立で存在する場合、AとBが同時に存在する場合、Bが独立で存在する場合など3つの場合を表す。さらに、本明細書における「少なくとも1つ」という用語は、複数のうちの1つまたは複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、BおよびCで構成されたセットから選択された任意の1つまたは複数の要素を含むことを示す。
拡張現実(AR:Augmented Reality)技術は、AR機器に適用されることができ、AR機器は、AR機能をサポートできる任意の電子機器であり得、当該電子機器は、ARメガネ、タブレットコンピュータ、スマートフォンなどを含むが、これらに限定されない。AR機器が現実シーンで操作される場合、当該AR機器を介して現実シーンに重ね合わせた仮想対象を見ることができる。例えば、いくつかの建物や観光スポットを通り過ぎるとき、AR機器を介して、建物や観光スポットの近くに重ね合わせて表示される紹介用の仮想グラフィックを見ることができ、ここでの仮想グラフィックは、仮想対象と称することができ、建物や観光スポットは、実際のシーンであり得る。このシーンでは、ARメガネを介して見られる紹介用の仮想グラフィックは、ARメガネの向きの角度によって変化し、ここで、紹介用の仮想グラフィックは、ARメガネの位置に関連する。しかしながら、別のシーンでは、仮想と現実を組み合わせた、より現実的な拡張現実シーン、例えば、実際のテーブルに配置された仮想植木鉢、実際の学校の運動場に重ね合わされた仮想木などを見たい場合、拡張現実シーンでの仮想対象の提示効果を実現するために、仮想植木鉢及び仮想木を現実シーンとより適切に融合する方法を検討する必要がある。当該提示効果をどのように実現するかは、本発明の実施例で論議すべき内容であり、以下の特定の実施例と組み合わせて以下で説明する。
本実施例の理解を容易にするために、先ず、本発明の実施例に係るARシーンコンテンツの生成方法を詳細に紹介する。本発明の実施例に係るARシーンコンテンツの生成方法の実行主体は上記のAR機器(例えば、ARメガネ、タブレットコンピュータ、スマートフォン、インテリジェントウェアラブルデバイスなど、表示機能及びデータ処理能力を備えた機器を含み得るが、本発明の実施例はこれに対して特に限定しない)であり得る。いくつかの可能な実施形態において、当該ARシーンコンテンツの生成方法は、プロセッサがメモリに記憶されているコンピュータ可読指令を呼び出すことによって実現されることができる。
図1は、本発明の実施例に係るARシーンコンテンツの生成方法のフローチャートであり、当該生成方法は、ステップS101~S103を含む。
ステップS101において、第1トリガ操作に応答して、第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得する。
例示的に、第1トリガ操作は、目標現実シーンに関連付けられた任意の初期ARデータパケットに対応する編集オプションのトリガ操作であり得、トリガ操作は、例えば、編集オプションを選択する操作であるか、又は、音声やジェスチャーで直接トリガする操作であり、本発明は、これに対して特に限定しない。
図2aに示されたように、図2aは、「XXXビル-15階」及び他の現実シーンにそれぞれ関連付けられたARデータパケットの概略図であり、「XXXビル-15階」に対応する任意のARデータパケットの編集オプションがトリガされたこを検出した場合、例えば、「[例]サイエンスフィクション」カテゴリの初期ARデータパケットの編集オプションがトリガされたことを検出した場合、目標現実シーンの「XXXビル-15階」に関連付けられた「[例]サイエンスフィクション」カテゴリの初期ARデータパケットを取得するようにサーバに要求することができる。
ここで、目標現実シーンに関連付けられた初期ARデータパケットの数は少なくとも1つであってもよく、異なる初期ARデータパケットは、異なるARシーンのカテゴリに対応することができる。例示的に、各初期ARデータパケットはラベル情報を含み得、当該ラベル情報は、当該初期ARデータパケットのカテゴリ(例えば、「サイエンスフィクションカテゴリ」、「アニメカテゴリ」及び「歴史カテゴリ」のうちの1つ又は複数を含み得る)を表すために使用され、各カテゴリは、ARシーンで表示される仮想対象のスタイルを表すために使用され、ここで、各初期ARデータパケットは、事前に設定された仮想対象を含んでもよいし、仮想対象を含まなくてもい。
例示的に、目標現実シーンは、建物の屋内シーン、又は街路シーンであってもよいし、仮想対象を重ね合わせることができる任意の目標現実シーンであってもよい。
ステップS102において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得し、更新データは、少なくとも1つの仮想対象に対応する第1姿勢データを含む。
ここで、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象は、初期ARデータパケットにローカルに含まれている仮想対象を含んでもよいし、ネットワークを介してダウンロードされた仮想対象を含んでもよいし、事前に確立された素材ライブラリから取得された仮想対象を含んでもよい。ここで、素材ライブラリは、ローカルに設定されてもよいし、クラウドに設定されてもよく、本発明は、これに対して特に限定しない。
例示的に、仮想対象は、上記の仮想植木鉢、仮想木などの静的仮想モデルであってもよいし、仮想ビデオ及び仮想動画などのいくつかの動的仮想対象であってもよく、仮想対象の第1姿勢データは、提示されるときの仮想対象の位置及び/又は姿勢を表すことができるデータ(例えば、目標現実シーンに対応する座標系における仮想対象の位置座標、偏向角度及びサイズ情報など)を含むが、これらに限定されない。
ステップS103において、少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成する。
いくつかの実施例において、取得された更新データに基づき、初期ARデータパケット内の仮想対象に関するコンテンツを更新して、更新後のARデータパケットを取得することができる。ここで、更新方式は、更新データを初期ARデータパケットに直接に追加すること、又は、初期ARデータパケット内の元のデータの一部を置き替えて、更新後のARデータパケットを取得することであり得、当該更新後のARデータパケットは、上記の初期ARデータパケットに関連付けられた仮想対象、及び少なくとも1つの仮想対象の更新データを含む。
取得された更新後のARデータパケットは、AR機器が目標現実シーンを撮影するときに、更新後のARデータパケットに従って、目標現実シーンに融合された仮想対象を表示するために使用できる。
本発明の実施例では、第1トリガ操作を検出すると、目標現実シーンに関連付けられた初期ARデータパケットを取得することができ、更に、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データ(例えば、少なくとも1つの仮想対象に対応する第1姿勢データを含み得る)を取得することができる。その後、更新データに基づき、初期ARデータパケットを更新して、目標現実シーンにより一致する仮想対象を取得することにより、拡張現実シーンの現実的な効果を向上させる。
以下では、特定の実施例と組み合わせて、上記のステップS101~S103を具体的に説明する。
一実施形態において、本発明の実施例に係る生成方法は、AR生成端末に適用することができ、当該ARシーンコンテンツの生成方法は、
第1トリガ操作によって指示された目標現実シーンの3次元シーンモデルを取得することを更に含む。
例示的に、AR生成端末は、コンピュータ、ノートブック、タブレットなどの機器であり得、これらの機器に、ARシーンコンテンツを生成及び編集するためのアプリケーションがインストールされているか、又はこれらの機器は、ARシーンコンテンツを生成及び編集するためのWEBページにアクセスすることができる。ユーザは、アプリケーション又はWEBページでARシーンコンテンツをリモートで編集することができ、例えば、目標現実シーンを表す3次元シーンモデルにより目標現実シーンをシミュレートして、表示される仮想対象の関連データを3次元シーンモデルで直接構成することができ構成のために目標現実シーンに行かなくても、ARシーンコンテンツを生成することができる。
いくつかの実施例において、AR生成端末の表示インターフェイスは、複数の現実シーンに対応する編集オプションを表示することができ、任意の編集オプションがトリガされたことを検出した場合、トリガされた編集オプションに対応する現実シーンを目標現実シーンとして使用することができる。目標現実シーンの編集オプションがトリガされた場合、当該目標現実シーンの3次元シーンモデルを取得し、表示される仮想対象を当該目標現実シーンモデルの3次元シーンモデルに追加することができる。又は、AR生成端末の表示インターフェイスにマップを表示することができ、当該マップには、複数の興味のあるポイント(POI:Point Of Interest)が設定されており、各POI点は、1つの現実シーンに対応することができ、ユーザが任意の現実シーンのPOIをクリックした場合、AR生成端末も当該目標現実シーンに対する編集オプションがトリガされたことを検出し、目標現実シーンを示す3次元シーンモデル、及び目標現実シーンに関連付けられた初期拡張現実(AR)データパケットを取得することができ、これにより、後続で当該目標現実シーンモデルの3次元シーンモデルに表示される仮想対象を追加することができる。
例示的に、目標現実シーンを表す3次元シーンモデルと当該目標現実シーンは、同じ座標系で同じ比率で提示される。例えば、目標現実シーンが街路及び街路の両側の建物を含む場合、当該目標現実シーンを表す3次元シーンモデルも当該街路のモデル及びこの街路の両側の建物を含み、3次元シーンモデルと目標現実シーンは、同じ座標系で、1:1などの比率で提示されてもよいし、同じ比率で提示されてもよい。
図2bに示されたように、ARシーンコンテンツを表示する編集ページを表示し、編集インターフェイスの「体験パッケージリストを更新」オプションがトリガされたことを検出した場合、複数の現実シーン(「XXXビル-15階」シーンなどを含み得る)を取得することができる。編集インターフェイスの「シーンをダウンロード」がトリガされたことを検出した場合、目標現実シーンに対する第1トリガ操作を検出したと見なすことができ、当該目標現実シーンを示す3次元シーンモデル、及び当該目標現実シーンに関連付けられた初期ARデータパケットを取得することができ、例えば、ラベル情報が「クリスマス」及び「元旦」である2つの初期AR体験パッケージを取得することができる。
図2bから分かるように、上記の目標現実シーンに関連付けられた初期AR体験パッケージ(初期ARデータパケット)「クリスマス」のカテゴリラベルは、「サイエンスフィクション」及び「自然」というラベルを更に含み、これは、作成された仮想対象がサイエンスフィクションカテゴリに属する仮想対象、及び自然カテゴリに属する仮想対象であり得ることを示す。もちろん、後編集するときに、アップロードされた仮想対象のカテゴリに基づいて、ARデータパケットのカテゴリを変更することができる。
さらに、上記のS102において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、次のステップを含む。
ステップS1021において、ロードされた3次元シーンモデルを表示する。
ステップS1022において、少なくとも1つの仮想対象が3次元シーンモデルに配置されたときの更新データを取得し、更新データは、3次元シーンモデルに配置された少なくとも1つの仮想対象の第1姿勢データを含む。
例示的に、3次元シーンモデルに配置された仮想対象の第1姿勢データは、当該3次元シーンモデルの座標系における当該仮想対象の位置座標、偏向角度及びサイズ情報を含み、ここで、偏向角度は、仮想対象の指定正方向と3次元シーンモデル座標系の座標軸との間の角度で表すことができる。
例示的に、3次元シーンモデルと目標現実シーンは、同じ座標系で1:1の比率で提示され、異なる座標系では同じ比率で提示されることができるため、3次元シーンモデルで提示される仮想対象の第1姿勢データを取得して、後続にAR機器で提示するとき、目標現実シーンにおける仮想対象の特殊効果提示情報を示すことができる。
ここで、ユーザによって、AR生成端末に表示された編集ページでユーザが入力した編集操作を検出することにより、当該編集操作で編集されたコンテンツを取得し、当該編集操作で編集されたコンテンツを更新データとして使用することができる。例えば、3次元シーンモデルの概略図及び仮想対象に関する姿勢データ編集バーを編集ページに提示することができ、ユーザは、仮想対象の姿勢データ編集バーで、3次元シーンモデルにおける仮想対象の第1姿勢データを編集することができ、編集を完了した後、AR生成端末は、3次元シーンモデルにおける仮想対象の第1姿勢データを取得することができる。
さらに、3次元シーンモデルにおける仮想対象の第1姿勢データに基づいて、目標現実シーンで表示されるときの仮想対象の第1姿勢データを決定し、当該第1姿勢データに従って目標現実シーンで表示するときに、仮想対象が目標現実シーンとよりよく融合するようにし、このようにして、現実的な拡張現実シーン効果をAR機器に表示することができる。
本発明の実施例では、当該目標現実シーンに関連付けられた3次元シーンモデル及び初期ARデータパケットをユーザに提供することができるため、ユーザは、自分のニーズに応じて、3次元シーンモデルを介して、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を直感的に編集及び更新することができ、この方式により、更新後のARデータパケットを取得し、拡張現実体験者が、目標現実シーンで拡張現実を体験するときに、更新後のARデータパケットを直接に呼び出して拡張現実を体験することができる。本発明で提供されるARデータパケットをリモートに編集する方式により、ARデータパケットの生成方式を簡素化し、後続の拡張現実シーンを表示するための便利なAR素材を提供することができる。
さらに、仮想対象の第1姿勢データを編集するための3次元シーンモデルを提供することができるため、ユーザは、3次元シーンにおける仮想対象の第1姿勢データを直感的に編集することができ、それにより、ユーザのニーズに応じて、仮想対象の第1姿勢データを個別に設定することができる。
別の実施形態において、本発明の実施例に係るARシーンコンテンツの生成方法は、ARシーンの体験中に実行でき、例えば、ARシーンを表示するAR機器に適用されることもでき、当該方法は、
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び初期ARデータパケットに基づいて、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示することを更に含む。
例示的に、AR機器には、ARシーンコンテンツを表示及び編集するためのアプリケーションがインストールされることができ、ユーザは、AR機器で当該アプリケーションを開き、拡張現実シーンでARシーンコンテンツを編集することができる。当該アプリケーションを開いた後、AR機器の表示インターフェイスは、少なくとも1つの現実シーンに対応する編集オプションを表示でき、各現実シーンは、複数の初期ARデータパケットに関連付けられ、各初期ARデータパケットは対応する編集オプションを有し、これらの初期ARデータパケットをオンラインで編集することができる。
いくつかの実施例において、AR機器の表示インターフェイスは、複数の現実シーンにそれぞれ対応する初期ARデータパケットを表示することができ、任意の初期ARデータパケットの編集オプションがトリガされたことを検出した後、トリガされた編集オプションに対応する初期ARデータパケットを、上記の目標現実シーンに関連付けられたARデータパケットとして使用することができる。
仮想対象を表示する前に、先ず、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データを取得し、その後、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データに基づいて、当該AR機器に表示する必要がある仮想対象を決定することができる。ここから分かるように、本発明の実施例は、拡張現実シーンを体験する過程でARシーンコンテンツを編集する技術的解決策を提供する。
例示的に、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データは、仮想対象を表示するための表示コンポーネントの位置及び/又は表示角度を含み得、AR機器に対応する第2姿勢データの解釈を容易にするために、ここでは、座標系の概念を導入する。例えば、目標現実シーンが位置する世界座標系を例にとると、AR機器に対応する第2姿勢データは、当該世界座標系におけるAR機器の表示コンポーネントの座標位置、AR機器の表示コンポーネントと世界座標系の各座標軸との間の角度、世界座標系におけるAR機器の表示コンポーネントの座標位置及び世界座標の各座標軸間の角度のうちの少なくとも1つを含むが、これらに限定されない。
ここで、AR機器の表示コンポーネントとは、具体的には、AR機器の仮想対象を表示するためのコンポーネントを指し、例示的に、AR機器が携帯電話又はタブレットである場合、対応する表示コンポーネントはディスプレイスクリーンであり得、AR機器がARメガネである場合、対応する表示コンポーネントは、仮想対象を表示するためのレンズであり得る。
AR機器に対応する第2姿勢データは、様々な方法により取得することができる。例えば、AR機器が姿勢センサを備えている場合、AR機器の姿勢センサによりAR機器の第2姿勢データを決定することができ、AR機器がカメラなどの画像収集コンポーネントを備えている場合、カメラによって収集された目標現実シーン画像により当該第2姿勢データを決定することができる。
例示的に、姿勢センサは、AR機器の撮影角度を決定するための角速度センサ(例えば、ジャイロスコープ、慣性測定ユニット(IMU:Inertial measurement unit)など)を含んでもよいし、AR機器の撮影位置を決定するためのポジショニングコンポーネント(全地球測位システム(GPS:Global Positioning System)、グローバルナビゲーション衛星システム(GLONASS:Global Navigation Satellite System)、WiFi(登録商標)位置測定技術のポジショニングコンポーネントなど)を含んでもよいし、AR機器の撮影角度を決定するための角速度センサ及びAR機器の撮影位置を決定するためのポジショニングコンポーネントを同時に含んでもよい。
具体的に、AR機器によって撮影された目標現実シーン画像を介して当該AR機器に対応する第2姿勢データを決定する場合、当該目標現実シーン画像及び事前に記憶されている、位置を特定するための第1ニューラルネットワークを介して、当該AR機器に対応する第2姿勢データを決定することができる。
例示的に、第1ニューラルネットワークは、目標現実シーンを事前に撮影することにより取得された複数枚のサンプル画像、及び各サンプル画像を撮影するときの対応する第2姿勢データに基づいてトレーニングすることにより取得することができる。
AR機器によって撮影された目標現実シーン画像に基づいてAR機器に対応する第2姿勢データを決定する場合、図3に示されたように、編集状態に入り、位置特定を始めたことをユーザにプロンプトするための情報をAR機器に表示し、例えば、位置を特定するための目標現実シーン画像を撮影するようにユーザにプロンプトするための情報を表示する。
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データを取得した場合、当該AR機器に対応する第2姿勢データ、及び当該目標現実シーンにおける、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の初期第1姿勢データに基づいて、当該少なくとも1つの仮想対象を表示することができ、当該仮想対象を表示すると同時に、当該少なくとも1つの仮想対象の姿勢データ表示インターフェイスを表示することもできる。図4に示されたように、図4は、仮想対象である「唐三彩馬」の表示と、当該表示領域内の仮想対象の姿勢データ表示インターフェイスの概略図であり、当該姿勢データ表示インターフェイスには、目標現実シーンにおける、仮想対象である「唐三彩馬」の初期第1姿勢データ(主に、目標現実シーンにおける当該「唐三彩馬」の座標情報を含む)を表示する。
例示的に、図4の左側に示されている姿勢データ表示インターフェイスは、目標現実シーンが位置する座標系におけるAR機器の表示コンポーネントの座標情報を示すことができる「私のマップ座標」を含み、モデルリストは、当該目標現実シーンにおける複数の仮想対象の座標情報、例えば、目標現実シーンにおける仮想対象である「唐三彩馬」及び「石獅子」の座標情報を含み、さらに、他の仮想対象、及び当該目標現実シーンにおける他の仮想対象の座標情報を追加することもできる。
さらに、上記のS102において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
表示された少なくとも1つの仮想対象の更新データを取得することを含み、更新データは、目標現実シーンにおける少なくとも1つの仮想対象の第1姿勢データを含む。
ここで、AR機器に表示された姿勢データ編集ページでユーザによって入力された編集操作を検出することにより、当該編集操作によって編集されたコンテンツを取得し、当該編集操作によって編集されたコンテンツを更新データとして使用することができる。例えば、姿勢データ編集ページにおいて、仮想対象に関する姿勢データ編集バーをAR機器に表示することができる。図5に示されたように、ユーザは、仮想対象の姿勢データ編集バーで目標現実シーンにおける仮想対象の第1姿勢データを編集することができ、例示的に、仮想対象の姿勢データの編集は、目標現実シーンが位置する世界座標系で完了ため、編集が完了した後、AR機器は、目標現実シーンにおける仮想対象の第1姿勢データを取得することができる。
例示的に、図5の左側には、目標現実シーンにおける、現在表示されている仮想対象である「唐三彩馬」の座標情報、及び当該目標現実シーンにおける仮想対象のインタラクションデータを表示し、インタラクションデータについては後で説明する。図5の右側には、目標現実シーンにおける現在表示されている仮想対象の第1姿勢データを編集するインターフェイスを表示し、当該インターフェイスでは、目標現実シーンが位置する座標系における仮想対象の座標情報、及び当該仮想対象のサイズ比率、及び当該仮想対象と座標系の3つの座標軸との間の角度を編集することができる。
本発明の実施例では、AR機器に対応する第2姿データを取得した後、当該AR機器に対応する第2姿勢データに基づいて、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示することができるため、ユーザは、ニーズに応じてAR機器で目標現実シーンにおける仮想対象の第1姿勢データを直感的に編集及び調整することができ、それにより、ARシーンコンテンツの生成プロセスを簡素化することができ、この方式は、拡張現実シーンの体験中のARデータパケットを直感的に調整することができるため、調整後のARデータパケットの精度を向上させることができる。
一実施形態において、上記の表示された少なくとも1つの仮想対象の更新データを取得することは、
姿勢データ編集インターフェイスを表示し、姿勢データ編集インターフェイスを介して受信された少なくとも1つの仮想対象の第1姿勢データを取得することを含み、
ここで、第1姿勢データは、目標現実シーンが位置する座標系における仮想対象の位置座標、偏向角度及びサイズ情報のうちの少なくとも1つを含む。
例示的に、AR機器に表示される姿勢データ編集ページを介して、目標現実シーンに表示された少なくとも1つの仮想対象の位置座標、偏向角度及びサイズ情報に対する編集操作を取得し、それにより、当該目標現実シーンにおける少なくとも1つの仮想対象の第1姿勢データを取得することができる。
例示的に、図5を参照すると、図5は、仮想対象である「唐三彩馬」の姿勢データ編集インターフェイスであり、具体的には、当該姿勢データ編集インターフェイスは、目標現実シーンにおける「唐三彩馬」の位置座標に対する編集、目標現実シーンにおける「唐三彩馬」のサイズ情報に対する編集、及び目標現実シーンが位置する世界座標系の座標軸に沿った「唐三彩馬」の偏向角度に対する編集を含み得る。
本発明の実施例では、拡張現実シーンにおいて、仮想対象の第1姿勢データを編集するための表示姿勢データ編集インターフェイスを提供するので、ユーザは、目標現実シーンにおける仮想対象の第1姿勢データを直感的に調整することができ、それにより、ユーザのニーズに応じて、仮想対象の第1姿勢データを個別に設定することができる。
別の実施形態において、上記の更新データは、目標現実シーンにおける少なくとも1つの仮想対象の第1姿勢データに加えて、目標現実シーンに表示された少なくとも1つの仮想対象のインタラクションデータ、又は、目標現実シーンを表す3次元シーンモデルにおける少なくとも1つの仮想対象のインタラクションデータを含むこともできる。本発明の実施例に係る更新データは、少なくとも1つの仮想対象に対応するインタラクションデータを更に含み、上記のステップS102において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
インタラクションデータ編集インターフェイスを表示し、前記インタラクションデータ編集インターフェイスを介してそれぞれ受信された各仮想対象のインタラクションデータを取得することを含み、
ここで、前記インタラクションデータは、少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数のうちの少なくとも1つを含む。
例示的に、AR機器に表示されるインタラクションデータ編集インターフェイス、又はAR生成端末に表示されるインタラクションデータ編集インターフェイスで、少なくとも1つの仮想対象のインタラクションデータに対する編集操作を取得することができ、即ち、目標現実シーンでインタラクションデータを編集することができか、または目標現実シーンを表す3次元シーンモデルでインタラクションデータをリモートに編集することができ、それにより、少なくとも1つの仮想対象に対する少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数のうちの少なくとも1つを取得することができる。
例示的に、取得された任意の仮想対象に対するインタラクションデータに基づき、後続では、仮想対象の状態トリガ条件に基づき、当該仮想対象は、当該状態トリガ条件に対応する提示状態に従って提示されるようにトリガされ、及び/又は、当該仮想対象は、当該状態トリガ条件により表示がトリガされた後の繰り返し表示回数に従って表示されるようにトリガされることができる。
図6に示されたように、図6(a)に示された「トリガ条件を作成」ボタンをトリガすると、図6(b)に示されたインタラクションデータ編集インターフェイス(具体的には、仮想動画のインタラクションデータを編集するインターフェイスを指す)表示し、当該インタラクションデータ編集インターフェイスは、少なくとも1つの仮想対象の状態トリガ条件、当該状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数に関する編集領域を含み得る。
例示的に、状態トリガ条件に対応する編集領域を介して、仮想対象に対する状態トリガ条件の編集操作を取得し、それにより、当該仮想対象に対応する状態トリガ条件を取得することができ、その後、AR機器は、当該状態トリガ条件を取得した後に、当該仮想対象を目標現実シーンに表示することができる。
例示的に、状態を提示する編集領域により、仮想対象がトリガされた後に表示されるかどうかを編集することができ、図6(b)に示されたように、「モデル表示」に対応するボタンが選択状態にあることは、現在の仮想動画に対応するトリガ条件1がトリガされた後、現在の仮想動画が表示されることを示し、「モデル表示」に対応するボタンが未選択状態にあることは、現在の仮想動画に対応するトリガ条件1がトリガされた後、現在の仮想動画が表示されないことを示す。
例示的に、繰り返し表示回数に対応する編集領域を介して、表示された後の仮想対象の繰り返し表示回数に対する編集操作を取得することができ、例えば、取得された表示回数がn回である場合、トリガ条件1がトリガされた後、現在の仮想動画をn回繰り返して表示する。
特に、インタラクションデータが複数の状態トリガ条件を含む場合、インタラクションデータは、各状態トリガ条件の優先度を更に含む。
例示的に、AR機器に表示されたインタラクションデータ編集インターフェイスでインタラクションデータを編集する場合、図5に示されたページに表示することができ、例えば、目標現実シーンが位置する座標系における、現在表示されている仮想対象である「唐三彩馬」の座標情報、及び当該仮想対象である「唐三彩馬」に対応するインタラクションデータ(図5に未図示)(トリガ条件、表示状態、繰り返し表示するかどうか、優先度などを含む)を図5の左側に表示することができる。
例示的に、インタラクションデータが複数の状態トリガ条件を含むことは、具体的には、初期ARデータパケットに関連付けられた仮想対象が複数であることを示し、各仮想対象が1つの状態トリガ条件に対応する場合、各仮想対象に対応する状態トリガ条件の優先度を設定でき、その後、AR機器が複数の状態トリガ条件を同時に取得した場合、最も高い優先度を有する状態トリガ条件に対応する仮想対象をトリガし、当該仮想対象に対応する状態トリガ条件に対応する提示状態、及び/又は、表示するようにトリガされた後の当該仮想対象の繰り返し表示回数を表示するすることができる。
ここでの状態トリガ条件は、
クリックモデルトリガ条件、スライドモデルトリガ条件、距離認識トリガ条件、指定領域トリガ条件、ジェスチャー認識トリガ条件、現在のモデル向きトリガ条件及び指定モデル向きトリガ条件のうちの少なくとも1つを含み得るが、これらに限定されない。
以下、仮想対象Aと組み合わせてこれらの状態トリガ条件の意味について説明する。
ここで、(1)クリックモデルトリガ条件とは、AR機器に表示される仮想対象Aの3次元モデルをクリックすることにより、AR機器に当該仮想対象Aを表示する状態トリガ条件をトリガすることを指し、例示的に、AR機器は、表示される仮想対象の3次元モデルを表示することができ、当該3次元モデルに対するクリック操作を検出した後、当該3次元モデルに対応する仮想対象を表示することができる。
(2)スライドモデルトリガ条件とは、AR機器において、設定方式に応じて仮想対象Aの3次元モデルをスライドすることによりトリガされる、当該仮想対象Aに対する状態トリガ条件を指し、例示的に、AR機器において、仮想対象Aの3次元モデルを左から右へスライドすることにより仮想対象Aの表示をトリガし、AR機器において、仮想対象Aの3次元モデルを右から左へスライドすることにより仮想対象Aの非表示をトリガするように設定することができる。
(3)距離トリガ条件とは、AR機器の位置座標と設定された位置点との間の距離が、設定された距離を満たす場合にトリガされる、当該仮想対象Aに対する状態トリガ条件を指す。
(4)指定領域トリガ条件とは、AR機器が指定領域に入るときにトリガされる、仮想対象Aに対する状態トリガ条件を指す。
(5)ジェスチャー認識トリガ条件とは、設定されたジェスチャーによりトリガされる、仮想対象Aに対する状態トリガ条件を指す。
(6)現在のモデル向きトリガ条件とは、AR機器の撮影角度が仮想対象Aの位置に向かっているときにトリガされる、当該仮想対象Aに対する状態トリガ条件を指す。
(7)指定モデル向きトリガ条件とは、AR機器が特定の仮想対象の位置に向かっているときにトリガされる、仮想対象Aに対する状態トリガ条件を指す。
ARデータパケットが複数の仮想対象を含み、各仮想対象が1つの状態トリガ条件に対応する場合、これらの状態トリガ条件に対してトリガ論理チェーンを形成することができる。例えば、ARデータパケットは3つの仮想対象を含み、最初の仮想対象、2番目の仮想対象及び3番目の仮想対象のそれぞれに対応する状態トリガ条件を、それぞれ、状態トリガ条件1、状態トリガ条件2及び状態トリガ条件3に記録し、状態トリガ条件1、状態トリガ条件2及び状態トリガ条件3がトリガ論理チェーンを形成する場合、例えば、形成されたトリガ論理チェーンの順序が状態トリガ条件1、状態トリガ条件2及び状態トリガ条件3である場合、ユーザが状態トリガ条件1、状態トリガ条件2及び状態トリガ条件3を順次にトリガすると、仮想対象1、仮想対象2及び仮想対象3を順次に表示することができる。
本発明の実施例では、仮想対象のトリガ方式及び表示形式の編集をサポートするために、仮想対象のインタラクションデータを編集するインタラクションデータ編集インターフェイスを提供することができる。
一実施形態において、本発明の実施例に係るARシーンコンテンツの生成方法は、
初期ARデータパケットに関連付けられた少なくとも1つの仮想物体モデルに対応する第3姿勢データを取得することを更に含み、少なくとも1つの仮想物体モデルは、目標現実シーン内の目標物体を表し、
少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成することは、
少なくとも1つの仮想対象の更新データ、及び仮想物体モデルに対応する第3姿勢データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成することを含む。
例示的に、仮想物体モデルに対応する第3姿勢データは、目標現実シーンで提示されているときの仮想物体モデルの位置及び/又は姿勢を示すことができるデータ、又は3次元シーンモデルにおける仮想物体モデルの位置及び/又は姿勢を示すことができるデータを含み得るが、これらに限定されない。仮想物体モデルに対応する第3姿勢データは、例えば、目標現実シーン又は3次元シーンモデルが位置する座標系における仮想物体モデルの位置座標、偏向角度及びサイズ情報を含み得る。
具体的には、目標現実シーン又は3次元シーンモデルにおける仮想物体モデルの第3姿勢データは、目標現実シーンにおける、当該仮想物体モデルに対応する目標物理オブジェクトの第3姿勢データを示すことができ、さらに、AR機器に表示される仮想物体モデルの表示形態を編集し(例えば、AR機器における仮想物体モデルの表示形態を遮蔽形態に編集する)、AR機器に提示されるときに透明度処理を実行することもでき、当該仮想物体モデルは、遮蔽する必要のある仮想対象を遮蔽するために使用されることができ、例えば、仮想対象を表示する場合、遮蔽する必要のある仮想対象の部分領域をレンダリングすることなく、仮想物体モデルを介して、遮蔽された領域の一部に対して透明度処理を実行することにより、遮蔽効果を達成することができる。
本発明の実施例では、遮蔽効果を提示するための仮想物体モデルを編集することができ、仮想物体モデルに対応する第3姿勢データを編集することにより、目標現実シーンにおける仮想物体モデルの実際の第3姿勢データを復元することができるので、後続でAR機器が仮想対象を表示するとき、より現実的な表示効果を提供することができる。
一実施形態において、少なくとも1つの仮想対象は、少なくとも1つの第1仮想対象を含み、上記のステップS102において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
初期ARデータパケットに含まれた少なくとも1つの第1仮想対象の更新データを取得することを含む。
初期ARデータパケットが仮想対象を含む場合、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することとは、初期ARデータパケットに含まれた少なくとも1つの第1仮想対象の更新データを取得することであり得る。
別の実施形態において、少なくとも1つの仮想対象は、少なくとも1つの第2仮想対象を含み、上記のステップS102において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
事前に確立された素材ライブラリから、初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を取得し、少なくとも1つの第2仮想対象の更新データを取得することを含む。
初期ARデータパケットが仮想対象を含むか、又は仮想対象を含まない場合、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、事前に確立された素材ライブラリから、初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を取得し、少なくとも1つの第2仮想対象の更新データを取得することを含み得る。
別の実施形態において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得する場合、初期ARデータパケットに含まれた少なくとも1つの第1仮想対象の更新データを取得すると同時に、事前に確立された素材ライブラリから、当該初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象の更新データを取得することができる。
例示的に、事前に確立された素材ライブラリは、様々な仮想静的モデル、動画及びビデオなどの仮想対象を含み得、ユーザは、事前に確立された素材ライブラリから、当該初期ARデータパケットにアップロードする仮想対象を選択することができる。
例示的に、第2仮想対象は、第1仮想対象と同じであっても、異なっていてもよく、第1仮想対象及び/又は第2仮想対象の更新データに基づいて、初期ARデータパケットを更新することができる。
本発明の実施例では、様々な方式により、初期ARデータパケットに関連付けられた仮想対象及び当該仮想対象の更新データを取得することができ、仮想対象の更新データを柔軟に取得することができる。
これに対応して、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示することは、
初期ARデータパケット内の少なくとも1つの第1仮想対象を表示すること、及び/又は、事前に確立された素材ライブラリから、取得された初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を表示することを含み得る。
上記のように、初期ARデータパケットは、仮想対象を含んでもよいし、仮想対象を含まなくてもよく、初期ARデータパケットが仮想対象を含む場合、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示することは、初期ARデータパケットに含まれた少なくとも1つの第1仮想対象を表示することであってもよいし、事前に確立された素材ライブラリから、取得された当該初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を表示することであってもよいし、初期ARデータパケットに含まれた少なくとも1つの第1仮想対象と、事前に確立された素材ライブラリから取得された当該初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を同時に表示することであってもよい。
さらに、更新後のARデータパケットが生成された後、本発明の実施例に係るARシーンコンテンツの生成方法は、
更新後のARデータパケットをサーバに送信すること、又は、更新後のARデータパケット及び更新後のARデータパケットが有効になっているかどうかを指示する状態情報をサーバに送信することを更に含む。
例示的に、図7に示されたように、初期ARデータパケットの編集を完了して、更新後のARデータパケットを取得した後、「保存」ボタンをクリックすることができる。例えば、AR機器は、ユーザによってトリガされた保存操作を検出し、保存に成功した後、当該更新後のARデータパケットをサーバに送信することができる。
例示的に、更新後のARデータパケットが有効になっているかどうかを指示する状態情報は、図2aに表示されたインターフェイスで設定することができ、各ARデータパケットの下には、「有効にする」ボタン(図2a未図示)が設定でき、当該ARデータパケットの下にある「有効にする」ボタンがトリガされることは、当該ARデータパケットに対応する更新後のARデータパケットがサーバにアップロードされた後、それをAR機器でダウンロードして体験できることを意味する。
本発明の実施例では、生成された更新後のARデータパケットをサーバにアップロードして、他のユーザによってダウンロードして使用できるようにすることができ、例示的に、他のAR機器によってダウンロードして編集することができ、さらに、AR機器でARデータパケットをダウンロードして体験することができる。
別の実施形態において、更新後のARデータパケットを生成した後、本発明の実施例に係るARシーンコンテンツの生成方法は、
更新後のARデータパケットに対するアップロードトリガ操作に応答して、更新後のARデータパケットのラベル情報を取得し、更新後のARデータパケット及びラベル情報をサーバに送信することを更に含む。
例示的に、初期ARデータパケットを編集して、更新後のARデータパケットを取得した後、更新後のデータパケットをサーバに送信することができる。図8に示されたように、取得された目標現実シーンに関連付けられたARデータパケットは複数であり得、ユーザは、図8(a)に示されたページの「体験パッケージをアップロード」ボタンをトリガした後、ユーザがアップロードしようとする目標更新後のARデータパケットを決定するために、図8(b)に示されたページを表示することができ、ユーザは、当該ページで、アップロードする目標更新後のARデータパケットに対応するラベル情報を入力することができる。
例示的に、ラベル情報は、目標現実シーンの名称、ビルドの名称、体験パッケージの名称、テーマ、備考などの情報を含み得、ラベル情報を入力することは、アップロードされる更新後のARデータパケットを決定するのに便利である一方、サーバは、当該ラベル情報に基づいて、アップロードする必要のある更新後のARデータパケットを保存するのに便利であり、これにより、AR機器側のユーザがAR機器でARデータパケットをダウンロードして体験することが容易になる。
本発明の実施例では、生成された更新後のARデータパケットをサーバにアップロードして、他のユーザによってダウンロードして使用できるようにすることができ、例示的に、他のAR生成端末によってダウンロードして編集することができ、さらに、AR機器でARデータパケットをダウンロードして体験することができる。
例示的に、更新後のARデータパケット及びラベル情報をサーバに送信することは、
更新後のARデータパケット、ラベル情報及び更新後のARデータパケットが有効になっているかどうかを指示する状態情報をサーバに送信することを含み、
ここで、有効状態にあるARデータパケットが使用可能である。
例示的に、更新後のARデータパケットが有効になっているかどうかを指示する状態情報は、図8(a)に示されるインターフェイスで設定することができ、各ARデータパケットの下には、「有効にする」ボタンが設定され、当該ARデータパケットの下にある「有効にする」ボタンがトリガされることは、当該ARデータパケットに対応する更新後のARデータパケットがサーバにアップロードされた後、それをAR機器でダウンロードして体験できることを意味する。
以下では、ARシーンコンテンツの表示プロセスを紹介し、当該表示プロセスは、AR機器に適用されることができ、当該AR機器は、ARデータパケットを生成するための上記のAR機器と同じであっても、異なっていてもよく、ここでは特に限定しない。図9に示されたように、前記プロセスは、ステップS201~S203を含む。
ステップS201において、第2トリガ操作に応答して、第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得し、ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含む。
例示的に、AR機器は、ARメガネ、タブレットコンピュータ、スマートフォン、インテリジェントウェアラブルデバイスなど、表示機能及びデータ処理能力を備えた機器を含み得るが、これらに限定されない。これらのAR機器には、ARシーンコンテンツを表示するためのアプリケーションがインストールされることができ、ユーザは、当該アプリケーションでARシーンコンテンツを体験することができる。
AR機器がARシーンコンテンツを表示するためのアプリケーションを開いた後、当該AR機器は、少なくとも1つの現実シーン、及び各現実シーンに関連付けられたARデータパケットを表示することができ、例示的に、第2トリガ操作は、目標現実シーンに関連付けられたARデータパケットに対するトリガ操作であり得る。一実施例において、図2aに示されたように、ユーザは、AR機器に表示された現実シーンに関連付けられたARデータパケット内の目標現実シーンである「XXXビル-15階」に関連付けられたARデータパケットをクリックした場合、例えば、「[例]サイエンスフィクション」というARデータパケットをクリックした場合、AR機器は、当該ARデータパケットに対する第2トリガ操作があることを検出することができ、目標現実シーンである「XXXビル-15階」に関連付けられたARデータパケットを取得するようにサーバに要求することができる。
ここで、ARデータパケットに含まれる少なくとも1つの仮想対象に対応する第1姿勢データは、目標現実シーンにおける第1姿勢データであり得るか、又は、ARデータパケットに含まれた少なくとも1つの仮想対象に対応する第1姿勢データは、目標現実シーンの3次元シーンモデルにおける第1姿勢データであり得、詳細については、上記の説明を参照することができ、ここでは繰り返して説明しない。
ステップS202において、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及びARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定する。
ここで、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び当該AR機器に対応する第2姿勢データを取得する方式については、上記の説明を参照することができ、ここでは繰り返して説明しない。
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データを取得する前に、図10に示されたように、AR機器を使用して撮影するようにユーザにプロンプトするための情報をAR機器に表示することができる。
仮想対象に対応する第1姿勢データが、目標現実シーンにおける第1姿勢データである場合、AR機器に対応する第2姿勢データ及び仮想対象に対応する第1姿勢データは両方とも同じ座標系における姿勢データであるため、AR機器に対応する第2姿勢データ、少なくとも1つの仮想対象に対応する第1姿勢データに基づいて、AR機器における当該仮想対象の特殊効果提示情報を決定することができる。
仮想対象に対応する第1姿勢データが、目標現実シーンの3次元シーンモデルにおける第1姿勢データである場合、3次元シーンモデルと現実シーンは同じ座標系で1:1の比率で提示され、異なる座標系では同じ比率で提示されるため、3次元シーンモデルで提示されるときの事前に設定された仮想対象の第1姿勢データ、及びAR機器に対応する第2姿勢データにより、AR機器における当該仮想対象の特殊効果提示情報を決定することができる。
ステップS203において、特殊効果提示情報に基づき、AR機器により少なくとも1つの仮想対象を表示する。
目標現実シーンにおける仮想対象の特殊効果提示情報を取得した後、AR機器により、当該特殊効果提示情報に従って当該少なくとも1つの仮想対象を表示することができ、図11に示されたように、図11は、目標現実シーンに仮想対象である「唐三彩馬」を表示することを示す概略図である。
本発明の実施例では、第2トリガ操作に応答して、当該第2トリガ操作に関連付けられたARデータパケットを取得することができ、更に、AR機器に対応する第2姿勢データ、及び事前に設定された、ARデータパケット内の仮想対象に対応する第1姿勢データに基づいて、当該目標現実シーンにおける仮想対象の特殊効果提示情報を決定することができ、最後に、現実的な拡張現実シーンの効果をAR機器に表示する。
さらに、ARデータパケットは、少なくとも1つの仮想物体モデルに対応する第3姿勢データを更に含み、仮想物体モデルは、目標現実シーン内の目標物体を表し、
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及びARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定することは、
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、ARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データ、及び仮想物体モデルに対応する第3姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定することを含む。
例示的に、目標現実シーンにおける当該仮想物体モデルの第3姿勢データ、AR機器に対応する第2姿勢データ、及び仮想対象に対応する第1姿勢データに従って、当該仮想対象が仮想物体モデルに対応する物理オブジェクトによって遮蔽されているかどうかを決定し、当該仮想対象の一部又はすべてが仮想物体モデルに対応する物理オブジェクトによって遮蔽されていると決定した場合、遮蔽されている領域をレンダリングせず、当該仮想物体モデルは、遮蔽形態として処理されることができ、当該遮蔽形態の仮想物体モデルに対して透明度処理を実行する。このようにして、ユーザは、AR機器で透明度処理後の仮想物体モデルを見ることができないため、仮想対象が目標現実シーンにおける物理オブジェクトによって遮蔽されている提示効果を表示することができる。
本発明の実施例では、仮想物体モデルの第3姿勢データを使用して、目標現実シーンにおける仮想物体モデルの実際の第3姿勢データを復元することができ、仮想対象が仮想物体モデルに対応する物体によって遮蔽されていると決定した場合、仮想物体モデルにより、仮想対象に対する遮蔽効果を実現し、それにより、より現実的な拡張現実シーンの効果をAR機器に表示することができる。
一実施形態において、ARデータパケットは、少なくとも1つの仮想対象に対応するインタラクションデータを更に含み、インタラクションデータは、少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の当該仮想対象の繰り返し表示回数のうちの少なくとも1つを含む。
例示的に、インタラクションデータに含まれた状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数については、上記の説明を参照することができ、ここでは繰り返して説明しない。
上記のように、複数の状態トリガ条件があり得、例えば、クリックモデルトリガ条件、スライドモデルトリガ条件、距離認識トリガ条件、指定領域トリガ条件、ジェスチャー認識トリガ条件、現在のモデル向きトリガ条件及び指定モデル向きトリガ条件のうちの少なくとも1つ又は複数の条件を含み、各トリガ条件の説明は上記の説明を参照することができ、ここでは繰り返して説明しない。状態トリガ条件は、2つのタイプを含み得、その1つのタイプは、AR機器に対応する第2姿勢データに関する状態トリガ条件(例えば、距離認識トリガ条件、指定領域トリガ条件、現在のモデル向きトリガ条件及び指定モデル向きトリガ条件のうちの少なくとも1つの又は複数)であり、もう1つのタイプは、AR機器に対応する第2姿勢データに関係ない状態トリガ条件(例えば、クリックモデルトリガ条件、スライドモデルトリガ条件及びジェスチャー認識トリガ条件のうちの少なくとも1つの又は複数)であり、以下では、この2つのタイプについて、仮想対象とのインタラクションをそれぞれ考慮する。
一可能な実施形態において、本発明の実施例に係るARシーンコンテンツの表示方法は、次のステップを更に含む。
(1)少なくとも1つの仮想対象に作用するインタラクション操作を検出する。
(2)少なくとも1つの仮想対象に作用するインタラクション操作が第1タイプの状態トリガ条件を満たす場合、第1タイプの状態トリガ条件下での前記少なくとも1つの仮想対象の対応する提示状態、及び/又は、第1タイプの状態トリガ条件により表示がトリガされた後の当該少なくとも1つの仮想対象の繰り返し表示回数に基づき、少なくとも1つの仮想対象の特殊効果提示情報を更新して、更新後の特殊効果提示情報を取得する。
さらに、特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することは、
更新後の特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することを含む。
例示的に、インタラクション操作は、仮想対象の特殊効果提示情報の更新をトリガするための操作であり得、ここで、第1タイプの状態トリガ条件は、上記のAR機器に対応する第2姿勢データとは関係ない状態トリガ条件(例えば、クリックモデルトリガ条件、スライドモデルトリガ条件及びジェスチャー認識トリガ条件のうちの少なくとも1つ又は複数の条件)であり得る。
例示的に、AR機器が、当該インタラクション操作を検出した場合、例えば、仮想対象AをトリガするためのAR機器に対するユーザのスライド操作を検出した場合、スライド操作による仮想対象Aの対応する提示状態、及び/又は、当該スライド操作により表示がトリガされた後の当該仮想対象Aの繰り返し表示回数を取得した後、それらに基づいて、仮想対象Aの特殊効果提示情報を更新することができる。
例示的に、仮想対象の特殊効果提示情報を更新する方式は、3つのケースに分けることができる。第1のケースにおいて、第1タイプの状態トリガ条件下での前記少なくとも1つの仮想対象の対応する提示状態に基づいて、当該少なくとも1つの仮想対象の特殊効果提示情報だけを更新することができる。第2のケースにおいて、当該第1タイプの状態トリガ条件により表示がトリガされた後の当該少なくとも1つの仮想対象の繰り返し表示回数に基づき、少なくとも1つの仮想対象の特殊効果提示情報だけを更新することができる。第3のケースにおいて、第1タイプの状態トリガ条件下での前記少なくとも1つの仮想対象の対応する提示状態、及び第1タイプの状態トリガ条件により表示がトリガされた後の当該少なくとも1つの仮想対象の繰り返し表示回数を組み合わせて、少なくとも1つの仮想対象の特殊効果提示情報を同時に更新することができる。
以下では、特定の実施例と組み合わせて、上記の3つのケースをそれぞれ紹介する。
第1のケースにおいて、例示的に、仮想対象Aの初期特殊効果提示情報が、デーブル上に表示される仮想花瓶であり、インタラクション操作が、仮想対象に作用するスライド操作であり、スライド操作下での当該仮想対象Aの対応する提示状態が非表示である場合、当該仮想花瓶に作用するスライド操作を検出した後、仮想花瓶の特殊効果提示情報を元の表示から非表示に変更することができる。
第2のケースにおいて、例示的に、仮想対象Aが、壁の位置Aから位置Bに歩く仮想トラ猫であり、インタラクション操作が、仮想トラ猫に対応する3次元モデルに作用するクリック操作であり、クリック操作により表示がトリガされた後の当該仮想対象の繰り返し表示回数が5回である場合、当該仮想トラ猫に作用するユーザのクリック操作を検出すると、当該仮想トラ猫が、位置Aから位置Bに歩くという表示方式に応じて5回繰り返すようにトリガする。
第3のケースにおいて、例示的に、仮想対象Aが、ランタンで一回点滅する仮想ライトであり、インタラクション操作がジェスチャー認識操作であり、当該ジェスチャー認識操作下での当該仮想ライトの対応する提示状態が表示であり、当該ジェスチャー認識操作により表示がトリガされた後の当該仮想対象の繰り返し表示回数が5回である場合、当該ジェスチャー認識操作を検出すると、仮想ライトの特殊効果提示情報を5回点滅するように更新することができる。
本発明の実施例では、仮想対象に対するインタラクション操作を検出した場合、当該インタラクション操作が、設定された状態トリガ条件を満たすと決定した場合、当該設定された状態トリガ条件下での仮想対象の表示方式に従って、仮想対象を表示することができる。例示的に、拡張現実体験者は、設定されたジェスチャーをAR機器に表示することで、当該ジェスチャーに対応する提示特殊効果に従って仮想対象を表示するようにトリガすることができ、当該方式は、目標現実シーンにおける仮想対象と拡張現実体験者との間のインタラクションを向上させ、ユーザエクスペリエンスを向上させる。
別の可能な実施形態において、本発明の実施例に係るARシーンコンテンツの表示方法は、
第2姿勢データが第2タイプの状態トリガ条件を満たす場合、当該第2タイプの状態トリガ条件下での少なくとも1つの仮想対象の対応する提示状態、及び/又は、当該第2タイプの状態トリガ条件により表示がトリガされた後の少なくとも1つの仮想対象の繰り返し表示回数に基づき、少なくとも1つの仮想対象の特殊効果提示情報を更新して、更新後の特殊効果提示情報を取得することを更に含み、
特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することは、
更新後の特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することを含む。
例示的に、第2タイプの状態トリガ条件は、上記のAR機器に対応する第2姿勢データに関する状態トリガ条件(例えば、距離認識トリガ条件、指定領域トリガ条件、現在のモデル向きトリガ条件及び指定モデル向きトリガ条件のうちの少なくとも1つ又は複数の条件)であり得る。
例示的に、AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすことは、複数のケースを含み、具体的には、AR機器の表示コンポーネントの位置及び/又は表示角度に基づいて、AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすかどうかを決定することができ、又はAR機器の表示コンポーネントの位置に基づいて、AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすかどうかを決定することができ、又はAR機器の表示角度に基づいて、AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすかどうかを決定することができ、又はAR機器の表示コンポーネントの位置及び表示角度を組み合わせることにより、AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすかどうかを決定することもできる。
例示的に、AR機器の表示コンポーネントが位置する位置座標と設定位置点との間の距離が、設定距離と一致する場合、当該AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすと決定することができる。又は、AR機器の表示角度が仮想対象Aの位置に向かっていると判断した場合、当該AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすと決定することができる。又は、AR機器の表示コンポーネントが位置する位置座標と設定位置点との間の距離が、設定距離と一致し、当該AR機器の表示角度が仮想対象Aの位置に向かっている場合、当該AR機器に対応する第2姿勢データが第2タイプの状態トリガ条件を満たすと決定することができる。このようなケースは多いため、ここでは詳細に説明しない。
さらに、AR機器に対応する第2姿データが第2タイプの状態トリガ条件を満たす場合、当該第2タイプの状態トリガ条件下での少なくとも1つの仮想対象の対応する提示状態、及び/又は、当該第2タイプの状態トリガ条件により表示がトリガされた後の少なくとも1つの仮想対象の繰り返し表示回数に基づき、少なくとも1つの仮想対象の特殊効果提示情報を更新することができる。具体的な更新方式については、上記のインタラクション操作に基づく更新方式と類似しているため、ここでは繰り返して説明しない。
本発明の実施例では、AR機器に対応する第2姿勢データが、設定された状態トリガ条件を満たすことを検出すると、当該設定された状態トリガ条件下での仮想対象の表示方式に従って仮想対象を表示する。例示的に、AR機器が、設定された位置に近づき、且つAR機器の表示角度が仮想対象Aの位置に向かっている場合、仮想対象Aが当該AR機器の第2姿勢データに対応する提示特殊効果に従って表示するようにトリガし、このようにして、拡張現実シーン効果はよりリアルになり、ユーザエクスペリエンスを向上させることができる。
以下では、AR生成端末に基づいてARシーンコンテンツをリモートに生成するプロセスについて説明し、図12に示されたように、当該プロセスは次のステップを含む。
ステップS301において、第1トリガ操作に応答して、第1トリガ操作によって指示された目標現実シーンの3次元シーンモデル、及び目標現実シーンに関連付けられた初期ARデータパケットを取得する。
ステップS302において、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得し、更新データは、3次元シーンモデルにおける少なくとも1つの仮想対象の第1姿勢データを含む。
ステップS303において、少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成する。
本発明の実施例では、第1トリガ操作に応答して、当該目標現実シーンに関連付けられた3次元シーンモデル及び初期ARデータパケットをユーザに提供することができるため、ユーザは、自分のニーズに応じて、3次元シーンモデルを介して、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を直感的に編集及び更新することができ、この方式により、更新後のARデータパケットを取得し、拡張現実体験者が目標現実シーンで拡張現実を体験するときに、更新後のARデータパケットを直接に呼び出して拡張現実を体験することができる。本発明で提供された、ARデータパケットをリモートに編集する方式により、ARデータパケットの生成方式を簡素化し、後続の拡張現実シーンの表示のための便利なAR素材を提供することができる。
図13を参照すると、本発明の実施例は、ARシーンコンテンツの表示システム400を更に提供し、前記表示システムは、AR生成端末401、サーバ402及びAR機器403を備え、AR生成端末401はサーバ402に通信接続され、AR機器403はサーバ402に通信接続される。
AR生成端末401は、第1トリガ操作に応答して、第1トリガ操作によって指示された目標現実シーンの3次元シーンモデル、及び目標現実シーンに関連付けられた初期拡張現実(AR)データパケットを取得し、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得し、少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットをサーバに送信するように構成され、更新データは、3次元シーンモデルにおける少なくとも1つの仮想対象の第1姿勢データを含む。
サーバ402は、更新後のARデータパケットを受信し、更新後のARデータパケットをAR機器に転送するように構成される。
AR機器403は、第2トリガ操作に応答して、サーバに保存されている、第2トリガ操作によって指示される目標現実シーンに関連付けられた更新後のARデータパケットを取得し、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び更新後のARデータパケット内の3次元シーンモデルにおける少なくとも1つの仮想対象の第1姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定し、特殊効果提示情報に基づいて、少なくとも1つの仮想対象を表示するように構成される。
本発明の実施例に係る表示システムは、ARデータパケットをリモートで編集して生成することができ、AR機器側で拡張現実を体験するように、生成されたARデータパケットをサーバにアップロードすることができる。具体的には、ユーザによる編集に便利をもたらすために、ARデータパケットを生成するための簡単で便利な生成方式をAR生成端末で提供することができ、AR機器でARデータパケットをダウンロードして体験できるようにするために、サーバ端はARデータパケットを保存することができる。
以下では、AR機器によって拡張現実シーンでARシーンコンテンツを生成するプロセスについて説明し、当該プロセスはAR機器に適用され、図14に示されたように、次のステップを含む。
ステップS501において、第1トリガ操作に応答して、第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得する。
ステップS502において、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び初期ARデータパケットに基づいて、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示する。
ステップS503において、表示された少なくとも1つの仮想対象の更新データを取得し、更新データは、目標現実シーンにおける少なくとも1つの仮想対象の第1姿勢データを含む。
ステップS504において、更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成する。
本発明の実施例では、第1トリガ操作に応答して、ARデータパケット編集状態に入ることができ、AR機器に対応する第2姿勢データを取得した後、当該AR機器に対応する第2姿勢データに基づいて、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示することにより、ユーザは、ニーズに応じて、AR機器で目標現実シーンにおける仮想対象の第2姿勢データを直感的に編集及び調整することができ、それにより、ARシーンコンテンツの生成プロセスを簡素化することができ、調整後のARデータパケットの精度を向上させることもできる。
同じ技術構想に基づき、本発明の実施例は、図1に示されたARシーンコンテンツの生成方法に対応する生成装置を更に適用し、本発明の実施例における装置に関する技術的解決策の原理は、本発明の実施例に記載のARシーンコンテンツの生成方法と類似するため、装置の実施については、方法の実施を参照することができ、重複する部分については繰り返して説明しない。
図15を参照すると、図15は、本発明の実施例に係るARシーンコンテンツの生成装置600を示し、当該生成装置600は、
第1トリガ操作に応答して、第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得するように構成される第1取得モジュール601と、
初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得するように構成される第2取得モジュール602であって、更新データは、少なくとも1つの仮想対象に対応する第1姿勢データを含む、第2取得モジュール602と、
少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成するように構成される更新モジュール603と、を備える。
一可能な実施形態において、第1取得モジュール601は更に、
第1トリガ操作によって指示された目標現実シーンの3次元シーンモデルを取得するように構成され、
第2取得モジュール602が、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
ロードされた3次元シーンモデルを表示することと、
少なくとも1つの仮想対象が3次元シーンモデルに配置されたときの更新データを取得することであって、更新データは、3次元シーンモデルに配置された少なくとも1つの仮想対象の第1姿勢データを含む、ことと、を含む。
一可能な実施形態において、ARシーンコンテンツの生成装置は更に、表示モジュール604を備え、表示モジュール604は、
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び初期ARデータパケットに基づいて、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示するように構成され、
第2取得モジュール602が、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
表示された少なくとも1つの仮想対象の更新データを取得することを含み、更新データは、目標現実シーンにおける少なくとも1つの仮想対象の第1姿勢データを含む。
一可能な実施形態において、第2取得モジュールが、表示された少なくとも1つの仮想対象の更新データを取得することは、
姿勢データ編集インターフェイスを表示し、姿勢データ編集インターフェイスを介して受信された少なくとも1つの仮想対象の第1姿勢データを取得することを含み、
ここで、第1姿勢データは、目標現実シーンが位置する座標系における仮想対象の位置座標、偏向角度及びサイズ情報のうちの少なくとも1つを含む。
一可能な実施形態において、更新データは、少なくとも1つの仮想対象に対応するインタラクションデータを更に含み、
第2取得モジュールが、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
インタラクションデータ編集インターフェイスを表示し、インタラクションデータ編集インターフェイスを介してそれぞれ受信された各仮想対象のインタラクションデータを取得することを含む。
ここで、インタラクションデータは、少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数のうちの少なくとも1つを含む。
一可能な実施形態において、インタラクションデータが複数の状態トリガ条件を含む場合、インタラクションデータは、各状態トリガ条件の優先度を更に含む。
一可能な実施形態において、第2取得モジュール602は更に、
初期ARデータパケットに関連付けられた少なくとも1つの仮想物体モデルに対応する第3姿勢データを取得するように構成され、少なくとも1つの仮想物体モデルは、目標現実シーン内の目標物体を表し、
更新モジュール603が、少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成することは、
少なくとも1つの仮想対象の更新データ、及び仮想物体モデルに対応する第3姿勢データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成することを含む。
一可能な実施形態において、少なくとも1つの仮想対象は、少なくとも1つの第1仮想対象を含み、第2取得モジュール602が、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
初期ARデータパケットに含まれた少なくとも1つの第1仮想対象の更新データを取得することを含む。
一可能な実施形態において、少なくとも1つの仮想対象は、少なくとも1つの第2仮想対象を含み、第2取得モジュールが、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
事前に確立された素材ライブラリから、初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を取得し、少なくとも1つの第2仮想対象の更新データを取得することを含む。
一可能な実施形態において、ARシーンコンテンツの生成装置は更に、送信モジュール605を備え、更新後のARデータパケットを生成した後、送信モジュール605は、
更新後のARデータパケットをサーバに送信し、又は、更新後のARデータパケット及び更新後のARデータパケットが有効になっているかどうかを指示する状態情報をサーバに送信するように構成される。
一可能な実施形態において、更新後のARデータパケットを生成した後、送信モジュール605は更に、
更新後のARデータパケットに対するアップロードトリガ操作に応答して、更新後のARデータパケットのラベル情報を取得し、ラベル情報をサーバに送信するように構成される。
同じ技術構想に基づき、本発明の実施例は、図9に示されたARシーンコンテンツの表示方法に対応する表示装置を更に提供し、本発明の実施例における装置に関する技術的解決策の原理は、本発明の実施例に記載のARシーンコンテンツの表示方法と類似するため、装置の実施については、方法の実施を参照することができ、重複する部分については繰り返して説明しない。
図16を参照すると、図16は、本発明の実施例に係るARシーンコンテンツの表示装置700の概略図であり、前記表示装置700は、
第2トリガ操作に応答して、第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得するように構成される取得モジュール701であって、ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含む、取得モジュール701と、
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及びARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定するように構成される決定モジュール702と、
特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示するように構成される表示モジュール703と、を備える。
一可能な実施形態において、ARデータパケットは、少なくとも1つの仮想物体モデルに対応する第3姿勢データを更に含み、仮想物体モデルは、目標現実シーン内の目標物体を表し、
決定モジュール702が、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及びARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定することは、
現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、ARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データ、及び仮想物体モデルに対応する第3姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定することを含む。
一可能な実施形態において、ARデータパケットは、少なくとも1つの仮想対象に対応するインタラクションデータを更に含み、インタラクションデータは、少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数のうちの少なくとも1つを含む。
一可能な実施形態において、表示装置は更に、インタラクションモジュール704を備え、インタラクションモジュール704は、
少なくとも1つの仮想対象に作用するインタラクション操作を検出し、
少なくとも1つの仮想対象に作用するインタラクション操作が第1タイプの状態トリガ条件を満たす場合、第1タイプの状態トリガ条件下での前記少なくとも1つの仮想対象の対応する提示状態、及び/又は、第1タイプの状態トリガ条件により表示がトリガされた後の当該少なくとも1つの仮想対象の繰り返し表示回数に基づき、少なくとも1つの仮想対象の特殊効果提示情報を更新して、更新後の特殊効果提示情報を取得するように構成され、
表示モジュール703が、特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することは、
更新後の特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することを含む。
一可能な実施形態において、表示装置は更に、インタラクションモジュール704を備え、インタラクションモジュール704は、
第2姿勢データが第2タイプの状態トリガ条件を満たす場合、当該第2タイプの状態トリガ条件下での少なくとも1つの仮想対象の対応する提示状態、及び/又は、当該第2タイプの状態トリガ条件により表示がトリガされた後の少なくとも1つの仮想対象の繰り返し表示回数に基づき、少なくとも1つの仮想対象の特殊効果提示情報を更新して、更新後の特殊効果提示情報を取得するように構成され、
表示モジュール703が、特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することは、
更新後の特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することを含む。
装置における各モジュールの処理プロセス、及び各モジュール間のインタラクションプロセスに関する説明については、上記の方法の実施例における関連する説明を参照することができ、ここでは詳しく説明しない。
図1のARシーンコンテンツの生成方法に対応して、本発明の実施例は、電子機器800を更に提供し、図17に示されたように、図17は、本発明の実施例に係る電子機器800の概略構造図であり、前記電子機器800は、
プロセッサ81、メモリ82、及びバス83を備え、メモリ82は、実行命令を記憶するように構成され、メモリ82は、内部メモリ821及び外部メモリ822を備える。ここで、内部メモリ821は、内臓メモリとも呼ばれ、当該メモリは、プロセッサ81の演算データ、及びハードディスクなどの外部メモリ822と交換されるデータを一時的に記憶するように構成され、プロセッサ81は、内部メモリ821を介して外部メモリ822とデータを交換する。電子機器800が動作する場合、プロセッサ81とメモリ82は、バス83を介して通信することにより、プロセッサ81に、下記のステップを実行するための命令を実行させ、該ステップは、第1トリガ操作に応答して、第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得することと、初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することであって、更新データは、少なくとも1つの仮想対象に対応する第1姿勢データを含むことと、少なくとも1つの仮想対象の更新データに基づき、初期ARデータパケットを更新して、更新後のARデータパケットを生成することと、を含む。
又は、プロセッサ81に、下記のステップを実行するための命令を実行させ、該ステップは、第2トリガ操作に応答して、第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得することであって、ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含むことと、現在目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及びARデータパケット内の少なくとも1つの仮想対象に対応する第1姿勢データに基づいて、少なくとも1つの仮想対象の特殊効果提示情報を決定することと、特殊効果提示情報に基づいて、AR機器により少なくとも1つの仮想対象を表示することと、を含む。
本発明の実施例はコンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の方法の実施例におけるARシーンコンテンツの生成方法又は表示方法を実行する。ここで、当該記憶媒体は、揮発性又は不揮発性コンピュータ可読取記憶媒体であってもよい。
本発明の実施例は、コンピュータプログラム製品を更に提供し、当該コンピュータプログラム製品にはプログラムコードが含まれ、前記プログラムコードに含まれた命令は、上記の方法の実施例に記載のARシーンコンテンツの生成方法又は表示方法のステップを実行するために使用され、詳細については、上記の方法の実施例を参照することができ、ここでは繰り返して説明しない。
ここで、上記のコンピュータプログラム製品は、ハードウェア、ソフトウェア又はそれらを組み合わせる方式により実現されることができる。一例示的な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体で具現され、別の代替実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット(SDK:Software Development Kit)など、ソフトウェア製品で具現される。
当業者なら明確に理解できるが、説明の便宜上及び簡潔にするために、上記に説明されたシステム、装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。本発明で提供されたいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式で実現できることを理解されたい。上記の装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、複数のユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、電気的、機械的又は他の形態の一部の通信インターフェース、装置又はユニットを介した間接的な結合又は通信接続であり得る。
前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、その中のユニットの一部又は全部を選択して本実施例の技術案の目的を実現することができる。
また、本発明の各実施例における各機能ユニットを1つの処理ユニットに統合してもよく、各ユニットを別々に1つのユニットとして使用してもよいし、2つ以上のユニットを1つのユニットに統合してもよい。
前記機能が、ソフトウェア機能ユニットの形で実現され、独立した製品として販売又は使用される場合、プロセッサによって実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る)に、本開示の各実施例に記載の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
最後に留意されたいのは、以上の実施例は、本発明の技術的解決策を説明するために使用される、本発明の特定の実施形態に過ぎず、本発明を限定するものではなく、本発明の保護範囲はこれに限定されない。上記の実施例を参照して本発明を詳細に説明しているが、当業者なら自明であるが、当業者は、本発明に開示された技術的範囲内で、上記の各実施例に記載の技術的解決策に対して修正又は容易に想到し得る変更を行い、または当該技術的解決策の一部の技術的特徴を同等に置換することができ、これらの修正、変更または置換は、対応する技術的解決策の本質が本発明の各実施例の技術的解決策の精神及び範囲を超えることを引き起こさず、本発明の保護範囲に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

Claims (20)

  1. 拡張現実(AR)シーンコンテンツの生成方法であって、
    第1トリガ操作に応答して、前記第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得することと、
    前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することであって、前記更新データは、前記少なくとも1つの仮想対象に対応する第1姿勢データを含む、ことと、
    前記少なくとも1つの仮想対象の更新データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成することと、を含む、前記ARシーンコンテンツの生成方法。
  2. 前記ARシーンコンテンツの生成方法は、
    前記第1トリガ操作によって指示された目標現実シーンの3次元シーンモデルを取得することを更に含み、
    前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
    ロードされた前記3次元シーンモデルを表示することと、
    前記少なくとも1つの仮想対象が前記3次元シーンモデルに配置されたときの更新データを取得することであって、前記更新データは、前記3次元シーンモデルに配置された前記少なくとも1つの仮想対象の第1姿勢データを含む、ことと、を含む、
    請求項1に記載のARシーンコンテンツの生成方法。
  3. 前記ARシーンコンテンツの生成方法は、
    現在前記目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び前記初期ARデータパケットに基づいて、前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象を表示することを更に含み、
    前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
    表示された少なくとも1つの仮想対象の更新データを取得することを含み、前記更新データは、前記目標現実シーンにおける前記少なくとも1つの仮想対象の第1姿勢データを含む、
    請求項1に記載のARシーンコンテンツの生成方法。
  4. 前記表示された少なくとも1つの仮想対象の更新データを取得することは、
    姿勢データ編集インターフェイスを表示し、前記姿勢データ編集インターフェイスを介して受信された前記少なくとも1つの仮想対象の第1姿勢データを取得することを含み、
    前記第1姿勢データは、前記目標現実シーンが位置する座標系における仮想対象の位置座標、偏向角度及びサイズ情報のうちの少なくとも1つを含む、
    請求項3に記載のARシーンコンテンツの生成方法。
  5. 前記更新データは、前記少なくとも1つの仮想対象に対応するインタラクションデータを更に含み、
    前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
    インタラクションデータ編集インターフェイスを表示し、前記インタラクションデータ編集インターフェイスを介してそれぞれ受信された各仮想対象のインタラクションデータを取得することを含み、
    前記インタラクションデータは、仮想対象の少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数のうちの少なくとも1つを含む、
    請求項1ないし4のいずれか一項に記載のARシーンコンテンツの生成方法。
  6. 前記インタラクションデータが複数の状態トリガ条件を含む場合、前記インタラクションデータは、各状態トリガ条件の優先度を更に含む、
    請求項5に記載のARシーンコンテンツの生成方法。
  7. 前記ARシーンコンテンツの生成方法は、
    前記初期ARデータパケットに関連付けられた少なくとも1つの仮想物体モデルに対応する第3姿勢データを取得することを更に含み、前記少なくとも1つの仮想物体モデルは、前記目標現実シーン内の目標物体を表し、
    前記少なくとも1つの仮想対象の前記更新データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成することは、
    前記少なくとも1つの仮想対象の前記更新データ、及び前記仮想物体モデルに対応する前記第3姿勢データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成することを含む、
    請求項1ないし6のいずれか一項に記載のARシーンコンテンツの生成方法。
  8. 前記少なくとも1つの仮想対象は、少なくとも1つの第1仮想対象を含み、前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
    前記初期ARデータパケットに含まれた少なくとも1つの第1仮想対象の更新データを取得することを含む、
    請求項1ないし7のいずれか一項に記載のARシーンコンテンツの生成方法。
  9. 前記少なくとも1つの仮想対象は、少なくとも1つの第2仮想対象を含み、前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得することは、
    事前に確立された素材ライブラリから、前記初期ARデータパケットに関連付けられた少なくとも1つの第2仮想対象を取得し、前記少なくとも1つの第2仮想対象の更新データを取得することを含む、
    請求項1ないし8のいずれか一項に記載のARシーンコンテンツの生成方法。
  10. 更新後のARデータパケットを生成した後、前記ARシーンコンテンツの生成方法は、
    前記更新後のARデータパケットをサーバに送信すること、又は、前記更新後のARデータパケット及び前記更新後のARデータパケットが有効になっているかどうかを指示する状態情報をサーバに送信すること、を更に含む、
    請求項1ないし9のいずれか一項に記載のARシーンコンテンツの生成方法。
  11. 前記更新後のARデータパケットを生成した後、前記ARシーンコンテンツの生成方法は、
    前記更新後のARデータパケットに対するアップロードトリガ操作に応答して、前記更新後のARデータパケットのラベル情報を取得し、前記ラベル情報を前記サーバに送信することを更に含む、
    請求項10に記載のARシーンコンテンツの生成方法。
  12. 拡張現実(AR)シーンコンテンツの表示方法であって、
    第2トリガ操作に応答して、前記第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得することであって、前記ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含む、ことと、
    現在前記目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び前記ARデータパケット内の少なくとも1つの仮想対象に対応する前記第1姿勢データに基づいて、前記少なくとも1つの仮想対象の特殊効果提示情報を決定することと、
    前記特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示することと、を含む、前記ARシーンコンテンツの表示方法。
  13. 前記ARデータパケットは、少なくとも1つの仮想物体モデルに対応する第3姿勢データを更に含み、前記仮想物体モデルは、前記目標現実シーン内の目標物体を表し、
    現在前記目標現実シーンを撮影している前記AR機器に対応する第2姿勢データ、及び前記ARデータパケット内の少なくとも1つの仮想対象に対応する前記第1姿勢データに基づいて、前記少なくとも1つの仮想対象の特殊効果提示情報を決定することは、
    現在前記目標現実シーンを撮影している前記AR機器に対応する前記第2姿勢データ、前記ARデータパケット内の少なくとも1つの仮想対象に対応する前記第1姿勢データ、及び前記仮想物体モデルに対応する前記第3姿勢データに基づいて、前記少なくとも1つの仮想対象の特殊効果提示情報を決定することを含む、
    請求項12に記載のARシーンコンテンツの表示方法。
  14. 前記ARデータパケットは、少なくとも1つの仮想対象に対応するインタラクションデータを更に含み、前記インタラクションデータは、仮想対象の少なくとも1つの状態トリガ条件、各状態トリガ条件に対応する提示状態、及び表示するようにトリガされた後の仮想対象の繰り返し表示回数のうちの少なくとも1つを含む、
    請求項12又は13に記載のARシーンコンテンツの表示方法。
  15. 前記ARシーンコンテンツの表示方法は、
    前記少なくとも1つの仮想対象に作用するインタラクション操作を検出することと、
    前記少なくとも1つの仮想対象に作用するインタラクション操作が第1タイプの状態トリガ条件を満たす場合、前記第1タイプの状態トリガ条件下での前記少なくとも1つの仮想対象の対応する提示状態、及び/又は、前記第1タイプの状態トリガ条件により表示がトリガされた後の前記少なくとも1つの仮想対象の繰り返し表示回数に基づき、前記少なくとも1つの仮想対象の特殊効果提示情報を更新して、更新後の特殊効果提示情報を取得することと、を更に含み、
    前記特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示することは、
    前記更新後の特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示することを含む、
    請求項14に記載のARシーンコンテンツの表示方法。
  16. 前記ARシーンコンテンツの表示方法は、
    前記第2姿勢データが第2タイプの状態トリガ条件を満たす場合、前記第2タイプの状態トリガ条件下での前記少なくとも1つの仮想対象の対応する提示状態、及び/又は、前記第2タイプの状態トリガ条件により表示がトリガされた後の前記少なくとも1つの仮想対象の繰り返し表示回数に基づき、前記少なくとも1つの仮想対象の特殊効果提示情報を更新して、更新後の特殊効果提示情報を取得することを更に含み、
    前記特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示することは、
    前記更新後の特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示することを含む、
    請求項14又は15に記載のARシーンコンテンツの表示方法。
  17. 拡張現実(AR)シーンコンテンツの生成装置であって、
    第1トリガ操作に応答して、前記第1トリガ操作によって指示される目標現実シーンに関連付けられた初期ARデータパケットを取得するように構成される第1取得モジュールと、
    前記初期ARデータパケットに関連付けられた少なくとも1つの仮想対象の更新データを取得するように構成される第2取得モジュールであって、前記更新データは、前記少なくとも1つの仮想対象に対応する第1姿勢データを含む、第2取得モジュールと、
    前記少なくとも1つの仮想対象の更新データに基づき、前記初期ARデータパケットを更新して、更新後のARデータパケットを生成するように構成される更新モジュールと、を備える、前記ARシーンコンテンツの生成装置。
  18. 拡張現実(AR)シーンコンテンツの表示装置であって、
    第2トリガ操作に応答して、前記第2トリガ操作によって指示された目標現実シーンに関連付けられたARデータパケットを取得するように構成される取得モジュールであって、前記ARデータパケットは、少なくとも1つの仮想対象に対応する第1姿勢データを含む、取得モジュールと、
    現在前記目標現実シーンを撮影しているAR機器に対応する第2姿勢データ、及び前記ARデータパケット内の少なくとも1つの仮想対象に対応する前記第1姿勢データに基づいて、前記少なくとも1つの仮想対象の特殊効果提示情報を決定するように構成される決定モジュールと、
    前記特殊効果提示情報に基づいて、前記AR機器により前記少なくとも1つの仮想対象を表示するように構成される表示モジュールと、を備える、前記ARシーンコンテンツの表示装置。
  19. 電子機器であって、
    プロセッサ、メモリ及びバスを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶され、電子機器が動作するときに、前記プロセッサと前記メモリはバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるときに、請求項1ないし11のいずれか一項に記載の方法のステップ、又は請求項12ないし16のいずれか一項に記載の方法のステップを実行する、前記電子機器。
  20. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されるときに、請求項1ないし11のいずれか一項に記載の方法のステップ、又は請求項12ないし16のいずれか一項に記載の方法のステップを実行する、前記コンピュータ可読記憶媒体。
JP2021538425A 2020-05-26 2020-12-09 Arシーンコンテンツの生成方法、表示方法、装置及び記憶媒体 Pending JP2022537861A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN202010456843.8A CN111610998A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、装置及存储介质
CN202010456843.8 2020-05-26
CN202010456842.3A CN111610997A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示***及装置
CN202010456842.3 2020-05-26
PCT/CN2020/135048 WO2021238145A1 (zh) 2020-05-26 2020-12-09 Ar场景内容的生成方法、展示方法、装置及存储介质

Publications (1)

Publication Number Publication Date
JP2022537861A true JP2022537861A (ja) 2022-08-31

Family

ID=78745558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538425A Pending JP2022537861A (ja) 2020-05-26 2020-12-09 Arシーンコンテンツの生成方法、表示方法、装置及び記憶媒体

Country Status (5)

Country Link
JP (1) JP2022537861A (ja)
KR (1) KR20210148074A (ja)
SG (1) SG11202108241QA (ja)
TW (1) TWI783472B (ja)
WO (1) WO2021238145A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114942737A (zh) * 2022-04-28 2022-08-26 Oppo广东移动通信有限公司 显示方法、装置、显示设备、头戴式设备及存储介质
CN114764327B (zh) * 2022-05-09 2023-05-05 北京未来时空科技有限公司 一种三维可交互媒体的制作方法、装置及存储介质
CN115291939B (zh) * 2022-08-17 2024-07-19 北京字跳网络技术有限公司 互动场景配置方法、装置、存储介质、设备及程序产品
CN115374141B (zh) * 2022-09-20 2024-05-10 支付宝(杭州)信息技术有限公司 虚拟形象的更新处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110764614A (zh) * 2019-10-15 2020-02-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备及存储介质
JP2020042759A (ja) * 2018-09-06 2020-03-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置
WO2020072972A1 (en) * 2018-10-05 2020-04-09 Magic Leap, Inc. A cross reality system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2327894A1 (en) * 2000-12-07 2002-06-07 Clearview Geophysics Inc. Method and system for complete 3d object and area digitizing
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
CN108416832B (zh) * 2018-01-30 2024-05-14 腾讯科技(深圳)有限公司 媒体信息的显示方法、装置和存储介质
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示***及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042759A (ja) * 2018-09-06 2020-03-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 拡張現実アプリケーションのためのビデオにおけるリアルタイムオーバーレイ配置
WO2020072972A1 (en) * 2018-10-05 2020-04-09 Magic Leap, Inc. A cross reality system
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110764614A (zh) * 2019-10-15 2020-02-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备及存储介质

Also Published As

Publication number Publication date
TWI783472B (zh) 2022-11-11
KR20210148074A (ko) 2021-12-07
SG11202108241QA (en) 2021-12-30
WO2021238145A1 (zh) 2021-12-02
TW202145150A (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
JP2022537861A (ja) Arシーンコンテンツの生成方法、表示方法、装置及び記憶媒体
US10755485B2 (en) Augmented reality product preview
EP3619599B1 (en) Virtual content displayed with shared anchor
US11043031B2 (en) Content display property management
Hilfert et al. Low-cost virtual reality environment for engineering and construction
US11385760B2 (en) Augmentable and spatially manipulable 3D modeling
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
US10867424B2 (en) Systems and methods for utilizing a device as a marker for augmented reality content
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
US9799142B2 (en) Spatial data collection
CN112070906A (zh) 一种增强现实***及增强现实数据的生成方法、装置
JP6677890B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US10777009B2 (en) Dynamically forming an immersive augmented reality experience through collaboration between a consumer and a remote agent
CN111610997A (zh) Ar场景内容的生成方法、展示方法、展示***及装置
JP2022545598A (ja) 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム
KR20150132527A (ko) 컨텐츠 전달의 세그먼테이션
US20160371885A1 (en) Sharing of markup to image data
WO2017029918A1 (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
JP7150894B2 (ja) Arシーン画像処理方法及び装置、電子機器並びに記憶媒体
JP2022505999A (ja) 拡張現実データの提示方法、装置、機器および記憶媒体
EP3449390A1 (en) Augmented media
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
CN112740280A (zh) 计算高效的模型选择
JP2017084215A (ja) 情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404