JP2020507136A - Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体 - Google Patents

Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2020507136A
JP2020507136A JP2018567578A JP2018567578A JP2020507136A JP 2020507136 A JP2020507136 A JP 2020507136A JP 2018567578 A JP2018567578 A JP 2018567578A JP 2018567578 A JP2018567578 A JP 2018567578A JP 2020507136 A JP2020507136 A JP 2020507136A
Authority
JP
Japan
Prior art keywords
depth information
virtual object
target object
terminal device
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018567578A
Other languages
English (en)
Inventor
形省 林
形省 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2020507136A publication Critical patent/JP2020507136A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本発明は、ＶＲオブジェクトの合成方法、装置、プログラム及び記録媒体に関し、前記方法は、端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、奥行き情報融合モードで、端末機器の撮像装置でターゲットオブジェクトの奥行き情報を取得するステップと、仮想オブジェクトの奥行き情報を取得するステップと、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを画像に重畳させるステップと、を含む。異なる奥行き情報を有するオブジェクトの遮蔽関係は異なっており、ターゲットオブジェクトを取得した後、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、本発明の実施例のＶＲオブジェクトの合成方法及び装置によれば、重畳時の計算量を減少でき、端末機器のＡＲアプリケーションにより良好に適用されることができ、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。【選択図】図１

Description

本願は、出願番号が２０１８１００２９９９５．２であって、出願日が２０１８年１月１２日である中国特許出願に基づき優先権を主張し、当該中国特許出願の内容のすべてを本願に援用する。
本発明は、画像処理の技術分野に関し、特にＶＲオブジェクトの合成方法及び装置に関する。
ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、現実を拡張する）技術は、コンピュータシステムにより提供された情報によって、現実世界に対するユーザの知覚を増加させる技術であり、仮想情報を実世界に適用し、コンピュータにより生成された仮想オブジェクトを真実なシーンに重畳させて、現実に対する拡張を実現できる。
関連技術におけるＶＲオブジェクトの合成方法は、場合によって、ＶＲオブジェクトの遮蔽関係を正確に処理できるが、計算量が比較的に多く、携帯電話、タブレットＰＣ等の端末機器に適用されない問題が存在する。
本発明は、関連技術に存在する問題を克服するために、ＶＲオブジェクトの合成方法及び装置を提供し、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
本発明の第１の態様によれば、端末機器に適用されるＶＲオブジェクトの合成方法が提供され、この方法は、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、前記奥行き情報融合モードで、前記端末機器の撮像装置で前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるステップと、仮想オブジェクトの奥行き情報を取得するステップと、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含む。
一可能な実現形態では、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるステップを含む。
一可能な実現形態では、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるステップを含む。
一可能な実現形態では、前記端末機器の撮像装置は、少なくとも２つのカメラを備え、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するステップは、前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するステップを含む。
一可能な実現形態では、仮想オブジェクトの奥行き情報を取得するステップは、前記仮想オブジェクトの位置の位置情報を取得するステップと、前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、を含む。
本発明の第２の態様によれば、端末機器に適用されるＶＲオブジェクトの合成装置が提供され、この装置は、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するためのオブジェクト取得モジュールと、前記奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するためのもので、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである第１の情報取得モジュールと、仮想オブジェクトの奥行き情報を取得するための第２の情報取得モジュールと、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるための重畳モジュールと、を備える。
一可能な実現形態では、前記重畳モジュールは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるための第１の重畳サブモジュールを備える。
一可能な実現形態では、前記重畳モジュールは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるための第２の重畳サブモジュールをさらに備える。
一可能な実現形態では、前記第１の取得モジュールは、前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するための第１の決定サブモジュールを備える。
一可能な実現形態では、前記第２の取得モジュールは、前記仮想オブジェクトの位置の位置情報を取得するための取得サブモジュールと、前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するための第２の決定サブモジュールと、を備える。
本発明に提供された技術案によれば、以下のような技術効果が奏される。
異なる奥行き情報を有するオブジェクトの遮蔽関係は異なっており、本発明の実施例では、ターゲットオブジェクトを取得した後、端末機器は、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、ターゲットオブジェクトを取得したときに、比較せずに直接に重畳する、又は全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき、端末機器のＡＲアプリケーションにより良好に適用されることができる。また、本発明の実施例では、端末機器の撮像装置を使用してターゲットオブジェクトの奥行き情報を取得し、端末機器における実施例の適用に有利である。したがって、本発明の各態様のＶＲオブジェクトの合成方法及び装置によれば、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートである。 一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートである。 一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。 一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。 一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。 一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
図１は、一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートであり、図１に示すように、このＶＲオブジェクトの合成方法は、携帯電話、タブレットＰＣ等のような端末機器に用いられ、このＶＲオブジェクトの合成方法は、下記のステップを含む。
ステップＳ１１において、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得する。
ここで、端末機器により捕捉された画像は、真実なシーンに対応する画像であってもよく、端末機器は、自体の撮像装置により前記画像を捕捉できる。一可能な実現形態では、端末機器は、前記画像をリアルタイムに捕捉でき、また、複数枚の画像を連続的に捕捉できる。なお、端末機器により連続的に捕捉された複数枚のリアルタイム画像が映像を構成できることが理解される。
ターゲットオブジェクトは、真実なシーンにおける実オブジェクトであってもよく、例えば、実の人又は物体であってもよい。ターゲットオブジェクトは、真実なシーンにおけるある特定のオブジェクトであってもよいが、真実なシーンにおけるある種類のオブジェクトであってもよい。例えば、真実なシーンに複数の人が存在する場合、ターゲットオブジェクトは、複数の人のうちのある人であってもよいが、真実なシーンにおける全ての人であってもよい。一例では、ターゲットオブジェクトは、仮想オブジェクトと遮蔽関係を有するオブジェクトであってもよい。本発明は、ターゲットオブジェクトについて限定をしない。
一可能な実現形態では、端末機器は、関連技術における画像認識技術により前記画像におけるターゲットオブジェクトを認識して取得できる。
一可能な実現形態では、ターゲットオブジェクトは、端末機器により捕捉された画像において移動でき、例えば、人は真実なシーンにおいて行ったり来たりすることができる。一可能な実現形態では、ターゲット画像は、画像に入ったり画像から消えたりすることができ、例えば、人は真実なシーンに入ったり真実なシーンから離れたりすることができる。
ステップＳ１２において、奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである。
ＡＲ技術によれば、仮想オブジェクトを真実なシーンに重畳させることができる。ここで、仮想オブジェクトは、仮想の人、物体等のようなコンピュータモデリングにより生成されたオブジェクトを表わすために使用されることができる。仮想オブジェクトは、コンピュータにより作成された数学モデルであってもよく、この数学モデルは、仮想オブジェクトの輪郭、テクスチャ等の特徴を表すデータを含んでもよく、これらのデータは、実の人、物体等の実オブジェクトに基づいて抽出されても良いが、必要に応じて人為的に作成されてもよい。これらのデータに基づいて画像レンダリングを行うことで、仮想オブジェクトを真実なシーンに展示できる。端末機器は、仮想オブジェクトの位置を変更させて、真実なシーンに対応する画像において仮想オブジェクトが移動するようにさせることができる。本発明は、仮想オブジェクトの生成方式について限定をしない。
一例では、端末機器は、ローカルで仮想オブジェクトを生成してもよいが、他の機器から仮想オブジェクトを取得してもよい。ここで、端末機器は、他の機器から仮想オブジェクトを取得した後、ローカルで仮想オブジェクトを調整できる。
一例では、端末機器は、ターゲットオブジェクトが取得されていないときに、捕捉された画像の前に直接に仮想オブジェクトを表示できる。例えば、端末機器は、前記画像の位置するレイヤ上のレイヤに前記仮想オブジェクトを表示できる。このようにして、端末機器は、仮想オブジェクトを迅速で、容易に真実なシーンに重畳させることができる。本発明は、ターゲットオブジェクトが取得されていないときの操作について限定をしない。
一例では、端末機器は、ターゲットオブジェクトを取得したときに、奥行き情報融合モードを開始できる。ここで、奥行き情報融合モードは、仮想オブジェクトを前記画像に重畳させるために使用されることができる。例えば、奥行き情報融合モードは、奥行き情報に基づいて仮想オブジェクトとターゲットオブジェクトとの遮蔽関係を決定し、遮蔽関係に基づいて仮想オブジェクトを画像に重畳させる方式を決定できる。奥行き情報融合モードで、端末機器における仮想オブジェクトの融合がより真実になる。ターゲットオブジェクトを取得したときは、端末機器により捕捉された画像に仮想オブジェクトと遮蔽関係を有するオブジェクトが存在する可能があることを説明し、この場合、誤った遮蔽は、融合効果の劣化をもたらすことができ、あるシーンが実現されず、したがって、端末機器は、奥行き情報融合モードを開始して、より真実な融合を実現できる。
一例では、ターゲットオブジェクトが人であり、仮想オブジェクトが椅子である。人を取得したとき、奥行き情報融合モードを開始して、人が椅子の前に立てたり、椅子に座ったりするシーンを実現できる。
ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである。現実の客観世界は、３次元の空間であり、撮像装置を介して撮像された後、３次元奥行き情報が失われた２次元画像になる。端末機器は、撮像装置でターゲットオブジェクトの奥行き情報を取得できる。
一可能な実現形態では、前記端末機器の撮像装置は、少なくとも２つのカメラを備え、端末機器は、ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定できる。
端末機器の撮像装置が２つのカメラを備える場合を例として、端末機器は、ターゲットオブジェクトと２つのカメラとの連結ラインと、２つのカメラの連結ラインとがなす角、及び２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定できる。以上は、ターゲットオブジェクトの奥行き情報を決定するための１つの例に過ぎず、端末機器は、また、関連技術における他の方式によりターゲットオブジェクトの奥行き情報を決定できる。
ステップＳ１３において、仮想オブジェクトの奥行き情報を取得する。
端末機器は、捕捉された画像の異なる位置に仮想オブジェクトに対応する仮想モデルを配置でき、且つ仮想モデルの位置を移動させることができる。仮想オブジェクトは、端末機器により捕捉された画像に実在するオブジェクトでなく、１つの仮想モデルに対応する。仮想モデルが画像に表示されるとき、仮想オブジェクトと称されることができる。
一可能な実現形態では、仮想オブジェクトの奥行き情報は固定され変化しなくてもよい。端末機器がローカルで仮想モデルを生成する場合を例として、端末機器は、仮想モデルの生成する過程で、仮想モデルと奥行き情報との対応関係を記録できる。この場合、画像において仮想モデルを移動させると、仮想モデルの奥行き情報が一定に維持される。一可能な実現形態では、端末機器は、仮想モデルと奥行き情報との対応関係に基づいて仮想オブジェクトに対応する奥行き情報を取得できる。
一可能な実現形態では、仮想オブジェクトの奥行き情報は、画像における仮想モデルの位置移動に連れて変更できる。端末機器がローカルで仮想モデルを生成する場合を例として、端末機器は、仮想モデルの生成する過程で、奥行き情報を仮想モデルの位置情報に記録し、仮想モデルの位置情報を仮想オブジェクトの位置情報とすることができる。この場合、画像において仮想モデルを移動させると、仮想モデルの奥行き情報が画像における仮想モデルの位置に関連される。一可能な実現形態では、端末機器は、仮想オブジェクトが配置される位置の位置情報を取得し、前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定できる。
ステップＳ１４において、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させる。
なお、画像におけるオブジェクトが端末機器の撮像装置から遠いほど、その奥行き情報が大きいことが理解される。奥行き情報の比較的に大きいオブジェクトは、奥行き情報の比較的に小さいオブジェクトにより遮蔽されることができ、端末機器により捕捉された画像において奥行き情報の比較的に大きいオブジェクトの一部のみ表示できる。
図２は、一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートであり、図２に示すように、ステップＳ１４は、下記のステップを含む。
ステップＳ１４１において、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さいか否かを決定する。前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、ステップＳ１４２を実行し、そうでない場合、ステップＳ１４３を実行する。
ステップＳ１４２において、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させる。
一可能な実現形態では、前記ターゲットオブジェクトの各画素点の画素位置、及び前記仮想オブジェクトの各画素点の画素位置を取得できる。１つの画素位置に、ターゲットオブジェクトの画素点も存在し、仮想オブジェクトの画素点も存在する場合、この位置に仮想オブジェクトの画素点を描画しなくてもよい。１つの画素位置にターゲットオブジェクトの画素点が存在しないが、仮想オブジェクトの画素点が存在する場合、この位置に仮想オブジェクトの画素点を描画できる。
一例では、ターゲットオブジェクトが人であり、仮想オブジェクトが椅子であり、人の奥行き情報が椅子の奥行き情報より小さい。端末機器は、椅子の人により遮蔽されていない部分を前記画像に重畳させることができる。このようにして、人が椅子の前に立てたり、椅子に座ったりするシーンを提示できる。
ステップＳ１４３において、前記仮想オブジェクトを前記画像に重畳させる。
一例では、ターゲットオブジェクトが人であり、仮想オブジェクトが椅子であり、人の奥行き情報が椅子の奥行き情報以上である。端末機器は、直接に椅子を前記画像に重畳させることができる。このようにして、人が椅子の後ろに立てるシーンを提示できる。
異なる奥行き情報を有するオブジェクトの遮蔽関係は異なっており、この実施例では、ターゲットオブジェクトを取得したとき、端末機器は、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、ターゲットオブジェクトを取得したときに、比較せずに直接に重畳する、又は全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき、端末機器のＡＲアプリケーションにより良好に適用されることができる。また、本発明の実施例では、端末機器の撮像装置を使用してターゲットオブジェクトの奥行き情報を取得し、端末機器における実施例の適用に有利である。したがって、この実施例のＶＲオブジェクトの合成方法によれば、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
図３は、一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。図３を参照すると、このＶＲオブジェクトの合成装置３０は端末機器に適用され、この装置３０は、オブジェクト取得モジュール３１、第１の情報取得モジュール３２、第２の情報取得モジュール３３及び重畳モジュール３４を備える。
このオブジェクト取得モジュール３１は、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するように構成される。
この第１の情報取得モジュール３２は、前記奥行き情報融合モードで、前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるように構成される。
この第２の情報取得モジュール３３は、仮想オブジェクトの奥行き情報を取得するように構成される。
この重畳モジュール３４は、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるように構成される。
図４は、一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。図４を参照すると、一可能な実現形態では、この重畳モジュール３４は、第１の重畳サブモジュール３４１を備える。
この第１の重畳サブモジュール３４１は、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるように構成される。
一可能な実現形態では、この重畳モジュールは、第２の重畳サブモジュール３４２をさらに備える。
この第２の重畳サブモジュール３４２は、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるように構成される。
一可能な実現形態では、前記端末機器の撮像装置は、少なくとも２つのカメラを備え、この第１の情報取得モジュール３２は、第１の決定サブモジュール３２１を備える。
この第１の決定サブモジュール３２１は、前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するように構成される。
一可能な実現形態では、この第２の情報取得モジュール３３は、取得サブモジュール３３１及び第２の決定サブモジュール３３２を備える。
この取得サブモジュール３３１は、前記画像における前記仮想オブジェクトの位置情報を取得するように構成される。
この第２の決定サブモジュール３３２は、前記仮想オブジェクトの位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するように構成される。
上記実施例の装置において、各モジュールが操作を行う具体的な方法は、すでに関連方法の実施例で詳しく説明しており、ここで詳細な説明を省略する。
図５は、一例示的な実施例に係るＶＲオブジェクトの合成に用いられる装置８００を示すブロック図である。例えば、装置８００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
図５を参照すると、装置８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力/出力（Ｉ/Ｏ）インタフェース８１２、センサーユニット８１４、及び通信ユニット８１６からなる群から選ばれる少なくとも１つを備えてもよい。
処理ユニット８０２は、一般的には、装置８００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー８２０を備えてもよい。また、処理ユニット８０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット８０２は、マルチメディアユニット８０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
メモリ８０４は、装置８００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置８００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ８０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
電源ユニット８０６は、装置８００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置８００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
マルチメディアユニット８０８は、装置８００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを知覚するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を知覚できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も知覚できる。一実施例では、マルチメディアユニット８０８は、フロントカメラ及び/又はバックカメラを有してもよい。装置８００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び/又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオユニット８１０は、オーディオ信号を出力及び/又は入力するように配置される。例えば、オーディオユニット８１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置８００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ８０４にさらに記憶されてもよいし、通信ユニット８１６を介して送信されてもよい。一実施例では、オーディオユニット８１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
Ｉ/Ｏインタフェース８１２は、処理ユニット８０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
センサーユニット８１４は、装置８００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット８１４は、装置８００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置８００のディスプレイ及びキーパッドである。センサーユニット８１４は、装置８００又は装置８００の１つのユニットの位置の変化、ユーザによる装置８００への接触の有無、装置８００の方向又は加速/減速、装置８００の温度変化などを検出することができる。センサーユニット８１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット８１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット８１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
通信ユニット８１６は、装置８００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置８００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット８１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット８１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術によって実現されてもよい。
例示的な実施例では、装置８００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ８０４をさらに提供する。前記命令は、装置８００のプロセッサー８２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
図６は、一例示的な実施例に係るＶＲオブジェクトの合成に用いられる装置１９００を示すブロック図である。例えば、装置１９００はサーバーとして提供されてもよい。図６を参照すると、装置１９００は、１つ以上のプロセッサーがさらに含まれた処理ユニット１９２２と、処理ユニット１９２２により実行可能な命令、例えばプログラムを記憶するメモリ１９３２を代表とするメモリリソースとを含む。メモリ１９３２に記憶されたアプリケーションプログラムは、１つ以上のそれぞれが一組の命令に対応するモジュールを含んでもよい。また、上述した方法を実行するために、処理ユニット１９２２は命令を実行するように配置される。
装置１９００は、装置１９００の電源管理を実行するように配置された電源ユニット１９２６と、装置１９００をインターネットに接続させるように配置された有線又は無線インターネットインタフェース１９５０と、入力/出力（Ｉ/Ｏ）インタフェース１９５８とを備えてもよい。装置１９００はメモリ１９３２に記憶された操作システム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ, ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどに基づいて操作できる。
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ１９３２をさらに提供する。前記命令は、装置１９００の処理ユニット１９２２により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
本発明は、画像処理の技術分野に関し、特にＶＲオブジェクトの合成方法、装置、プログラム及び記録媒体に関する。
本発明は、関連技術に存在する問題を克服するために、ＶＲオブジェクトの合成方法、装置、プログラム及び記録媒体を提供し、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。

Claims (12)

  1. 端末機器に適用されるＶＲオブジェクトの合成方法であって、
    前記方法は、
    前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、
    奥行き情報融合モードで、前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるステップと、
    仮想オブジェクトの奥行き情報を取得するステップと、
    前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含むことを特徴とするＶＲオブジェクトの合成方法。
  2. 前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、
    前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるステップを含むことを特徴とする請求項１に記載のＶＲオブジェクトの合成方法。
  3. 前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、
    前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるステップを含むことを特徴とする請求項１に記載のＶＲオブジェクトの合成方法。
  4. 前記端末機器の撮像装置は、少なくとも２つのカメラを備え、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するステップは、
    前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するステップを含むことを特徴とする請求項１〜３のいずれか１項に記載のＶＲオブジェクトの合成方法。
  5. 仮想オブジェクトの奥行き情報を取得するステップは、
    前記仮想オブジェクトが配置される位置の位置情報を取得するステップと、
    前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載のＶＲオブジェクトの合成方法。
  6. 端末機器に適用されるＶＲオブジェクトの合成装置であって、
    前記装置は、
    前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するためのオブジェクト取得モジュールと、
    奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するためのもので、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである第１の情報取得モジュールと、
    仮想オブジェクトの奥行き情報を取得するための第２の情報取得モジュールと、
    前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるための重畳モジュールと、を備えることを特徴とするＶＲオブジェクトの合成装置。
  7. 前記重畳モジュールは、
    前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるための第１の重畳サブモジュールを備えることを特徴とする請求項６に記載のＶＲオブジェクトの合成装置。
  8. 前記重畳モジュールは、
    前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるための第２の重畳サブモジュールをさらに備えることを特徴とする請求項６に記載のＶＲオブジェクトの合成装置。
  9. 前記端末機器の撮像装置は、少なくとも２つのカメラを備え、第１の情報取得モジュールは、
    前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するための第１の決定サブモジュールを備えることを特徴とする請求項６〜８のいずれか１項に記載のＶＲオブジェクトの合成装置。
  10. 前記第２の情報取得モジュールは、
    前記仮想オブジェクトが配置される位置の位置情報を取得するための取得サブモジュールと、
    前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するための第２の決定サブモジュールと、を備えることを特徴とする請求項６〜８のいずれか１項に記載のＶＲオブジェクトの合成装置。
  11. プロセッサーと、
    プロセッサーで実行可能な指令を記憶するためのメモリを備え、
    ここで、前記プロセッサーは、請求項１〜５のいずれか１項に記載の方法を実行するように構成されることを特徴とするＶＲオブジェクトの合成装置。
  12. 記録媒体における命令がプロセッサーにより実行されると、請求項１〜５のいずれか１項に記載の方法が実現される非一時的コンピュータ読取可能な記録媒体。
JP2018567578A 2018-01-12 2018-08-20 Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体 Pending JP2020507136A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810029995.2A CN108182730B (zh) 2018-01-12 2018-01-12 虚实对象合成方法及装置
CN201810029995.2 2018-01-12
PCT/CN2018/101241 WO2019137006A1 (zh) 2018-01-12 2018-08-20 虚实对象合成方法及装置

Publications (1)

Publication Number Publication Date
JP2020507136A true JP2020507136A (ja) 2020-03-05

Family

ID=62550371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567578A Pending JP2020507136A (ja) 2018-01-12 2018-08-20 Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体

Country Status (7)

Country Link
US (1) US11636653B2 (ja)
EP (1) EP3511864A1 (ja)
JP (1) JP2020507136A (ja)
KR (1) KR102194094B1 (ja)
CN (1) CN108182730B (ja)
RU (1) RU2715797C1 (ja)
WO (1) WO2019137006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182730B (zh) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
CN108961197A (zh) * 2018-06-27 2018-12-07 联想(北京)有限公司 一种对象合成方法及装置
CN110716685B (zh) * 2018-07-11 2023-07-18 广东虚拟现实科技有限公司 图像显示方法，图像显示装置、***及其实体对象
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN109474816B (zh) * 2018-12-28 2024-04-05 上海北冕信息科技有限公司 增强现实的虚实融合装置及其虚实融合方法、设备、介质
CN109922331B (zh) * 2019-01-15 2021-12-07 浙江舜宇光学有限公司 一种图像处理方法及装置
CN111651031B (zh) * 2019-03-04 2023-08-29 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN110889890B (zh) * 2019-11-29 2023-07-28 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110910512B (zh) * 2019-11-29 2024-04-30 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
CN111416938B (zh) * 2020-03-27 2021-11-02 咪咕文化科技有限公司 一种增强现实合拍方法、设备及计算机可读存储介质
CN111638798A (zh) * 2020-06-07 2020-09-08 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质
CN111640203B (zh) * 2020-06-12 2024-04-12 上海商汤智能科技有限公司 一种图像处理方法及装置
CN111898640B (zh) * 2020-06-28 2023-10-31 武汉旷视金智科技有限公司 模拟抓拍机推送图片的方法、装置、测试***及电子设备
CN114125421A (zh) * 2020-09-01 2022-03-01 华为技术有限公司 图像处理方法、移动终端及存储介质
CN112394815A (zh) * 2020-11-20 2021-02-23 歌尔科技有限公司 基于增强现实的绘画辅助方法、增强现实设备和存储介质
CN113160308A (zh) * 2021-04-08 2021-07-23 北京鼎联网络科技有限公司 一种图像处理方法和装置、电子设备及存储介质
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN113269782B (zh) * 2021-04-21 2023-01-03 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
CN114564108A (zh) * 2022-03-03 2022-05-31 北京小米移动软件有限公司 图像展示的方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
US20120176410A1 (en) * 2009-08-18 2012-07-12 Metaio Gmbh Method for representing virtual information in a real environment
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US20150279103A1 (en) * 2014-03-28 2015-10-01 Nathaniel D. Naegle Determination of mobile display position and orientation using micropower impulse radar

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
DE102008060301B4 (de) 2008-12-03 2012-05-03 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kraftschlüssigen Verbinden von glasartigen Bauteilen mit Metallen sowie Computerprogramm und maschinenlesbarer Träger zur Durchführung des Verfahrens
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5791434B2 (ja) * 2011-08-31 2015-10-07 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴***和虚拟试穿试戴方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实***中基于虚拟模型预处理的虚实遮挡处理方法
US9224237B2 (en) * 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
JP5762600B1 (ja) * 2014-06-06 2015-08-12 キヤノン株式会社 情報処理装置及び情報処理方法
US20160019718A1 (en) * 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
RU2606874C1 (ru) * 2015-12-02 2017-01-10 Виталий Витальевич Аверьянов Способ управления устройством формирования среды дополненной реальности
CN105931289B (zh) * 2016-04-14 2019-08-09 大连新锐天地文化科技有限公司 实现真实模型遮盖虚拟物体的***及方法
GB2551396B (en) * 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
JP2018097141A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 頭部装着型表示装置、仮想物体表示システム
CN108182730B (zh) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
US20120176410A1 (en) * 2009-08-18 2012-07-12 Metaio Gmbh Method for representing virtual information in a real environment
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US20150279103A1 (en) * 2014-03-28 2015-10-01 Nathaniel D. Naegle Determination of mobile display position and orientation using micropower impulse radar

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN108182730A (zh) 2018-06-19
KR102194094B1 (ko) 2020-12-22
US20190221041A1 (en) 2019-07-18
EP3511864A1 (en) 2019-07-17
RU2715797C1 (ru) 2020-03-03
WO2019137006A1 (zh) 2019-07-18
CN108182730B (zh) 2022-08-12
US11636653B2 (en) 2023-04-25
KR20190086658A (ko) 2019-07-23

Similar Documents

Publication Publication Date Title
JP2020507136A (ja) Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体
CN110321048B (zh) 三维全景场景信息处理、交互方法及装置
CN107341777B (zh) 图片处理方法及装置
CN110288716B (zh) 图像处理方法、装置、电子设备及存储介质
CN106774849B (zh) 虚拟现实设备控制方法及装置
US20180144546A1 (en) Method, device and terminal for processing live shows
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
CN108346179B (zh) Ar设备显示方法和装置
CN112860061A (zh) 场景图像展示方法及装置、电子设备和存储介质
CN108616719B (zh) 监控视频展示的方法、装置及***
CN109218709B (zh) 全息内容的调整方法及装置和计算机可读存储介质
US11600300B2 (en) Method and device for generating dynamic image
CN107437269B (zh) 一种处理图片的方法及装置
CN108924529B (zh) 图像显示的控制方法及装置
CN113286073A (zh) 拍摄方法、拍摄装置及存储介质
CN109544698B (zh) 图像展示方法、装置及电子设备
US11252341B2 (en) Method and device for shooting image, and storage medium
KR102557592B1 (ko) 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备
US9619016B2 (en) Method and device for displaying wallpaper image on screen
CN112634339B (zh) 商品对象信息展示方法、装置及电子设备
CN106598217B (zh) 显示方法、显示装置和电子设备
CN109407942B (zh) 一种模型处理方法、装置、控制客户端及存储介质
CN112689086A (zh) 一种信息确定方法、电子设备和计算机可读存储介质
CN111787215A (zh) 拍摄方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201016

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201016

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201027

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201028

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201127

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201201

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210706

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220405

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220510

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220510