JP2020521992A - モジュラー型ｍｒ装置のための撮像方法 - Google Patents

モジュラー型ｍｒ装置のための撮像方法 Download PDF

Info

Publication number
JP2020521992A
JP2020521992A JP2019546878A JP2019546878A JP2020521992A JP 2020521992 A JP2020521992 A JP 2020521992A JP 2019546878 A JP2019546878 A JP 2019546878A JP 2019546878 A JP2019546878 A JP 2019546878A JP 2020521992 A JP2020521992 A JP 2020521992A
Authority
JP
Japan
Prior art keywords
image
main
smartphone
auxiliary
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019546878A
Other languages
English (en)
Other versions
JP7212819B2 (ja
Inventor
ボータオ フー
ボータオ フー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Lightflow Technology Co ltd
Original Assignee
Fuzhou Lightflow Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Lightflow Technology Co ltd filed Critical Fuzhou Lightflow Technology Co ltd
Publication of JP2020521992A publication Critical patent/JP2020521992A/ja
Application granted granted Critical
Publication of JP7212819B2 publication Critical patent/JP7212819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

モジュラー型複合現実感（ＭＲ）装置のための撮像方法であって、ＭＲ装置は、ＭＲ計算モジュール（Ａ）と、ＭＲ光路モジュール（１）と、ＭＲ姿勢モジュールとを含み、ＭＲ計算モジュールはディスプレイアセンブリ（１０９）を含み、ＭＲ計算モジュールはＭＲ姿勢モジュールに接続され、ＭＲ姿勢モジュールによって取得されたデータに従って表示内容を調整し、ＭＲ光路モジュールは、仮想画像光路と混合光路とを含み、仮想画像光路はディスプレイアセンブリに接続されており、半透明・半反射鏡（４）が混合光路中に設けられ、半透明・半反射鏡の一方の面が実画像導入面であり、他方の面が仮想画像導入面であり、実画像導入面は実環境に面し、仮想画像導入面は仮想画像光路に面し、ディスプレイアセンブリの表示内容は、仮想画像光路によって処理され、仮想画像を形成するために伝達され、仮想画像光は仮想画像導入面により観察端（６０１）上に反射され、実環境光は実画像導入面により観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する。そのようなＭＲ装置は低コストであり、多くのＭＲ相互作用効果を柔軟に定義することができる。

Description

本発明はディスプレイ装置の分野に関し、より詳細にはモジュラー型複合現実感（ＭＲ）装置のための撮像方法に関する。
本ＭＲ装置は、実環境の背景に仮想画像を重ね合わせることができるディスプレイ装置である。過去においては、そのような装置は通常高性能のコンピューティング装置と複雑な光路とから構成されており、価格が高く、使用するのに不便である。本携帯仮想現実（ＶＲ）メガネは、ディスプレイの中核として普及している携帯電話を利用しており、仮想現実画像を形成するコストを大幅に削減し、使用するのにより便利である。
ＭＲ装置のコストを大幅に削減するためにいかに携帯ＶＲメガネのディスプレイ原理をＭＲ装置に適用するかは、本発明によって解決されるべき技術的な問題である。
本発明は、安価なＭＲ装置を製造することができ、豊富なＭＲ相互作用効果を柔軟に与えることができるモジュラー型ＭＲ装置の撮像方法を提供する。
本発明は以下の技術的解決策を採用している。
モジュラー型ＭＲ装置撮像方法であって、ＭＲ装置は、ＭＲ計算モジュール、ＭＲ光路モジュール、およびＭＲ姿勢モジュールを含み、ＭＲ計算モジュールは、ディスプレイアセンブリを含み、ＭＲ姿勢モジュールは、撮像アセンブリとＩＭＵアセンブリとを含み、撮像アセンブリは、ディスプレイアセンブリの予め設定された角度方向の画像データを取得するように構成され、ＩＭＵアセンブリは、ＭＲ装置の姿勢データを収集するように構成され、ＭＲ計算モジュールは、ＭＲ姿勢モジュールに接続され、ＭＲ姿勢モジュールによって取得された画像データおよび姿勢データに従ってディスプレイアセンブリの表示内容を調整し、
ＭＲ光路モジュールは、仮想画像光路と混合光路とを含み、仮想画像光路はディスプレイアセンブリに接続され、混合光路の入力端は仮想画像光路に接続され、出力端は観察端であり半透明・半反射鏡が混合光路上に提供され、半透明・半反射鏡の一方の面は、実画像導入面であり、鏡のもう一方の面は仮想画像導入面であり、実画像導入面は実環境に面しており、仮想画像導入面は仮想画像光路に面し、ディスプレイアセンブリの表示内容は、仮想画像を形成するために仮想画像光路によって処理および伝達され、仮想画像光は仮想画像導入面により観察端上に反射され、実環境光は実画像導入面により、観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する、モジュラー型ＭＲ装置撮像方法。
ＭＲ計算モジュールはメインスマートフォンであり、ディスプレイアセンブリはメインスマートフォンのディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと補助ＩＭＵアセンブリとからなる。メインＩＭＵアセンブリは、ディスプレイアセンブリの姿勢データを収集し、メインスマートフォン内で構成される。補助ＩＭＵアセンブリは、メインスマートフォンに無線接続された１つ以上の制御装置内で構成され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置に配置されたカメラである。
ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォンはＭＲヘッドマウントメカニズムに固定され、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、制御装置は、ゲームコントローラ、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、もしくはユーザーの手足に結びつけられた補助電話のいずれかである。
ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、フィールドレンズは２つのフレネルレンズからなり、メインスマートフォンは、静置板の上に水平に置かれる。ＭＲヘッドマウントメカニズムが動作している間は、メインスマートフォンはＶＲ分割画面モード画像を、水平二分割画面の形で表示し、二分割画面の画像光は、全反射鏡を介して２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光は予め設定された画角を有する２つの仮想画像光路を形成する。仮想画像光は仮想画像導入面を介して観察端上に反射され、実環境光は記実画像導入面を介して観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成する。
メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォンの姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォンの姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、姿勢画像として画像を連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整する。
水平二分割画面の形式で表示される画像は、仮想キャラクターと制御識別子とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。
メインスマートフォンは、外部装置とネットワークによって接続され、水平二分割画面の形式で表示された画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれの実装を実行する。
撮像方法は、以下のステップを順次含む。
ユーザーが、ＭＲアプリケーションが予めインストールされているメインスマートフォンをＭＲヘッドマウントメカニズムの静置板に固定し、同じくＭＲアプリケーションが予めインストールされたスマートフォンである補助電話を保持するステップＡ１と、
ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、
メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端上に反射され、実環境光は実画像導入面により、観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、画像を姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整するように構成されたステップＡ４と、
ユーザーは補助携帯電話を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、補助電話上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集するように構成され、制御端末は補助電話の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするように構成されるステップＡ５と、
ＭＲ計算モジュールは、補助電話の姿勢データおよび位置データに従って複合現実感画像上に制御識別子を生成するように構成され、制御識別子は補助電話の移動とともに移動し、複合現実感画像上の制御識別子が、仮想キャラクターと接触しているかまたは隣接するときに、仮想キャラクターが制御識別子と対話するステップＡ６と、
仮想キャラクターが外部装置に対応し、仮想キャラクターが制御識別子と対話しているとき、外部装置は対話内容に従って対応する実装を実行するステップＡ７と、を順次含む。
メインスマートフォンおよび補助電話は、単眼視覚慣性走行距離計法によって統合空間位置特定データを生成し共有し、単眼視覚慣性走行距離計法は；
メインスマートフォンおよび補助電話が、それぞれ姿勢画像を生成するカメラによって画像を収集するように構成され、メインスマートフォンおよび補助電話は、それぞれ内蔵されたＩＭＵアセンブリによって姿勢データを収集するように構成され、メインスマートフォンおよび補助電話は、それぞれ姿勢画像と姿勢データとを関連付け、それぞれの空間画像関連付けデータを形成し、メインスマートフォンおよび補助電話は、ネットワーク接続を介してそれぞれの空間画像関連データを集約して、メインスマートフォンおよび補助電話内に統合空間画像関連データベースを生成するステップＢ１と、
メインスマートフォンおよび補助電話が移動中に姿勢画像および姿勢データを順次収集し、収集した姿勢画像および姿勢データをそれぞれ空間画像関連データベースに追加して関連付けるステップＢ２と、
移動中、メインスマートフォンおよび補助電話が、収集された姿勢画像および姿勢データを空間画像関連データベースのそのデータと比較して、現在の空間における電話の正確な位置を取得し、電話の軌道および姿勢の変化を予測するステップＢ３と、
メインスマートフォンおよび補助電話が移動中に空間画像関連データベースを読み込み、収集した姿勢画像を、同じ座標および同じ姿勢から収集された過去Ｎの時間フレームにおける姿勢画像および姿勢データと比較し、収集された姿勢画像と過去Ｎの時間フレーム内の姿勢画像および姿勢データとの間に差異があるときに空間画像関連データベースを更新するステップＢ４と、
ステップＢ３およびＢ４において、メインスマートフォンおよび補助電話が、データを予め設定された許容範囲閾値と比較および検証して、空間位置の効率および堅牢性を向上させるステップＢ５と、を含む。
ＭＲヘッドマウントメカニズムはシートで構成され、シートに、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃを備え、折り畳み部Ａは、半透明・半反射鏡およびフィールドレンズで固定され、折り畳み部Ｂは全反射鏡で固定され、折り畳み部Ｃには静置板が設けられ、静置板は、メインスマートフォンの後部カメラによって外部画像を収集するための観察孔を備える。
ＭＲヘッドマウントメカニズムを準備する方法は、
レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、画像光の入射面は全反射鏡壁に面し、全反射鏡壁は全反射鏡を備え、観察孔は観察孔壁に位置し、観察孔に面する菱形柱の側壁は半透明・半反射鏡であり、半透明・半反射鏡は半透明・半反射鏡壁に位置するステップＢ１と、
折り畳み部Ａで遮光板を広げ、観察孔壁に遮光板を挿入するステップＢ２と、
折り畳み部Ｃを広げ、後部カメラを有するメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光画像の入射面に折り畳み、観察端は観察孔を含み、そこではメインスマートフォンが水平二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。
静置板の底部はダンパーで構成されており、静置板は、ベルクロ（登録商標）テープまたはバックルを介してハウジングに取り外し可能に連結され、静置板はハウジングに固定的に連結されている。
ＭＲ計算モジュールはメインスマートフォンであり、ディスプレイアセンブリはメインスマートフォンのディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと０個以上の補助ＩＭＵアセンブリとから構成され、メインＩＭＵアセンブリは、ディスプレイアセンブリの姿勢データを収集し、メインスマートフォン内で構成され、補助ＩＭＵアセンブリは、メインスマートフォンに無線で接続された１つ以上の制御装置に配置され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置の位置にあるカメラでオプションである。
ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォンはＭＲヘッドマウントメカニズムに固定され、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、ユーザーの手足に結び付けられた補助電話のいずれかる。
ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、フィールドレンズは２つのフレネルレンズによって組み合わされ、メインスマートフォンは、静置板上に水平に置かれ、ＭＲヘッドマウントメカニズムが作動しているときにメインスマートフォンが横方向の二分割画面の形式でＶＲ分割画面モード画像を表示し、二分割画面の画像光が全反射鏡によって２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面により観察端に反射され、実環境光は実像導入面により観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する。
メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォンの姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォン姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、連続的に特徴点の姿勢画像として画像を収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションとメインスマートフォンの姿勢データのバリエーションとに基づいてメインスマートフォンの空間位置を算出し、その空間位置に基づいて二分割画面上の画像を調整する。
水平方向の二分割画面の形式で表示される画像は、仮想キャラクターと制御識別子とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリまたは補助撮像アセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子の空間位置を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。
メインスマートフォンは、外部装置とネットワークによって接続され、水平二分割画面の形式で表示された画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれの実装を実行する。
撮像方法は、
ユーザーが、ＭＲアプリケーションが予めインストールされているメインスマートフォンをＭＲヘッドマウントメカニズムの静置板に固定し、同じくＭＲアプリケーションが予めインストールされたスマートフォンである補助電話を保持するステップＡ１と、
ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、
メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端上に反射され、実環境光は実画像導入面によって観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、画像を特徴点の姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従ってメインスマートフォンの空間位置を計算し、空間位置に基づいて、二分割画面上の画像を調整するステップＡ４と、
制御装置がスマートフォンである場合、ユーザーは制御装置を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、制御装置上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集し、制御端末は制御装置の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするステップＡ５と、
ＭＲ計算モジュールは、補助電話の姿勢データおよび位置データに従って複合現実感画像上に制御識別子を生成し、制御識別子は補助電話の移動とともに移動し、複合現実感画像上の制御識別子が、仮想キャラクターと接触しているかまたは隣接するときに、仮想キャラクターが制御識別子と対話するステップＡ６と、
仮想キャラクターが外部装置に対応し、仮想キャラクターが制御識別子と対話しているとき、外部装置は対話内容に従って対応する実装を実行するステップＡ７と、を順次含む。
ＭＲヘッドマウントメカニズムは薄いシートで構成され、シートには、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃがあり、折り畳み部Ａは、半透明・半反射鏡およびフィールドレンズで固定され、折り畳み部Ｂは全反射鏡で固定され、折り畳み部Ｃには静置板が設けられ、静止板は、メインスマートフォンの後部カメラによって外部画像を収集するための観察孔を備えて構成される。
ＭＲヘッドマウントメカニズムを準備する方法は、
レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、画像光の入射面は全反射鏡壁に面し、全反射鏡壁は全反射鏡を備え、観察孔は観察孔壁に位置し、観察孔に面する菱形柱の側壁は半透明・半反射鏡であり、半透明・半反射鏡は半透明・半反射鏡壁に位置するステップＢ１と、
折り畳み部Ａで遮光板を広げ、観察孔壁に遮光板を挿入するステップＢ２と、
折り畳み部Ｃを広げ、後部カメラを有するメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光画像の入射面に折り畳み、観察端は観察孔を含み、そこではメインスマートフォンが水平二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。
本発明はモジュラー型設計を採用しており、ＭＲ装置の光路は再生源に依存しない。装置は、再生源として機能する携帯電話のディスプレイ機能が、ＭＲヘッドマウントメカニズムの光路の対応範囲に適合していれば使用が可能である。ＭＲヘッドマウントメカニズムのハウジングは、電子機器なしで構成することができ、またはスマートフォンに適合する数個のセンサーのみを装備して、それによってＭＲメガネの製造コストを大幅に削減することができる。
本発明では、ＭＲ装置の仮想ビデオ源は、ＭＲ装置が使用されるときにＭＲ装置の一部としてＭＲ装置の静置板内に置かれるスマートフォンであるため、ＭＲ装置の対話型機能はスマートフォンのハードウェアとソフトウェアのパフォーマンスのアップグレードにより改善し得る。さらに、ハードウェア電話をアップグレードするか、単に電話アプリケーションを内部的に更新することで、ＭＲ装置の機能をアップグレードすることができ、従来のＭＲ装置を装置の供給者と結び付ける必要性を回避し、アップグレードプロセスがより便利で経済的になる。例えば、スマートフォンが磁力計、ジャイロスコープ、および加速度センサーを搭載している場合、ＭＲディスプレイのアプリケーションを利用してスマートフォンがこれらのセンサーを介して機能することができれば、複合現実感画像の位置を表示することができる。複合現実感画像の仮想画像はＭＲ装置の方向および動きと相互作用し、ＩＭＵアセンブリの機能性および収集性能が向上するとＭＲ装置の機能性も向上する。
本発明では、ＭＲ装置の光路部分が薄いシートの折り畳み部からなるので、ＭＲメガネの価格および強度に対する様々な市場の要求を満たすために光路基板に異なる材料を使用することができる。
本発明では、静置板は、画像プレーヤの後方カメラが外部画像を収集することができる観察孔を有するように構成され、画像プレーヤはスマートフォンであり、スマートフォンのカメラの撮影方向はＭＲ装置の実際の観察方向と同じであるため、ＭＲ装置の実際の観察方向は観察孔の方向である。本設計は、ＭＲ装置の仮想画像と電話機のカメラによって取り込まれた外部画像との間の相互作用を可能にする。電話機のカメラで取り込まれた画像は、観察孔を通して見た実画像とほぼ同じであるため、仮想画像が実画像と相互作用するとき、スマートフォンのＭＲディスプレイアプリケーションは仮想画像がそれに対応して対話することを可能にする。例えば、スマートフォンのＭＲディスプレイアプリケーションが仮想画像としてやかんを表示し、ＭＲ装置の観察孔が火に面した場合、スマートフォンのカメラは火の画像を収集してＭＲディスプレイアプリケーションに送信し、次に、アプリケーションは自動的にやかんを仮想画像中で沸騰した湯水の入ったやかんに変換する。
本発明では、ディスプレイ用スマートフォンと制御用スマートフォンとが無線で接続された２つの独立した機器であるため、ＭＲ装置の制御性を大幅に拡張することができる。対応するＭＲアプリケーションを制御用スマートフォンまたはゲーム機にインストールするだけで、ゲームガン、シールド、グラブ、メカニカルアーム、その他のファイル制御アイコンなど、さまざまな制御識別子の複合現実感画像上に仮想ディスプレイを表示することができる。
本発明では、ディスプレイ用スマートフォンと制御用スマートフォンまたはゲーム機が無線で接続された独立した機器であるため、ＭＲ装置の制御性を大幅に拡張することができる。対応するＭＲアプリケーションを制御用スマートフォンまたはゲーム機にインストールするだけで、ゲームガン、シールド、グラブ、メカニカルアーム、その他のファイル制御アイコンなど、さまざまな制御識別子の複合現実感画像上に仮想ディスプレイを表示することができる。
本ＭＲ装置の光路モジュールは薄いシートを折りたたんで構成されているので、コストは極めて低い。さらに、コンピューティングおよび制御装置がソフトウェアのインストールが可能なスマートフォンであるため、ユーザーはＭＲ装置の様々なモジュールを低コストで入手することができる。スマートフォン上のアプリケーションの設定機能を通して、ＭＲ装置はオフィスまたは家庭の設定と完全に統合するように考案することができ、従ってＭＲ装置の有用性を大いに改善する。例えば、ユーザーがＭＲヘッドマウントメカニズムを装着した後、ハンドヘルドスマートフォンを介してファイル制御アイコンを仮想的に制御し、原稿を複合現実状態でレビューし、それを印刷のために仕上げる。その後、ユーザーはファイル制御アイコンを操作して複合現実状態の仮想プリンタアイコンに直接移動させることができる。仮想プリンタアイコンは実際のプリンタに割り当てられるので、ファイル制御アイコンと仮想プリンタアイコンとの相互作用は印刷コマンドを送信することと同等であり、実際のプリンタは直接印刷コマンドを実行する。
本発明は、添付の図面および特定の実施形態を参照して以下にさらに詳細に説明される。
図１は本発明の概略図である。
図２は別の方向から見た本発明の概略図である。
図３は本発明の光路の概略図である。
図４は本発明のレンズの概略構成図である。
図５は本発明のハウジングの折り畳み過程を示す概略図である。
図６は本発明の斜視図である。
図７は本発明の別の斜視図である。
図８は本発明による水平二分割画面の形式でＶＲ分割画面モードで画像を再生するメインスマートフォンを示す概略図である。
図において：１-ＭＲ光路モジュール；２-全反射鏡；３-フィールドレンズ；４-半透明・半反射鏡；５-静置板；６-遮光板；６０１-観察端；７-ダンパー；ａ-ＭＲ計算モジュール；
１０１-フレネルレンズ；１０２-観察孔；１０３-折り畳み部Ｃ；１０４-折り畳み部Ａ；１０５-折り畳み部Ｂ；１０６-メインスマートフォン；１０７-制御識別子；１０８-仮想キャラクター；１０９-ディスプレイアセンブリ。
図１−８はモジュラー型ＭＲ装置の撮像方法を示す。ＭＲ装置は、ＭＲ計算モジュールＡ、ＭＲ光路モジュール１、およびＭＲ姿勢モジュールを含み、ＭＲ計算モジュールＡはディスプレイアセンブリ１０９を含み、ＭＲ姿勢モジュールは撮像アセンブリとＩＭＵアセンブリとを含み、撮像アセンブリはディスプレイアセンブリの予め設定された角度方向にディスプレイアセンブリ上の画像を収集するように構成され、ＩＭＵアセンブリはＭＲ装置の姿勢データを収集するように構成され、ＭＲ計算モジュールは、ＭＲ姿勢モジュールに接続され、ＭＲ姿勢モジュールによって取得された画像データおよび姿勢データに従ってディスプレイアセンブリの表示内容を調整する。
ＭＲ光路モジュール１は、仮想画像光路と混合光路とを含み、仮想画像光路はディスプレイアセンブリに接続され、混合光路の入力端は仮想画像光路に接続され、その出力端は観察端であり、半透明・半反射鏡４が混合光路上に構成され、半透明・半反射鏡４は、一方の面に実画像導入部、他方の面に仮想画像導入部を備えて構成され、実画像導入面は実環境に面しており、仮想画像導入面は仮想画像光路に面し、ディスプレイアセンブリの表示内容は、仮想画像光路によって処理され、仮想画像を形成するために伝達され、仮想画像光は仮想画像導入面により観察端に反射され、実環境光は実画像導入面により、観察端６０１に伝達され、仮想画像と混合されて複合現実感画像を形成する。
ＭＲ計算モジュールはメインスマートフォン１０６であり、ディスプレイアセンブリは、メインスマートフォン１０６のディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと補助ＩＭＵアセンブリとを含み、メインＩＭＵアセンブリは、ディスプレイアセンブリの姿勢データを収集し、メインスマートフォン内で構成され、補助ＩＭＵアセンブリは、メインスマートフォンに無線で接続された１つ以上の制御装置の位置で構成され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置の位置で構成されるカメラである。
ＭＲ光路モジュール１はパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォン１０６はＭＲヘッドマウントメカニズム１に固定され、メイン撮像アセンブリは、メインスマートフォンの後部カメラであり、制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、ユーザーの手足に結び付けられた補助電話のいずれかである。
ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板５、全反射鏡２およびフィールドレンズ３を含み、フィールドレンズ３は２つのフレネルレンズ１０からなり、メインスマートフォン１０６は、静置板５の上に水平に置かれる。ＭＲヘッドマウントメカニズムが作動している間、メインスマートフォンは、ＶＲ分割画面モード画像を水平二分割画面の形式で表示し、二分割画面の画像光が全反射鏡によって２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させ、その結果、画像光が予め設定された画角を有する二つの仮想画像光路を形成し、仮想画像光は仮想画像導入面を介して観察端に反射され、実環境光は実画像導入面を介して観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成する。
メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォン１０６の姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォン姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、姿勢画像として画像を連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整する。
横方向の二分割画面の形式で表示される画像は、仮想キャラクター１０８と制御識別子１０７とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。
メインスマートフォンは、外部装置とネットワークによって接続され、横方向の二分割画面の形式で表示された画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれの実装を実行する。
撮影方法は、
ユーザーが、ＭＲアプリケーションが予めインストールされているメインスマートフォン１０６をＭＲヘッドマウントメカニズムの静置板に固定し、同じくＭＲアプリケーションが予めインストールされたスマートフォンである補助電話を保持するステップＡ１と、
ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、
メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは横方向の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズは二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端に反射され、実環境光は実画像導入面によって観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中に、画像を姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整するステップＡ４と、
ユーザーは補助携帯電話を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、補助電話上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集し、制御端末は補助電話の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするステップＡ５と、
ＭＲ計算モジュールは、補助電話の姿勢データおよび位置データに従って複合現実感画像上に制御識別子を生成し、制御識別子は補助電話の移動とともに移動し、複合現実感画像上の制御識別子が、仮想キャラクターと接触しているかまたは隣接するときに、仮想キャラクターが制御識別子と対話するステップＡ６と、
仮想キャラクターが外部装置に対応し、仮想キャラクターが制御識別子と対話しているとき、外部装置は対話内容に従って対応する実装を実行するステップＡ７と、を順次含む。
メインスマートフォンおよび補助電話は、単眼視覚慣性走行距離計法によって統合空間位置特定データを生成し共有し、単眼視覚慣性走行距離計法は、
メインスマートフォンおよび補助電話が、それぞれ姿勢画像を生成するためにカメラによって画像を収集するように構成され、メインスマートフォンおよび補助電話は、それぞれ内蔵されたＩＭＵアセンブリによって姿勢データを収集し、メインスマートフォンおよび補助電話は、それぞれ姿勢画像と姿勢データとを関連付け、それぞれの空間画像関連付けデータを形成し、メインスマートフォンおよび補助電話機は、ネットワーク接続を介してそれぞれの空間画像関連データを集約して、メインスマートフォンおよび補助電話内に統合空間画像関連データベースを生成するステップＢ１と、
メインスマートフォンおよび補助電話が移動中に姿勢画像および姿勢データを順次収集し、収集した姿勢画像および姿勢データをそれぞれ空間画像関連データベースに追加して関連付けるステップＢ２と、
移動中、メインスマートフォンおよび補助電話が、収集された姿勢画像および姿勢データを空間画像関連データベースのそのデータと比較して、現在の空間における電話の正確な位置を取得し、電話の軌道および姿勢の変化を予測するステップＢ３と、
メインスマートフォンおよび補助電話が移動中に空間画像関連データベースを読み込み、収集した姿勢画像を、同じ座標および同じ姿勢から収集された過去Ｎの時間フレームにおける姿勢画像および姿勢データと比較し、収集された姿勢画像と過去Ｎの時間フレーム内の姿勢画像および姿勢データとの間に差異があるときに空間画像関連データベースを更新するステップＢ４と、
ステップＢ３およびＢ４において、メインスマートフォンおよび補助電話が、データを予め設定された許容範囲閾値と比較および検証して、空間位置の効率および堅牢性を向上させるステップＢ５と、を含む。
ＭＲヘッドマウントメカニズムはシートで構成され、シートは、長さに沿って折り畳み部Ａ１０４、折り畳み部Ｂ１０５、および折り畳み部Ｃ１０６を備え、折り畳み部Ａ１０４は、半透明・半反射鏡とフィールドレンズで固定され、折り畳み部Ｂ１０５は全反射鏡で固定され、折り畳み部Ｃ１０６には静置板が設けられ、静置板５は、メインスマートフォン１０６の後部カメラによって外部画像を収集するための観察孔を備える。
ＭＲヘッドマウントメカニズムを準備する方法は、
レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、 菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、画像光の入射面は全反射鏡壁に面し、全反射鏡壁は全反射鏡を備え、観察孔は観察孔壁に位置し、観察孔に面する菱形柱の側壁は半透明・半反射鏡であり、半透明・半反射鏡は半透明・半反射鏡壁に位置するステップＢ１と、
折り畳み部Ａで遮光板６を広げ、観察孔壁に遮光板６を挿入するステップＢ２と、
折り畳み部Ｃを広げ、後部カメラのあるメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光の入射面に折り畳み、観察端は観察孔１０２を含み、そこではメインスマートフォンが横方向の二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。
静置板５の底部はダンパー７で構成されており、静置板は、ベルクロ（登録商標）テープまたはバックルを介してハウジングに取り外し可能に連結され、静置板はハウジングに固定的に連結されている。
本発明の別の技術的解決策では、ＭＲ計算モジュールはメインスマートフォンであり、ディスプレイアセンブリは、メインスマートフォンのディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと０個以上の補助ＩＭＵアセンブリを備え、メインＩＭＵアセンブリはディスプレイアセンブリの姿勢データを収集し、メインＩＭＵアセンブリはメインスマートフォン内に配置され、補助ＩＭＵアセンブリは、メインスマートフォンに無線で接続された１つ以上の制御装置に配置され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置の位置にあるカメラでオプションである。
ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォンはＭＲヘッドマウントメカニズムに固定され、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、ユーザーの手足に結び付けられた補助電話のいずれかである。
ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、フィールドレンズは２つのフレネルレンズからなり、ここでメインスマートフォンは、静置板上に水平に置かれ、ＭＲヘッドマウントメカニズムが作動しているときにメインスマートフォンが横方向の二分割画面の形式でＶＲ二分割画面モードの画像を表示し、続いて二分割画面の画像光が全反射鏡によって２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が予め設定された視角を有する二つの仮想画像光路を形成し、仮想画像光は仮想画像導入面により観察端に反射され、実環境光は実像導入面により観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する。
メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォンの姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォンの姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、連続的に特徴点の姿勢画像として画像を収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションとメインスマートフォンの姿勢データのバリエーションとに基づいてメインスマートフォンの空間位置を算出し、その空間位置に基づいて二分割画面上の画像を調整する。
横方向の二分割画面の形式で表示される画像は、仮想キャラクターと制御識別子とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリまたは補助撮像アセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子の空間位置を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。
メインスマートフォンは、外部装置とネットワークによって接続され、横方向の二分割画面の形式で表示された前画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれ実行する。
撮影方法は、以下のステップを順次含む。
ユーザーが、ＭＲアプリケーションが予めインストールされているメインスマートフォンをＭＲヘッドマウントメカニズムの静置板に固定し、同じくＭＲアプリケーションが予めインストールされたスマートフォンである補助電話を保持するステップＡ１と、
ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、
メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端に反射され、実環境光は実画像導入面によって観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中に、画像を特徴点の姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従ってメインスマートフォンの空間位置を計算し、空間位置に基づいて、二分割画面上の画像を調整するステップＡ４と、
制御装置がスマートフォンである場合、ユーザーは制御装置を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、制御装置上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集し、制御端末は制御装置の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするステップＡ５と、
ＭＲ計算モジュールは、補助電話の姿勢データおよび位置データに従って複合現実感画像上に制御識別子を生成し、制御識別子は補助電話の移動とともに移動し、複合現実感画像上の制御識別子が、仮想キャラクターと接触しているかまたは隣接するときに、仮想キャラクターが制御識別子と対話するステップＡ６と、
仮想キャラクターが外部装置に対応し、仮想キャラクターが制御識別子と対話しているとき、外部装置は対話内容に従って対応する実装を実行するステップＡ７、を順次含む。
ＭＲヘッドマウントメカニズムは薄いシートで構成され、シートには、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、折り畳み部Ｃがあり、折り畳み部Ａは、半透明・半反射鏡およびフィールドレンズで固定され、折り畳み部Ｂは全反射鏡で固定され、折り畳み部Ｃには静置板が設けられ、静止板は、メインスマートフォンの後部カメラによって外部画像を収集するための観察孔を備える。
ＭＲヘッドマウントメカニズムを準備する方法は、
レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、画像光の入射面は全反射鏡壁に面し、全反射鏡壁は全反射鏡を備え、観察孔は観察孔壁に位置し、観察孔に面する菱形柱の側壁は半透明・半反射鏡であり、半透明・半反射鏡は半透明・半反射鏡壁に位置するステップＢ１と、
折り畳み部Ａで遮光板を広げ、観察孔壁に遮光板を挿入するステップＢ２と、
折り畳み部Ｃを広げ、後部カメラを有するメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光画像の入射面に折り畳み、観察端は観察孔を含み、そこではメインスマートフォンが横方向の二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。
本実施例では、ユーザーがメインスマートフォンおよび補助スマートフォンによって共有される統一された空間位置データに統一された座標系の原点を設定する必要がある場合、考えられる方法の１つは、デバイスが最初に使用されるときにメインスマートフォンと補助スマートフォンとが同じターゲット上で初期姿勢を収集するようにし、初期姿勢の特徴点を座標系の原点として識別してマークできるようにすることである。
実施例：
ユーザーのメインスマートフォンおよび補助スマートフォンにＭＲアプリケーションをインストールし、メインスマートフォンをＭＲヘッドマウントメカニズムの静置板に固定し、補助スマートフォンを手で保持する。
ユーザーがＭＲヘッドマウントメカニズムを装着した後、ハンドヘルド補助スマートフォンは制御ハンドルとして機能し、補助スマートフォンは仮想的に複合現実の中に表示されているファイルアイコンを操作する。
観察孔１０２と半透明・半反射鏡４を介して、ユーザーは複合現実内で実環境の紙原稿を直接的にレビューする。紙原稿はファイル制御アイコンに関連付けられ、ファイル制御アイコンは紙原稿の対応するコンピュータファイルに関連付けられる。
ユーザーが印刷するために、複合現実における原稿のレビューおよび仕上げを終了した後、ユーザーは次に、ハンドヘルド補助スマートフォンを使用して、ファイル制御アイコンを複合現実における仮想プリンタアイコン上まで直接的に操縦することができる。仮想プリンタのアイコンは実際のプリンタに関連付けられているため、ファイル制御アイコンと仮想プリンタのアイコンとの相互作用は、ユーザーの正式な印刷コマンドと同等であり、オフィスにある実際のプリンタは直接的に印刷ジョブを実行する。

Claims (19)

  1. モジュラー型複合現実感（ＭＲ）装置のための撮像方法であって、前記ＭＲ装置は、
    ＭＲ計算モジュール、ＭＲ光路モジュール、およびＭＲ姿勢モジュールを含み、
    前記ＭＲ計算モジュールは、ディスプレイアセンブリを含み、
    前記ＭＲ姿勢モジュールは、撮像アセンブリとＩＭＵアセンブリとを含み、前記撮像アセンブリは、前記ディスプレイアセンブリの予め設定された角度方向に画像を収集するように構成され、前記ＩＭＵアセンブリは前記ＭＲ装置の姿勢データを収集するように構成され、
    前記ＭＲ計算モジュールは前記ＭＲ姿勢モジュールに接続され、前記ＭＲ姿勢モジュールによって取得された前記画像データおよび姿勢データに従って、前記ディスプレイアセンブリの表示内容を調整し、前記ＭＲ光路モジュールは仮想画像光路と混合光路とを含み、前記仮想画像光路は前記ディスプレイアセンブリに接続され、前記混合光路の入力端は前記仮想画像光路に接続され、前記混合光路の出力端は観察端であり、
    半透明・半反射鏡が前記混合光路内に構成され、前記半透明・半反射鏡の一方の面は実画像導入面として構成され、前記鏡のもう一方の面は仮想画像導入面として構成され、前記実画像導入面は実環境に面し、前記仮想画像導入面は前記仮想画像光路に面し、
    前記ディスプレイアセンブリの表示内容は、前記仮想画像光路によって処理および伝達されて仮想画像を形成し、
    仮想画像光は前記仮想画像導入面によって前記観察端上に反射され、実環境光は前記実画像導入面によって前記観察端に伝達され、前記仮想画像と混合されて複合現実感画像を形成する、モジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  2. 前記ＭＲ計算モジュールはメインスマートフォンであり、
    前記ディスプレイアセンブリは前記メインスマートフォンのディスプレイモジュールであり、
    前記ＩＭＵアセンブリは磁力計、ジャイロスコープ、および加速度計を含み、前記ＩＭＵアセンブリはメインＩＭＵアセンブリと補助ＩＭＵアセンブリとを有し、前記メインＩＭＵアセンブリは前記ディスプレイアセンブリの前記姿勢データを収集し、前記メインＩＭＵアセンブリは、前記メインスマートフォン内に配置され、前記補助ＩＭＵアセンブリは、前記メインスマートフォンに無線接続された１つ以上の制御装置に配置され、前記補助ＩＭＵアセンブリは、前記１つ以上の制御装置の前記姿勢データまたは位置データを収集し、前記姿勢データは姿勢角度、角速度または加速度データを含み、
    前記撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、前記メイン撮像アセンブリは前記メインスマートフォンの後部カメラであり、前記補助撮像アセンブリは前記制御装置の位置に配置されたカメラである、請求項１に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  3. 前記ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、
    前記メインスマートフォンは、前記ＭＲヘッドマウントメカニズムに固定され、
    前記メイン撮像アセンブリは前記メインスマートフォンの前記後部カメラであり、および
    前記制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、前記ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、前記ユーザーの手足に結び付けられた補助電話のいずれかである、請求項２に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  4. 前記ＭＲヘッドマウントメカニズムの前記仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、前記フィールドレンズは２つのフレネルレンズによって組み合わされ、
    前記メインスマートフォンは、前記静置板上に水平に置かれ、前記ＭＲヘッドマウントメカニズムが作動しているときに前記メインスマートフォンが水平二分割画面の形式でＶＲ二分割画面モードの画像を表示し、前記二分割画面の画像光が前記全反射鏡によって前記２つのフレネルレンズ上に反射され、続いて前記２つのフレネルレンズが二分割画面の画像光を屈折させ、画像光が予め設定された画角を有する二つの仮想画像光路を形成し、仮想画像光は前記仮想画像導入面により観察端に反射され、実環境光は、前記実画像導入面によって前記観察端に伝達され、前記仮想画像光と混合されて複合現実感画像を形成する、請求項３に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  5. 前記メインスマートフォンの前記後部カメラの方向は、前記ＭＲヘッドマウントメカニズムの方向であり、
    前記ディスプレイアセンブリの前記姿勢データは前記メインスマートフォンの前記姿勢データであり、
    前記メインスマートフォンの前記ＩＭＵアセンブリは、前記メインマスターフォンの前記姿勢データを収集し、
    前記ＭＲヘッドマウントメカニズムが動作しているときは、前記メインスマートフォンの前記後部カメラは、前記ＭＲヘッドマウントメカニズムの初期方向での前記の実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中、画像を姿勢画像として連続的に収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションおよび前記メインスマートフォンの前記姿勢データのバリエーションに従って前記二分割画面上の前記画像を調整する、請求項４に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  6. 水平二分割画面の前記形式で表示される前記画像は、仮想キャラクターと制御識別子とを含み、前記ＭＲ計算モジュールは、前記補助ＩＭＵアセンブリによってアップロードされた前記制御装置の前記姿勢データおよび前記位置データに従って前記制御識別子を生成し、前記制御識別子は前記制御装置の移動と共に移動し、前記仮想キャラクターは前記制御識別子と対話できる、請求項５に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  7. 前記メインスマートフォンは、外部装置とネットワークによって接続され、
    水平二分割画面の前記形式で表示された前記画像に含まれる前記仮想キャラクターおよび前記制御識別子は、前記複合現実感画像の一部であり、前記仮想キャラクターは前記外部装置に対応し、前記仮想キャラクターが前記制御識別子と対話するとき、前記外部装置は前記対話内容に従ってそれぞれの実装を実行する、請求項６に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  8. 前記撮像方法は、
    前記ユーザーが、ＭＲアプリケーションが予めインストールされている前記メインスマートフォンを前記ＭＲヘッドマウントメカニズムの前記静置板に固定し、同じく前記ＭＲアプリケーションが予めインストールされたスマートフォンである前記補助電話を保持するステップＡ１と、
    前記ユーザーが前記ＭＲヘッドマウントメカニズムを装着し、前記複合現実感画像を観察するために目を前記観察端に近づけるステップＡ２と、
    前記メインスマートフォンの前記ＭＲアプリケーションを起動して、前記メインスマートフォンをディスプレイ端末として設定し、前記メインスマートフォンは横方向の二分割画面の形式で画像を表示し、二分割画面の画像光は前記全反射鏡によって前記２つのフレネルレンズ上に反射され、２つのフレネルレンズは二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像の光路を形成し、仮想画像光は前記仮想画像導入面によって前記観察端に反射され、実環境光は前記実画像導入面によって前記観察端に伝達され、前記仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
    前記メインスマートフォンの前記後部カメラが、前記ＭＲヘッドマウントメカニズムの初期方向での前記の実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中、画像を姿勢画像として連続的に収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションおよび前記メインスマートフォンの前記姿勢データのバリエーションに従って前記二分割画面上の前記画像を調整するステップＡ４と、
    前記ユーザーは前記補助携帯電話を前記複合現実感画像の特定の点まで持ち上げ、前記補助電話上で前記ＭＲアプリケーションを起動し、それを制御端末として設定し、前記補助電話上の前記補助ＩＭＵアセンブリは、前記補助電話の前記姿勢データおよび前記位置データを収集し、前記制御端末は前記補助電話の前記姿勢データおよび位置データを前記制御端末に無線で接続されている前記ディスプレイ端末にアップロードするステップＡ５と、
    前記ＭＲ計算モジュールは、前記補助電話の前記姿勢データおよび位置データに従って前記複合現実感画像上に前記制御識別子を生成し、前記制御識別子は前記補助電話の移動とともに移動し、前記複合現実感画像上の前制御識別子が、前記仮想キャラクターと接触しているかまたは隣接するときに、前記仮想キャラクターが前記制御識別子と対話するステップＡ６と、
    前記仮想キャラクターが前記外部装置に対応し、前記仮想キャラクターが前記制御識別子と対話しているとき、前記外部装置は前記対話内容に従って対応する実装を実行するステップＡ７と、を順次含む、請求項７に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  9. 前記メインスマートフォンおよび前記補助電話は、単眼視覚慣性走行距離計法によって統合空間位置特定データを生成、共有し、前記単眼視覚慣性走行距離計法は、
    前記メインスマートフォンおよび前記補助電話が、それぞれ姿勢画像を生成するためにカメラによって画像を収集し、前記メインスマートフォンおよび前記補助電話が、それぞれ内蔵されたＩＭＵアセンブリによって姿勢データを収集し、前記メインスマートフォンおよび前記補助電話が、それぞれ前記姿勢画像と前記姿勢データとを関連付け、それぞれの空間画像関連付けデータを形成し、前記メインスマートフォンおよび前記補助電話機が、ネットワーク接続を介してそれぞれの空間画像関連データを集約して、前記メインスマートフォンおよび前記補助電話内に統合空間画像関連データベースを生成するステップＢ１と、
    前記メインスマートフォンおよび前記補助電話が移動中に姿勢画像と姿勢データを順次収集し、前記収集した姿勢画像および姿勢データをそれぞれ前記空間画像関連データベースに追加して関連付けるステップＢ２と、
    前記移動中、前記メインスマートフォンおよび前記補助電話が、前記収集された姿勢画像と姿勢データを前記空間画像関連データベースのそのデータと比較して、現在の空間における前記電話の正確な位置を取得し、前記電話の軌道および姿勢の変化を予測するステップＢ３と、
    前記メインスマートフォンおよび前記補助電話は前記移動中に前記空間画像関連データベースを読み込み、前記収集した姿勢画像を、同じ座標および同じ姿勢から収集された過去Ｎの時間フレームにおける前記姿勢画像および前記姿勢データと比較し、前記収集された姿勢画像と前記過去Ｎの時間フレーム内の前記姿勢画像および前記姿勢データとの間に差異があるときに前記空間画像関連データベースを更新するステップＢ４と、
    ステップＢ３およびＢ４において、前記メインスマートフォンおよび前記補助電話が、前記データを予め設定された許容範囲閾値と比較および検証して、空間位置の効率および堅牢性を向上させるステップＢ５と、を含む、請求項８に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  10. 前記ＭＲヘッドマウントメカニズムはシートで構成され、前記シートは、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃを備え、前記折り畳み部Ａは、前記半透明・半反射鏡および前記フィールドレンズで固定され、前記折り畳み部Ｂは前記全反射鏡で固定され、前記折り畳み部Ｃには静置板が設けられ、前記静止板は、前記メインスマートフォンの前記後部カメラによって外部画像を収集するための観察孔を備え、前記ＭＲヘッドマウントメカニズムを準備するための方法は、
    前記レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ａを菱形柱に折り畳み、前記菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、前記画像光の入射面は前記全反射鏡壁に面し、前記全反射鏡壁は前記全反射鏡を備え、前記観察孔は前記観察孔壁に位置し、前記観察孔に面する前記菱形柱の側壁は前記半透明・半反射鏡であり、前記半透明・半反射鏡は前記半透明・半反射鏡壁に位置するステップＢ１と、
    前記折り畳み部Ａで遮光板を広げ、前記観察孔壁に前記遮光板を挿入するステップＢ２と、
    前記折り畳み部Ｃを広げ、後部カメラを有する前記メインスマートフォンを前記静置板の上に置き、前記後部カメラが前記静置板の前記観察穴に合うようにし、次いで、前記折り畳み部Ｃを前記菱形柱の前記光画像の入射面に折り畳み、前記観察端は前記観察孔を含み、そこでは前記メインスマートフォンが前記横方向の二分割画面の形式で前記ＶＲ分割画面モードの画像を表示するときに、前記電話の画面画像を前記外部画像と混合することによって形成される前記複合現実感画像を見ることができるステップ、Ｂ３と、を含む、請求項５に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  11. 前記ＭＲ計算モジュールはメインスマートフォンであり、前記ディスプレイアセンブリは前記メインスマートフォンのディスプレイモジュールであり、前記ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、前記ＩＭＵアセンブリはメインＩＭＵアセンブリと０個以上の補助ＩＭＵアセンブリを有し、前記メインＩＭＵアセンブリは前記ディスプレイアセンブリの前記姿勢データを収集し、前記メインＩＭＵアセンブリは前記メインスマートフォン内に配置され、前記補助ＩＭＵアセンブリは、前記メインスマートフォンに無線で接続された１つ以上の制御装置に配置され、前記補助ＩＭＵアセンブリは、前記１つ以上の制御装置の前記姿勢データまたは前記位置データを収集し、前記姿勢データは、姿勢角、角速度または加速度データを含み、前記撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、前記メイン撮像アセンブリは前記メインスマートフォンの後部カメラであり、前記補助撮像アセンブリは前記制御装置の位置にあるカメラでオプションである、請求項１に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  12. 前記ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、前記メインスマートフォンは前記ＭＲヘッドマウントメカニズムに固定され、前記メイン撮像アセンブリは、前記メインスマートフォンの前記後部カメラであり、前記制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、前記ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、または前記ユーザーによって保持されるか、前記ユーザーの手足に結び付けられた補助電話のいずれかである、請求項１１に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  13. 前記ＭＲヘッドマウントメカニズムの前記仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、前記フィールドレンズは２つのフレネルレンズによって組み合わされ、前記メインスマートフォンは、前記静置板上に水平に置かれ、前記ＭＲヘッドマウントメカニズムが作動しているときに前記メインスマートフォンが横方向の二分割画面の形式で前記ＶＲ二分割画面モードの画像を表示し、前記二分割画面の画像光が前記全反射鏡によって前記２つのフレネルレンズ上に反射され、続いて前記２つのフレネルレンズが二分割画面の画像光を屈折させ、画像光が予め設定された画角を有する二つの仮想画像光路を形成し、仮想画像光は前記仮想画像導入面により観察端に反射され実環境光は、前記実像導入面によって前記観察端に伝達され、前記仮想画像と混合されて複合現実感画像を形成する、請求項１２に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  14. 前記メインスマートフォンの前記後部カメラの方向は、前記ＭＲヘッドマウントメカニズムの方向であり、前記ディスプレイアセンブリの前記姿勢データは、前記メインスマートフォンの前記姿勢データであり、前記メインスマートフォンの前記ＩＭＵアセンブリは前記メインスマートフォンの前記姿勢データを収集し、前記ＭＲヘッドマウントメカニズムが動作している場合、前記メインスマートフォンの前記後部カメラは、前記ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中、連続的に特徴点の姿勢画像として画像を収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションと前記メインスマートフォンの前記姿勢データのバリエーションとに基づいて前記メインスマートフォンの空間位置を算出し、前記空間位置に基づいて前記二分割画面上の画像を調整する、請求項１３に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  15. 横方向の二分割画面の前記形式で表示される前記画像は、仮想キャラクターと制御識別子とを含み、前記ＭＲ計算モジュールは、前記補助ＩＭＵアセンブリまたは前記補助撮像アセンブリによってアップロードされた前記制御装置の前記姿勢データおよび位置データに従って前記制御識別子の前記空間位置を生成し、前記制御識別子は前記制御装置の移動と共に移動し、前記仮想キャラクターは前記制御識別子と対話できる、請求項１４に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  16. 前記メインスマートフォンがネットワークで外部装置に接続されており、水平二分割画面の前記形式で表示された前記画像に含まれる前記仮想キャラクターおよび前記制御識別子は、前記複合現実感画像の一部であり、前記仮想キャラクターは前記外部装置に対応し、前記仮想キャラクターが制御識別子と対話するとき、前記外部装置は前記対話内容に従ってそれぞれの実装を実行する、請求項１５に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  17. 前記撮像方法は、
    前記ユーザーが、前記ＭＲアプリケーションが予めインストールされている前記メインスマートフォンを前記ＭＲヘッドマウントメカニズムの前記静置板に固定し、同じく前記ＭＲアプリケーションが予めインストールされたスマートフォンである前記補助電話を保持するステップＡ１と、
    前記ユーザーが前記ＭＲヘッドマウントメカニズムを装着し、前記複合現実感画像を観察するために目を前記観察端に近づけるステップＡ２と、
    前記メインスマートフォンの前記ＭＲアプリケーションを起動して、前記メインスマートフォンをディスプレイ端末として設定し、前記メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は前記全反射鏡によって前記２つのフレネルレンズ上に反射され、前記２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は前記仮想画像導入面によって前記観察端上に反射され、実環境光は前記実画像導入面によって前記観察端に伝達され、前記仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
    前記メインスマートフォンの前記後部カメラが、前記ＭＲヘッドマウントメカニズムの初期方向での前記の実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中に、画像を特徴点の姿勢画像として連続的に収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションおよび前記メインスマートフォンの前記姿勢データのバリエーションに従って前記メインスマートフォンの前記空間位置を計算し、前記空間位置に基づいて、前記二分割画面上の前記画像を調整するステップＡ４と、
    前記制御装置がスマートフォンである場合、前記ユーザーは前記制御装置を前記複合現実感画像の特定の点まで持ち上げ、前記補助電話上で前記ＭＲアプリケーションを起動し、それを制御端末として設定し、前記制御装置上の前記補助ＩＭＵアセンブリは、前記補助電話の前記姿勢データおよび位置データを収集し、前記制御端末は前記制御装置の前記姿勢データおよび位置データを前記制御端末に無線で接続されている前記ディスプレイ端末にアップロードするステップＡ５と、
    前記ＭＲ計算モジュールは、前記補助電話の前記姿勢データおよび位置データに従って前記複合現実感画像上に前記制御識別子を生成し、前記制御識別子は前記補助電話の移動とともに移動し、前記複合現実感画像上の前制御識別子が、前記仮想キャラクターと接触しているかまたは隣接するときに、前記仮想キャラクターが前記制御識別子と対話するステップＡ６と、
    前記仮想キャラクターが前記外部装置に対応し、前記仮想キャラクターが前記制御識別子と対話しているとき、前記外部装置は前記対話内容に従って対応する実装を実行するステップＡ７と、を順次含む、請求項１６に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。
  18. 前記ＭＲヘッドマウントメカニズムはシートで構成され、前記シートは、前記長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃを備え、前記折り畳み部Ａは、前記半透明・半反射鏡および前記フィールドレンズで固定され、前記折り畳み部Ｂは前記全反射鏡で固定され、前記折り畳み部Ｃには静置板が設けられ、前記静置板は、前記メインスマートフォンの前記後部カメラによって外部画像を収集するための観察孔を備える、請求項１４に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法、
  19. 前記ＭＲヘッドマウントメカニズムを準備するための前記方法は、
    前記レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、前記菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、前記画像光の入射面は前記全反射鏡壁に面し、前記全反射鏡壁は前記全反射鏡を備え、前記観察孔は前記観察孔壁に位置し、前記観察孔に面する前記菱形柱の側壁は前記半透明・半反射鏡であり、前記半透明・半反射鏡は前記半透明・半反射鏡壁に位置するステップＢ１と、
    前記折り畳み部Ａで遮光板を広げ、前記観察孔壁に前記遮光板を挿入するステップＢ２と、
    前記折り畳み部Ｃを広げ、後部カメラを有する戦記メインスマートフォンを前記静置板の上に置き、前記後部カメラが前記静置板の前記観察穴に合うようにし、次いで、前記折り畳み部Ｃを前記菱形柱の前記光画像の入射面に折り畳み、前記観察端は前記観察孔を含み、そこでは前記メインスマートフォンが前記横方向の二分割画面の形式で前記ＶＲ分割画面モードの画像を表示するときに、前記電話の画面画像を前記外部画像と混合することによって形成される前記複合現実感画像を見ることができるステップＢ３と、を含む、請求項１８に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

JP2019546878A 2017-06-02 2018-06-01 モジュラー型ｍｒ装置のための撮像方法 Active JP7212819B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710406371.3 2017-06-02
CN201710406371.3A CN107065195B (zh) 2017-06-02 2017-06-02 一种模块化mr设备成像方法
PCT/CN2018/089434 WO2018219336A1 (zh) 2017-06-02 2018-06-01 一种模块化mr设备成像方法

Publications (2)

Publication Number Publication Date
JP2020521992A true JP2020521992A (ja) 2020-07-27
JP7212819B2 JP7212819B2 (ja) 2023-01-26

Family

ID=59617774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546878A Active JP7212819B2 (ja) 2017-06-02 2018-06-01 モジュラー型ｍｒ装置のための撮像方法

Country Status (4)

Country Link
US (1) US11709360B2 (ja)
JP (1) JP7212819B2 (ja)
CN (2) CN107065195B (ja)
WO (1) WO2018219336A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010220A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 거리 센서 활성화 방법 및 전자 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
CN107390370B (zh) * 2017-09-21 2020-05-01 中新国际电子有限公司 一种vr头显
TWI679555B (zh) * 2017-10-12 2019-12-11 華碩電腦股份有限公司 擴增實境系統以及提供擴增實境之方法
CN108489482B (zh) * 2018-02-13 2019-02-26 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及***
US11422530B2 (en) * 2018-08-20 2022-08-23 Dell Products, L.P. Systems and methods for prototyping a virtual model
CN109814710B (zh) * 2018-12-27 2022-05-13 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
CN110731882A (zh) * 2019-11-13 2020-01-31 常州大连理工大学智能装备研究院 一种视力恢复训练仪及其工作方法
CN111474723A (zh) * 2020-05-09 2020-07-31 Oppo广东移动通信有限公司 显示光学***及头戴显示设备
CN112526757B (zh) * 2020-12-15 2023-04-07 闪耀现实(无锡)科技有限公司 头戴式设备及其增强现实光机模组

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
JP3183228U (ja) * 2013-02-19 2013-05-09 博史 田原 映像観察装置
US20150002507A1 (en) * 2013-06-28 2015-01-01 Anthony J. Ambrus Space carving based on human physical data
JP2016507805A (ja) * 2012-12-13 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー 複合現実環境のための直接インタラクション・システム
JP2016081021A (ja) * 2014-10-09 2016-05-16 礼二郎 堀 画像表示装置を着脱できるヘッドマウントディスプレイ
JP2016085350A (ja) * 2014-10-27 2016-05-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US7513668B1 (en) * 2005-08-04 2009-04-07 Rockwell Collins, Inc. Illumination system for a head up display
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
CN204203553U (zh) * 2014-10-31 2015-03-11 成都理想境界科技有限公司 头戴式显示装置
CN104483753A (zh) * 2014-12-04 2015-04-01 上海交通大学 自配准透射式头戴显示设备
US9904054B2 (en) 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system
CN204613516U (zh) * 2015-04-21 2015-09-02 杨振亚 头戴式手机类小屏幕多功能拓展装置
CN105068659A (zh) * 2015-09-01 2015-11-18 陈科枫 一种增强现实***
KR20180104056A (ko) * 2016-01-22 2018-09-19 코닝 인코포레이티드 와이드 필드 개인 디스플레이
CN105929958B (zh) * 2016-04-26 2019-03-01 华为技术有限公司 一种手势识别方法，装置和头戴式可视设备
US10802147B2 (en) * 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
CA3032812A1 (en) * 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10402663B1 (en) * 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
CN206115040U (zh) 2016-10-31 2017-04-19 京东方科技集团股份有限公司 显示装置及可穿戴设备
US10859713B2 (en) * 2017-01-04 2020-12-08 Qualcomm Incorporated Position-window extension for GNSS and visual-inertial-odometry (VIO) fusion
CN106610527A (zh) 2017-02-24 2017-05-03 关春东 一种近眼显示光学装置
US10347001B2 (en) * 2017-04-28 2019-07-09 8th Wall Inc. Localizing and mapping platform
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
JP2016507805A (ja) * 2012-12-13 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー 複合現実環境のための直接インタラクション・システム
JP3183228U (ja) * 2013-02-19 2013-05-09 博史 田原 映像観察装置
US20150002507A1 (en) * 2013-06-28 2015-01-01 Anthony J. Ambrus Space carving based on human physical data
JP2016081021A (ja) * 2014-10-09 2016-05-16 礼二郎 堀 画像表示装置を着脱できるヘッドマウントディスプレイ
JP2016085350A (ja) * 2014-10-27 2016-05-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010220A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 거리 센서 활성화 방법 및 전자 장치

Also Published As

Publication number Publication date
US11709360B2 (en) 2023-07-25
CN107065195A (zh) 2017-08-18
JP7212819B2 (ja) 2023-01-26
CN109313342A (zh) 2019-02-05
WO2018219336A1 (zh) 2018-12-06
CN109313342B (zh) 2021-05-11
CN107065195B (zh) 2023-05-02
US20190361236A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
JP2020521992A (ja) モジュラー型ｍｒ装置のための撮像方法
US10754496B2 (en) Virtual reality input
US20140168261A1 (en) Direct interaction system mixed reality environments
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
JP2018009836A (ja) プログラム、頭部装着型表示装置、キャリブレーション方法
JP6452440B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
CN111589132A (zh) 虚拟道具展示方法、计算机设备及存储介质
US20220351442A1 (en) Animation production system
JP2017108370A (ja) 頭部装着型表示装置およびコンピュータープログラム
US20220351444A1 (en) Animation production method
CN107133984A (zh) 深度相机与主体设备的标定方法与***
WO2021059371A1 (ja) アニメーション制作方法
US20220351446A1 (en) Animation production method
JP5802019B2 (ja) 情報処理装置、情報処理プログラム、情報処理方法、情報処理システム
US20220036618A1 (en) Animation production system
WO2022141122A1 (zh) 无人机的控制方法、无人机及存储介质
US11380038B2 (en) Animation production system for objects in a virtual space
US11321898B2 (en) Animation production system
KR20180060403A (ko) 영상 기반의 드론 제어장치
US20220351443A1 (en) Animation production system
US20220351447A1 (en) Animation production system
JP7218872B2 (ja) アニメーション制作システム
JP7390542B2 (ja) アニメーション制作システム
US20230152884A1 (en) Animation production system
US20220351445A1 (en) Animation production system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221027

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7212819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150