JP7123128B2 - Interface display method and device - Google Patents

Interface display method and device Download PDF

Info

Publication number
JP7123128B2
JP7123128B2 JP2020513779A JP2020513779A JP7123128B2 JP 7123128 B2 JP7123128 B2 JP 7123128B2 JP 2020513779 A JP2020513779 A JP 2020513779A JP 2020513779 A JP2020513779 A JP 2020513779A JP 7123128 B2 JP7123128 B2 JP 7123128B2
Authority
JP
Japan
Prior art keywords
electronic device
window
displayed
interface
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020513779A
Other languages
Japanese (ja)
Other versions
JP2020533682A (en
Inventor
ヤン，チェンポン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020533682A publication Critical patent/JP2020533682A/en
Application granted granted Critical
Publication of JP7123128B2 publication Critical patent/JP7123128B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

［関連技術への相互参照］
本出願は、２０１７年９月７日に中国特許庁に出願された「インタフェース表示方法及び装置」という名称の中国特許出願第２０１７１０８０２０２１．９号に対する優先権を主張し、参照によりその全体が本明細書に組み込まれる。 [Cross-reference to related art]
This application claims priority to Chinese Patent Application No. 201710802021.9 entitled "Interface Display Method and Apparatus" filed with the Chinese Patent Office on September 7, 2017, the entirety of which is incorporated herein by reference. incorporated into the book.

［技術分野］
本出願は、コンピュータアプリケーション分野に関し、特に、アプリケーションインタフェース表示方法及び装置に関する。 [Technical field]
TECHNICAL FIELD This application relates to the field of computer applications, and more particularly to an application interface display method and apparatus.

身体上に装着される電子デバイスは、通常、ウェアラブルデバイスと呼ばれる。例えばヘッドマウントウェアラブルデバイス（例えば眼鏡）、手首装着ウェアラブルデバイス（例えば時計又は手首ストラップ）、コンタクトレンズ型ウェアラブルデバイス、リング型ウェアラブルデバイス、靴型ウェアラブルデバイス又は衣服型ウェアラブルデバイスが提供され、ウェアラブルデバイスを身体又は衣服に取り付けるか又は分離することができる。ウェアラブルデバイスは、電子デバイスの携帯性及びアクセス性を向上させるために、身体に装着することが可能にされた（衣服又は眼鏡のような）電子デバイスである。 Electronic devices worn on the body are commonly referred to as wearable devices. For example, head-mounted wearable devices (e.g. glasses), wrist-worn wearable devices (e.g. watches or wrist straps), contact lens-type wearable devices, ring-type wearable devices, shoe-type wearable devices or clothing-type wearable devices are provided, and the wearable device is attached to the body. or can be attached to or separated from clothing. Wearable devices are electronic devices (such as clothing or eyeglasses) that are adapted to be worn on the body in order to increase the portability and accessibility of the electronic device.

ヘッドマウントウェアラブルデバイス（例えばＨＤＭ（ヘッドマウントディスプレイ）は、例えば拡張現実（ＡＲ）を提供するために使用されるシースルー（see-through）型画面又は仮想現実（ＶＲ）を提供するために使用されるシークローズ（see-closed）型画面のように、ウェアラブルデバイスにおいて広く開発されている。 Head-mounted wearable devices such as HDM (head-mounted displays) are used to provide see-through screens or virtual reality (VR), for example used to provide augmented reality (AR) It is widely developed in wearable devices, like the see-closed type screen.

半透明レンズ特徴に基づいて、シースルー型ＨＭＤは、実世界ベースの画像と仮想オブジェクトを合成し、組み合わせて、画像に追加の情報を与えてよく、ここで、該追加の情報は、実世界では得ることは難しい。シークローズド型ＨＭＤは、外部から受け取ったコンテンツ（ゲーム、ムービー、ストリーミング又は放送データ）を別個のディスプレイ上に表示して、ユーザがコンテンツに焦点を合わせることを可能にすることができるように、２つのディスプレイを提供してよい。 Based on translucent lens features, see-through HMDs may synthesize and combine real-world-based images and virtual objects to provide additional information to the image, where the additional information is hard to get. A closed HMD can display externally received content (games, movies, streaming or broadcast data) on a separate display to allow the user to focus on the content. You may provide one display.

ユーザがクオリティ・オブ・ライフを要求するので、仮想現実表示技術の開発が社会の焦点となっている。 As users demand quality of life, the development of virtual reality display technology has become a social focus.

本出願の実施形態は、インタフェース表示方法及び電子デバイスを提供する。ユーザが、３Ｄディスプレイ電子デバイスを使用することによって携帯電話に接続されているとき、マルチウィンドウ表示が３Ｄディスプレイ電子デバイス上で行われてよい。 Embodiments of the present application provide interface display methods and electronic devices. When the user is connected to the mobile phone by using the 3D display electronic device, multi-window display may be performed on the 3D display electronic device.

第１態様によると、インタフェース表示方法が提供され、第２電子デバイス上に三次元３Ｄインタフェースを表示するために第１電子デバイスによって使用され：第１電子デバイスによって、第２電子デバイスが第１電子デバイスに接続されていることを検出するステップ；第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップであって、少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウであるステップ；第１電子デバイスによって、予め設定されたウィンドウ数量及び少なくとも１つの取得された表示されるべきウィンドウに基づいて、第２電子デバイスの表示インタフェースを分割するステップ；第１電子デバイスによって、少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップ；及び第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを第２電子デバイスに送信するステップであって、少なくとも１つの変換された表示されるべきウィンドウは、三次元ウィンドウであるステップ；を含む。 According to a first aspect, an interface display method is provided and used by a first electronic device to display a three-dimensional 3D interface on a second electronic device: detecting being connected to the device; obtaining at least one window to be displayed by the first electronic device based on a preset window quantity, wherein at least one window to be displayed is wherein the window to be displayed is a two-dimensional window; dividing the display interface of the second electronic device according to the preset window quantity and at least one obtained window to be displayed by the first electronic device; performing a dimensional transformation process on at least one window to be displayed by a first electronic device; and transmitting the at least one transformed window to be displayed by a first electronic device to a second electronic device. transmitting, wherein the at least one transformed window to be displayed is a three-dimensional window;

第２電子デバイスに接続された後、第１電子デバイスは、表示用に第２電子デバイスのためのマルチウィンドウ３Ｄウィンドウを提供し、マルチウィンドウユーザインタフェースを提供する。第２電子デバイスがワイド画面３Ｄディスプレイデバイスであるとき、第２電子デバイスのワイド画面が完全に利用される。 After being connected to the second electronic device, the first electronic device provides a multi-window 3D window for the second electronic device for display and provides a multi-window user interface. When the second electronic device is a widescreen 3D display device, the widescreen of the second electronic device is fully utilized.

第１態様によると、第１態様の第１の可能な実装において、少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップは：少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するステップを含む。 According to a first aspect, in a first possible implementation of the first aspect, the step of performing a dimensional transformation operation on the at least one window to be displayed is: Performing rendering to obtain left-eye and right-eye images in at least one window to be displayed.

第１態様又は第１態様の第１の可能な実装によると、第１態様の第２の可能な実装において、第１電子デバイスによって、第２電子デバイスが第１電子デバイスに接続されていることを検出するステップの後、第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップの前に、方法は：第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；及び第１電子デバイスによって、第２電子デバイスから通知を受け取るステップであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；を更に含む。 According to the first aspect or a first possible implementation of the first aspect, in a second possible implementation of the first aspect, the first electronic device connects the second electronic device to the first electronic device after the step of detecting and before the step of obtaining at least one window to be displayed based on a preset window quantity by the first electronic device, the method is: by the first electronic device, the 3D mode and receiving, by the first electronic device, a notification from the second electronic device, the notification indicating that the second electronic device is being worn by the user. a step used in;

第１態様又は第１態様の第１の可能な実装によると、第１態様の第３の可能な実装において、第１電子デバイスによって、少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップの後、第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを第２電子デバイスに送信するステップの前に、方法は：第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；及び第１電子デバイスによって、第２電子デバイスから通知を受け取るステップであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；を更に含む。 According to the first aspect or a first possible implementation of the first aspect, in a third possible implementation of the first aspect, the first electronic device performs a dimensional transformation operation on at least one window to be displayed. After the step of performing and before the step of transmitting, by the first electronic device, at least one transformed window to be displayed to the second electronic device, the method comprises: Switching 3D mode by the first electronic device; detecting that it has been turned on; and receiving, by the first electronic device, a notification from the second electronic device, the notification being used to indicate that the second electronic device is being worn by the user. further comprising the step of:

第３の可能な実装までの第１態様によると、第１態様の第４の可能な実装において、少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含む。 According to the first to third possible implementations, in the fourth possible implementation of the first aspect, the at least one window to be displayed comprises an application program interface and/or a desktop screen.

第１態様の第４の可能な実装によると、第１態様の第５の可能な実装において、アプリケーションプログラムインタフェースは、第２電子デバイスが接続されていることを第１電子デバイスが検出したときに取得される、現在のフォアグラウンドアプリケーションのインタフェースとバックグラウンドアプリケーションのインタフェースとを含む。 According to a fourth possible implementation of the first aspect, in a fifth possible implementation of the first aspect, the application program interface comprises: when the first electronic device detects that the second electronic device is connected, Contains the current foreground application interface and background application interface to be retrieved.

第１態様の第５の可能な実装によると、第１態様の第６の可能な実装において、方法は、現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定するステップと、バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するステップを更に含む。 According to a fifth possible implementation of the first aspect, in a sixth possible implementation of the first aspect, the method comprises the steps of: setting a current foreground application's interface to a focus window; The step of setting to the window is further included.

第１態様の第６の可能な実装によると、第１態様の第７の可能な実装において、デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、これらのアイコンは、アプリケーションの使用頻度に基づいてハイライトされる。 According to a sixth possible implementation of the first aspect, in a seventh possible implementation of the first aspect, the desktop screen includes icons for at least two applications, the icons being configured based on the frequency of application usage. highlighted.

第７の可能な実装までの第１態様によると、第１態様の第８の可能な実装において、第２電子デバイスはカメラを備え、第１電子デバイスは、カメラによって収集されたコンテンツを受け取り、第１電子デバイスは、第２電子デバイスがカメラによって収集されたコンテンツをリアルタイムで表示するように、カメラによって収集されたコンテンツを第２電子デバイスにリアルタイムで送信する。 According to the first to seventh possible implementations, in the eighth possible implementation of the first aspect, the second electronic device comprises a camera, the first electronic device receives content collected by the camera, The first electronic device transmits content collected by the camera to the second electronic device in real time such that the second electronic device displays the content collected by the camera in real time.

第２電子デバイスは、該第２電子デバイスのカメラによって収集されたリアルタイムコンテンツを表示して、ユーザが周囲環境を見るのを助ける。 The second electronic device displays real-time content collected by the camera of the second electronic device to help the user see the surrounding environment.

オプションとして、方法は、第２電子デバイスが第１電子デバイスから切断されていること又は第２電子デバイスが無効にされていることを検出すると、第１電子デバイスによって、フォーカスウィンドウを可視状態に維持するステップと、別の可視ウィンドウを不可視状態に設定するステップと、可視状態としてマークされたウィンドウ上で３Ｄ－２Ｄ切り替えを実行するステップと、第１電子デバイスの画面を使用することによって、変換されたウィンドウを表示するステップを含む。 Optionally, the method maintains the focus window visible by the first electronic device upon detecting that the second electronic device is disconnected from the first electronic device or that the second electronic device is disabled. setting another visible window to an invisible state; performing a 3D-2D transition on the window marked as visible; and using the screen of the first electronic device. displaying the window.

第２態様によると、第１電子デバイスが提供され、第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成され：第２電子デバイスが当該電子デバイスに接続されていることを検出するように構成される第１検出モジュール；予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するように構成されるウィンドウ取得モジュールであって、少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウである、ウィンドウ取得モジュール；予め設定されたウィンドウ数量及び少なくとも１つの取得された表示されるべきウィンドウに基づいて、第２電子デバイスの表示インタフェースを分割するように構成されるインタフェースレイアウトモジュール；少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するように構成される３Ｄ変換モジュール；及び
少なくとも１つの変換された表示されるべきウィンドウを第２電子デバイスに送信するように構成される送信モジュールであって、少なくとも１つの変換された表示されるべきウィンドウは、３次元ウィンドウである、送信モジュール；を含む。 According to a second aspect, a first electronic device is provided and configured to display a three-dimensional (3D) interface on a second electronic device: detecting that the second electronic device is connected to the electronic device; a window acquisition module configured to acquire at least one window to be displayed based on a preset window quantity, wherein at least one window to be displayed is the window to be displayed is a two-dimensional window; a window acquisition module; configured to divide the display interface of the second electronic device according to a preset window quantity and at least one acquired window to be displayed; a 3D transformation module configured to perform a dimensional transformation operation on at least one window to be displayed; and transmitting at least one transformed window to be displayed to a second electronic device. a transmitting module configured to: wherein the at least one transformed window to be displayed is a three-dimensional window;

第２態様の第１の可能な実装において、３Ｄ変換モジュールは、少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するように構成される。 In a first possible implementation of the second aspect, the 3D transform module performs binocular rendering on the at least one to-be-displayed window to obtain a left-eye image and a right-eye image in the at least one to-be-displayed window. configured to acquire an image;

第２態様又は第２態様の第１の可能な実装によると、第２態様の第２の可能な実装において、第１電子デバイスは、３Ｄモードのスイッチがターンオンされたことを検出し、ウィンドウ取得モジュールをトリガするように構成される第２検出モジュール；又は第２電子デバイスから通知を受け取って、ウィンドウ取得モジュールをトリガするように構成される第３検出モジュールであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される、第３検出モジュールを更に含む。 According to the second aspect or a first possible implementation of the second aspect, in the second possible implementation of the second aspect, the first electronic device detects that a 3D mode switch has been turned on and window acquisition a second detection module configured to trigger a module; or a third detection module configured to receive a notification from a second electronic device and trigger a window acquisition module, the notification being the second electronic Further includes a third detection module used to indicate that the device is being worn by a user.

第２態様又は第２態様の第１の可能な実装によると、第２態様の第３の可能な実装において、第１電子デバイスは、 ３Ｄモードのスイッチがターンオンされたことを検出し、送信モジュールをトリガするように構成される第４検出モジュール；又は第２電子デバイスから通知を受け取って、送信モジュールをトリガするように構成される第５検出モジュールであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される、第５検出モジュール；を更に含む。 According to the second aspect or a first possible implementation of the second aspect, in a third possible implementation of the second aspect, the first electronic device detects that the 3D mode switch has been turned on, and the transmitting module a fourth detection module configured to trigger a; or a fifth detection module configured to receive a notification from the second electronic device and trigger a transmission module, the notification being the a fifth detection module used to indicate being worn by a user;

第３の可能な実装までの第２態様によると、第２態様の第４の可能な実装において、少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラ・インタフェース及び／又はデスクトップ画面を含む。 According to a second aspect through a third possible implementation, in a fourth possible implementation of the second aspect, the at least one window to be displayed comprises an application program interface and/or a desktop screen.

第２態様の第４の可能な実装によると、第２態様の第５の可能な実装において、アプリケーションプログラムインタフェースは、第２電子デバイスが接続されていることを第１電子デバイスが検出したときに取得される、第１電子デバイスの現在のフォアグラウンドアプリケーションのインタフェースとバックグラウンドアプリケーションのインタフェースとを含む。 According to a fourth possible implementation of the second aspect, in a fifth possible implementation of the second aspect, the application program interface comprises: when the first electronic device detects that the second electronic device is connected, including the current foreground application interface and the background application interface of the first electronic device that are obtained.

第２態様の第５の可能な実装によると、第２態様の第６の可能な実装において、第１電子デバイスは、現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定し、バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するように構成されたウィンドウステータス調整モジュールを更に含む。 According to a fifth possible implementation of the second aspect, in a sixth possible implementation of the second aspect, the first electronic device sets the current foreground application's interface to the focus window and sets the background application's interface to It further includes a window status adjustment module configured to set the visible window.

第２態様の第６の可能な実装によると、第２態様の第７の可能な実装において、デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、これらのアイコンは、アプリケーションの使用頻度に基づいてハイライトされる。 According to a sixth possible implementation of the second aspect, in the seventh possible implementation of the second aspect, the desktop screen includes icons for at least two applications, the icons being configured based on the frequency of application usage. highlighted.

第７の可能な実装までの第２態様によると、第２態様の第８の可能な実装において、第２電子デバイスはカメラを含み、第１電子デバイスは、カメラによって収集されたコンテンツを受け取るように構成される受信モジュールを更に備え、送信モジュールは、第２電子デバイスがカメラによって収集されたコンテンツをリアルタイムで表示するように、カメラによって収集されたコンテンツを第２電子デバイスにリアルタイムで送信するように更に構成される。 According to the second through seventh possible implementations, in an eighth possible implementation of the second aspect, the second electronic device comprises a camera, and the first electronic device is configured to receive content collected by the camera. wherein the transmitting module is adapted to transmit the content collected by the camera to the second electronic device in real time such that the second electronic device displays the content collected by the camera in real time. further configured to

第３態様によると、電子デバイスが提供され、第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成される。電子デバイスは、周辺インタフェース、プロセッサ及びメモリを含む。メモリはプログラムを記憶するように構成され；プロセッサは、電子デバイスが第８の可能な実装までの第１態様のうちのいずれか１つによる方法を実行するように、メモリ内のプログラムを実行するように構成される。 According to a third aspect, an electronic device is provided and configured to display a three-dimensional (3D) interface on a second electronic device. Electronic devices include peripheral interfaces, processors and memory. The memory is configured to store the program; the processor executes the program in the memory such that the electronic device performs the method according to any one of the first aspects through the eighth possible implementations configured as

第４態様によると、コンピュータ読取可能記憶媒体が提供され、命令を含む。命令がコンピュータ上で実行されると、コンピュータは、第８の可能な実装までの第１態様のうちのいずれか１つによる方法を実行することを可能にされる。 According to a fourth aspect, a computer-readable storage medium is provided and includes instructions. When the instructions are executed on a computer, the computer is enabled to perform a method according to any one of the first aspects through the eighth possible implementation.

第５態様によると、命令を含むコンピュータプログラム製品が提供される。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第８の可能な実装までの第１態様のうちのいずれか１つによる方法を実行することを可能にされる。 According to a fifth aspect, there is provided a computer program product comprising instructions. When the computer program product is run on a computer, the computer is enabled to perform the method according to any one of the first aspects through the eighth possible implementation.

本出願の実施形態における技術的解決策をより明確に説明するために、以下では、実施形態を説明するために必要とされる添付の図面を簡単に説明する。以下の説明における添付図面は、単に本出願のいくつかの実装を示すものにすぎないことは明らかである。 To describe the technical solutions in the embodiments of the present application more clearly, the following briefly describes the accompanying drawings required to describe the embodiments. It should be clear that the accompanying drawings in the following description merely show some implementations of the present application.

本出願の様々な実装における電子デバイス及びネットワークのブロック図である；1 is a block diagram of electronic devices and networks in various implementations of the present application; FIG.

様々な実装における電子デバイスのブロック図である；1 is a block diagram of an electronic device in various implementations;

様々な実装におけるプログラムモジュールのブロック図である；2 is a block diagram of program modules in various implementations;

様々な実装における電子デバイスの立体図である；3A and 3B are three-dimensional views of electronic devices in various implementations;

二次元表示及び三次元表示方式の概略図である；1 is a schematic diagram of a two-dimensional display and a three-dimensional display scheme; 二次元表示及び三次元表示方式の概略図である；1 is a schematic diagram of a two-dimensional display and a three-dimensional display scheme;

本出願の実施形態による方法の実施形態１のフローチャートである；1 is a flow chart of embodiment 1 of a method according to embodiments of the present application;

本出願の実施形態によるステップ６０２を実装するフローチャートである；6 is a flow chart implementing step 602 according to an embodiment of the present application;

本出願の実施形態によるステップ６０４を実装するフローチャートである；6 is a flow chart implementing step 604 according to an embodiment of the present application;

本出願の実施形態による方法の実施形態２のフローチャートである；2 is a flow chart of embodiment 2 of a method according to embodiments of the present application;

本出願の実施形態による方法の実施形態３のフローチャートである；3 is a flow chart of embodiment 3 of a method according to embodiments of the present application;

本出願の実施形態によるステップ１００３を実装するフローチャートである；10 is a flow chart implementing step 1003 according to an embodiment of the present application;

本出願の実施形態による３Ｄモードの表示インタフェースの例１を示す；1 shows Example 1 of a 3D mode display interface according to an embodiment of the present application;

本出願の実施形態による３Ｄモードの表示インタフェースの例２を示す；2 shows Example 2 of a 3D mode display interface according to an embodiment of the present application;

本出願の実施形態による３Ｄモードの表示インタフェース内でアプリケーションを開く概略図である；Fig. 3 is a schematic diagram of opening an application within a 3D mode viewing interface according to an embodiment of the present application;

本出願の実施形態による３Ｄモードの表示インタフェースの例３を示す；3 shows Example 3 of a 3D mode display interface according to an embodiment of the present application;

本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す；4 shows Example 4 of a 3D mode display interface according to an embodiment of the present application; 本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す；4 shows Example 4 of a 3D mode display interface according to an embodiment of the present application; 本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す；4 shows Example 4 of a 3D mode display interface according to an embodiment of the present application;

本出願の実施形態による電子デバイスの内部構造の概略図である。1 is a schematic diagram of an internal structure of an electronic device according to an embodiment of the present application; FIG.

当業者は、本出願の原理が、任意の適切に配置された電子デバイスにおいて実装されてよいことを理解するであろう。以下では、本出願の実施形態が添付の図面に関連して説明される。しかしながら、本出願は、本明細書に開示される特定の形態に限定されるよう意図されていないことが理解されるべきである；むしろ、本出願は、本出願の実施態様に対するすべての変更、均等物及び／又は代替物を網羅するものであると理解されるべきである。図面を説明する際に、類似の参照番号を使用して類似の構成要素を示することがある。 Those skilled in the art will appreciate that the principles of the present application may be implemented in any suitably arranged electronic device. Embodiments of the present application are described below with reference to the accompanying drawings. However, it should be understood that the application is not intended to be limited to the particular forms disclosed herein; rather, the application covers all modifications, It should be understood to cover equivalents and/or alternatives. In describing the drawings, like reference numbers may be used to indicate like components.

本出願において使用されるとき、「有する」、「有してよい」、「含む」又は「含んでよい」という表現は、対応する特徴（例えば数字、機能、動作又は要素（例えば構成要素等））が存在するが、１つ以上の他の特徴は除外されないことを意味する。 As used in this application, the terms "comprise," "may comprise," "include," or "may include" refer to the corresponding feature (e.g., number, function, action, or element (e.g., component, etc.)). ) is present, but one or more other features are not excluded.

本出願において、「Ａ又はＢ」の表現、「Ａ又はＢ」のうちの少なくとも１つ、「Ａ又は／及びＢの１つ以上」は、列挙されるエントリのすべての可能な組合せを含んでよい。例えば「Ａ又はＢ」、「Ａ及びＢのうちの少なくとも１つ」又は「Ａ又はＢのうちの少なくとも１つ」という表現は、（１）少なくとも１つのＡを含むこと、（２）少なくとも１つのＢを含むこと又は（３）少なくとも１つのＡと少なくとも１つのＢの双方を含むこと；のすべてを意味する。 In this application, the phrase "A or B," at least one of "A or B," "one or more of A or/and B," includes all possible combinations of the listed entries. good. For example, the phrases "A or B," "at least one of A and B," or "at least one of A or B" include (1) at least one A; or (3) both at least one A and at least one B;

本出願の様々な実装において使用される「第１」、「第２」、「前記第１」又は「前記第２」という表現は、順序及び／又は重要性にかかわらず、様々な構成要素を修正してよく、対応する構成要素は限定されない。例えば第１ユーザ装置と第２ユーザ装置は異なるユーザ装置であるが、それらは双方ともユーザ装置である。例えば本出願の範囲から逸脱することなく、第１要素が第２要素と呼ばれてよく、同様に、第２要素が第１要素と呼ばれてもよい。 The phrases "first," "second," "said first," or "said second," as used in various implementations of this application, refer to various elements, regardless of order and/or importance. Modifications may be made and the corresponding components are not limited. For example, the first user equipment and the second user equipment are different user equipments, but they are both user equipments. For example, a first element could be termed a second element, and, similarly, a second element could be termed a first element, without departing from the scope of the present application.

ある要素（例えば第１要素）が、別の要素（例えば第２要素）に（動作的又は通信的に）「接続される」又は「結合される」と表現されるとき、その要素は、その別の要素に直接接続又は直接結合されてよく、あるいはその２つの間に任意の他の要素（第３要素等）が挿入されてもよいことが理解されるべきである。対照的に、ある要素（例えば第１要素）が、別の要素（例えば第２要素）に「直接接続される」又は「直接結合される」と説明されるとき、その２つの要素の間には要素（第３要素等）は挿入されないことが理解されるべきである。 When an element (e.g., a first element) is referred to as being “connected” or “coupled” (operatively or communicatively) to another element (e.g., a second element), that element is It should be understood that it may be directly connected or coupled to another element, or any other element (such as a third element) may be inserted between the two. In contrast, when an element (e.g., a first element) is said to be "directly connected" or "directly coupled" to another element (e.g., a second element), there is a elements (such as the third element) are not inserted.

本出願において使用される「ように構成される」という表現は、状況に応じて「に適切」、「が可能」、「ように設計される」、「ように適合される」、「に対して作られる」、「できる」又は同様の語と交換されてよい。「ように構成される」という用語は、必ずしもハードウェアにおいて「ように特別に設計される」ことを示唆しない。あるいは、場合によっては、「デバイスが・・ように構成される」という表現は、あるデバイスが、別のデバイス又は構成要素と一緒に「できる」ことを示すことがある。例えばＡ、Ｂ及びＣを実行するように適合される（又は構成される）プロセッサは、対応する動作を実行するようにのみ構成される専用プロセッサ（例えば組み込みプロセッサ）、あるいはストレージデバイスに記憶された１つ以上のソフトウェアプログラムを実行することによって対応する動作を実行するように構成される汎用プロセッサ（例えば中央処理ユニット（ＣＰＵ）又はアプリケーションプロセッサ（ＡＰ））を表してよい。 As used in this application, the phrase "configured to" is "suitable for", "capable of", "designed to", "adapted to", "for may be interchanged with "made by", "can" or similar terms. The term "configured to" does not necessarily imply "specially designed to" in hardware. Alternatively, in some cases, the phrase "a device is configured to" may indicate that a device "can" together with another device or component. For example, a processor adapted (or configured) to perform A, B and C may be a dedicated processor (e.g., an embedded processor) configured only to perform the corresponding operations, or a processor stored in a storage device. It may refer to a general-purpose processor (eg, central processing unit (CPU) or application processor (AP)) configured to perform corresponding operations by executing one or more software programs.

本出願で使用される用語は、単に特定の実施形態を説明する目的のためのものにすぎず、他の実施形態の範囲を限定するように意図されていない。単数形の表現は、それらが文脈において明示的に異ならない限り、複数形の表現を含んでよい。別段の定義がない限り、本出願において使用されるすべての用語（技術用語及び科学用語を含む）は、本出願の当業者によって一般的に理解されるものと同じ意味を有する。そのような用語（一般に使用される辞書で定義されているもののような）は、関連する技術における文脈の意味と同等の意味を有するものとして解釈されてよく、本出願において明示的に定義されていない限り、それらは、理想的又は拡大解釈された意味を有するものとしては解釈されない。場合によっては、本出願において定義された用語であっても、本出願の実施態様を除外するものとして解釈されるべきではない。 The terminology used in this application is for the purpose of describing particular embodiments only and is not intended to limit the scope of other embodiments. Singular terms may include plural terms unless they clearly differ in context. Unless otherwise defined, all terms (including technical and scientific terms) used in this application have the same meaning as commonly understood by one of ordinary skill in the art to this application. Such terms (such as those defined in commonly used dictionaries) may be construed as having an equivalent meaning in the context of the relevant art and are not expressly defined in this application. Unless otherwise specified, they are not to be construed as having an idealized or stretched meaning. In some cases, even defined terms in this application should not be construed as excluding embodiments of this application.

本出願の実装における電子デバイスは、以下のうちの少なくとも１つ、すなわち、インテリジェント電話、タブレット型パーソナルコンピュータ（ＰＣ）、携帯電話、ビデオ電話、電子ブックリーダー、デスクトップＰＣ、ラップトップＰＣ、ノートブックコンピュータ、ワークステーション、サーバ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ポータブル・マルチメディア・プレーヤ（ＰＭＰ）、ＭＰＥＧ－１ オーディオレイヤ－３（ＭＰ３）プレーヤ、モバイル医療デバイス、カメラ又はウェアラブルデバイス、のうちの少なくとも１つを含んでよい。様々な実装において、ウェアラブルデバイスは、以下のうちの少なくとも１つ、すなわち、アクセサリー型ウェアラブルデバイス（時計、リストバンド、ブレスレット、アンクレット、ネックレス、眼鏡、コンタクトレンズ又はヘッドマウントデバイス（ＨＭＤ）等）、ファブリック又は衣類一体型ウェアラブルデバイス（例えば電子衣類）、ウェアオン型（wear-on-type）ウェアラブルデバイス（例えば保護ギア又はタトゥー）又はバイオインプランテーション型（bio-implantation-type）ウェアラブルデバイス（例えばインプラント可能回路）、のうちの少なくとも１つを含んでよい。 Electronic devices in implementations of this application include at least one of the following: intelligent telephones, tablet personal computers (PCs), mobile telephones, video phones, e-book readers, desktop PCs, laptop PCs, notebook computers. , workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MPEG-1 audio layer-3 (MP3) player, mobile medical device, camera or wearable device may include one. In various implementations, the wearable device includes at least one of the following: an accessory-type wearable device (such as a watch, wristband, bracelet, anklet, necklace, eyeglass, contact lens, or head-mounted device (HMD)); or clothing integrated wearable devices (e.g. electronic clothing), wear-on-type wearable devices (e.g. protective gear or tattoos) or bio-implantation-type wearable devices (e.g. implantable circuits ),

いくつかの実装では、電子デバイスは家庭用機器であってよい。家庭用機器は、例えば以下のうちの少なくとも１つ、すなわち、テレビジョンセット、デジタルビデオディスク（ＤＶＤ）プレーヤ、オーディオ装置、冷蔵庫、エアコン、掃除機、ベーキングオーブン、電子レンジ、洗濯機、エアクリーナー、セットトップボックス、家庭用自動制御パネル、セキュリティ制御パネル、ＴＶボックス（例えばＳａｍｓｕｎｇ Ｈｏｍｅ Ｓｙｎｃ（登録商標）、Ａｐｐｌｅ ＴＶ（登録商標）又はＧｏｏｇｌｅ ＴＶ（登録商標））、ゲームコンソール（例えばＸｂｏｘ（登録商標）及びＰｌａｙＳｔａｔｉｏｎ（登録商標））、電子辞書、電子キー、ビデオカメラ又は電子フォトフレーム、のうちの少なくとも１つを含んでよい。 In some implementations, the electronic device may be a consumer appliance. Domestic appliances include, for example, at least one of the following: television sets, digital video disc (DVD) players, audio equipment, refrigerators, air conditioners, vacuum cleaners, baking ovens, microwave ovens, washing machines, air cleaners, Set-top boxes, home automation control panels, security control panels, TV boxes (e.g. Samsung Home Sync®, Apple TV® or Google TV®), game consoles (e.g. Xbox®) and PlayStation®), an electronic dictionary, an electronic key, a video camera, or an electronic photo frame.

以下の説明において、本出願の様々な実装における電子デバイスは、添付の図面に関連して説明される。本出願において使用されるとき、「ユーザ」という用語は、電子デバイスを使用している人又は電子デバイスを使用しているデバイス（例えば人工知能電子デバイス）を指してよい。 In the following description, electronic devices in various implementations of the present application are described with reference to the accompanying drawings. As used in this application, the term "user" may refer to a person using an electronic device or a device using an electronic device (eg, an artificially intelligent electronic device).

様々な実装においてネットワーク環境１００内に配置される電子デバイス１０１は、図１に関連して説明されることになる。電子デバイス１０１は、バス１１０、プロセッサ１２０、メモリ１３０、入力／出力インタフェース１５０、ディスプレイ１６０及び通信インタフェース１７０を含んでよい。いくつかの実装において、電子デバイス１０１は、前述の要素のうちの少なくとも１つを省略してもよく、あるいは別の要素を更に含んでもよい。 Electronic device 101 deployed within network environment 100 in various implementations will be described with reference to FIG. Electronic device 101 may include bus 110 , processor 120 , memory 130 , input/output interface 150 , display 160 and communication interface 170 . In some implementations, electronic device 101 may omit at least one of the aforementioned elements, or may further include additional elements.

バス１１０は、例えば構成要素１１０～１７０を相互接続し、かつ通信（例えば制御メッセージ及び／又はデータ）を伝達するような回路を含んでよい。 Bus 110 may, for example, include circuitry for interconnecting components 110-170 and for carrying communications (eg, control messages and/or data).

プロセッサ１２０は、１つ以上の中央処理装置（ＣＰＵ）、アプリケーションプロセッサ（ＡＰ）及び／又は通信プロセッサ（ＣＰ）を含んでよい。例えばプロセッサ１２０は、電子デバイス１０１の少なくとも１つの他の構成要素の制御及び／又は通信に関連する動作又はデータ処理を実行してよい。 Processor 120 may include one or more central processing units (CPUs), application processors (APs), and/or communications processors (CPs). For example, processor 120 may perform operations or data processing associated with controlling and/or communicating with at least one other component of electronic device 101 .

メモリ１３０は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。メモリ１３０は、例えば電子デバイス１０１の少なくとも１つの他の構成要素に関連する命令又はデータを記憶してよい。一実装に基づいて、メモリ１３０は、ソフトウェア及び／又はプログラムを記憶してよい。プログラムは、カーネル１４１、ミドルウェア１４３、アプリケーションプログラミングインタフェースＡＰＩ １４５及び／又はアプリケーションプログラム（又は「アプリケーション」）１４７を含んでよい。カーネル１４１、ミドルウェア１４３及びＡＰＩ １４５のうちの少なくともいくつかが、オペレーティングシステム（ＯＳ）と呼ばれてもよい。 Memory 130 may include volatile memory and/or non-volatile memory. Memory 130 may store, for example, instructions or data relating to at least one other component of electronic device 101 . Based on one implementation, memory 130 may store software and/or programs. The programs may include kernel 141 , middleware 143 , application programming interface API 145 and/or application programs (or “applications”) 147 . At least some of kernel 141, middleware 143 and API 145 may be referred to as an operating system (OS).

カーネル１４１は、例えば他のプログラム（例えばミドルウェア１４３、ＡＰＩ １４５及びアプリケーションプログラム１４７）で実装された動作又は機能を実行するために、システムリソース（例えばバス１１０、プロセッサ１２０及びメモリ１３０）を制御又は管理してよい。加えて、カーネル１４１は、インタフェースを提供してよく、ミドルウェア１４３、ＡＰＩ １４５又はアプリケーションプログラム１４７は、インタフェースを使用してシステムリソースを制御又は管理することによって、電子デバイス１０１の別個の要素にアクセスしてよい。 Kernel 141 controls or manages system resources (eg, bus 110, processor 120, and memory 130), eg, to perform operations or functions implemented in other programs (eg, middleware 143, API 145, and application programs 147). You can Additionally, kernel 141 may provide interfaces that middleware 143, API 145, or application programs 147 may use to access separate elements of electronic device 101 by controlling or managing system resources. you can

例えばミドルウェア１４３は、ＡＰＩ １４５又はアプリケーション１４７がカーネル１４１と通信してデータを交換することを可能にするよう、インターミディアリとして使用されてよい。 For example, middleware 143 may be used as an intermediary to allow API 145 or application 147 to communicate with kernel 141 and exchange data.

ミドルウェア１４３は、タスク要求の優先度に基づいて、アプリケーションプログラム１４７から受け取った１つ以上のタスク要求を処理してよい。例えばミドルウェア１４３は、アプリケーションプログラム１４７のうちの少なくとも１つに、電子デバイス１０１を使用するために使用されるシステムリソース（例えばバス１１０、プロセッサ１２０及びメモリ１３０）の優先度を割り当ててよい。例えばミドルウェア１４３は、タスク要求に割り当てられた優先度に基づいて１つ以上のタスク要求を処理することによって、１つ以上のタスク要求についてスケジューリング又はロードバランシングを実行してよい。 Middleware 143 may process one or more task requests received from application program 147 based on the priority of the task requests. For example, middleware 143 may assign at least one of application programs 147 a priority of system resources (eg, bus 110 , processor 120 and memory 130 ) used to use electronic device 101 . For example, middleware 143 may perform scheduling or load balancing for one or more task requests by processing one or more task requests based on priorities assigned to the task requests.

ＡＰＩ １４５は、カーネル１４１又はミドルウェア１４３によって提供される機能を制御するためにアプリケーション１４７によって使用されるインタフェースであり、例えばファイル制御、ウィンドウ制御、画像処理又はテキスト制御のための少なくとも１つのインタフェース又は機能（例えば命令）を含んでよい。 API 145 is an interface used by application 147 to control functions provided by kernel 141 or middleware 143, such as at least one interface or function for file control, window control, image processing or text control. (eg, instructions).

入力／出力インタフェース１５０は、例えばユーザ又は別の外部デバイスからの命令又はデータ入力を電子デバイス１０１の別の（他の）要素に転送するインタフェースとして機能してよい。加えて、入力／出力インタフェース１５０は、電子デバイス１０１の別の（他の）要素から受け取った命令又はデータをユーザ又は別の外部デバイスに出力してよい。 Input/output interface 150 may serve as an interface for transferring instructions or data input from, for example, a user or another external device to another (other) element of electronic device 101 . In addition, input/output interface 150 may output instructions or data received from another (other) element of electronic device 101 to a user or another external device.

ディスプレイ１６０は、例えば液晶ディスプレイ（ＩＸＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、マイクロエレクトロメカニカルシステム（ＭＥＭＳ）ディスプレイ及び電子ペーパーディスプレイを含んでよい。ディスプレイ１６０は、様々なタイプのコンテンツ（例えばテキスト、画像、ビデオ、アイコン又はシンボル）をユーザに表示してよい。ディスプレイ１６０は、タッチスクリーンを含んでよく、電子ペン又はユーザの身体の一部を使用するなどして、タッチ入力、姿勢入力、近接入力又はホバー入力を受け取ってよい。 Display 160 may include, for example, a liquid crystal display (IXD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a microelectromechanical system (MEMS) display, and an electronic paper display. Display 160 may display various types of content (eg, text, images, video, icons or symbols) to the user. The display 160 may include a touch screen and may receive touch, pose, proximity or hover input, such as by using an electronic pen or part of the user's body.

例えば通信インタフェース１７０は、電子デバイス１０１と外部デバイス（例えば第１外部電子デバイス１０２、第２外部電子デバイス１０４又はサーバ１０６）との間の通信を確立してよい。例えば通信インタフェース１７０は、外部デバイス（例えば第２外部電子デバイス１０４又はサーバ１０６）と通信するために、無線又は有線通信を介してネットワーク１６２に接続されてよい。 For example, communication interface 170 may establish communication between electronic device 101 and an external device (eg, first external electronic device 102, second external electronic device 104, or server 106). For example, communication interface 170 may be connected to network 162 via wireless or wired communication to communicate with an external device (eg, second external electronic device 104 or server 106).

無線通信は、セルラー通信プロトコルとして、以下のうちの少なくとも１つ、すなわち、ロングタームエボリューション（ＬＴＥ）、高レベルＬＴＥ（ＬＴＥ－Ａ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、ユニバーサル移動通信システム（ＵＭＴＳ）、無線ブロードバンド（ＷｉＢｒｏ）及びグローバル移動通信システム（ＧＳＭ）等、のうちの少なくとも１つを使用してよい。加えて、無線通信は、例えば短距離通信１６４を含んでよい。短距離通信１６４は、以下のうちの少なくとも１つ、すなわち、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）及びグローバルナビゲーション衛星システム（ＧＰＳ）、のうちの少なくとも１つを含んでよい。有線通信は、以下のうちの少なくとも１つ、すなわち、例えばユニバーサルシリアルバス（ＵＳＢ）、高精細マルチメディア・インタフェース（ＨＤＭＩ）、レコメンデーション・スタンダード２３２（ＲＳ－２３２）及び基本電話サービス（ＰＯＴＳ）、のうちの少なくとも１つを含んでよい。ネットワーク１６２は、以下ののうちの少なくとも１つ、すなわち、通信ネットワーク（例えばコンピュータネットワーク（ＬＡＮ又はＷＡＮ等））、インターネット及び電話ネットワーク、のうちの少なくとも１つを含んでよい。 Wireless communication uses at least one of the following as a cellular communication protocol: Long Term Evolution (LTE), High Level LTE (LTE-A), Code Division Multiple Access (CDMA), Wideband CDMA (WCDMA), Universal At least one of a mobile telecommunications system (UMTS), wireless broadband (WiBro), Global System for Mobile Communications (GSM), etc. may be used. Additionally, wireless communication may include short-range communication 164, for example. Short-range communication 164 includes at least one of the following: Wi-Fi, Bluetooth®, Near Field Communication (NFC), and Global Navigation Satellite System (GPS), for example. OK. Wired communication may include at least one of the following: Universal Serial Bus (USB), High Definition Multimedia Interface (HDMI), Recommendation Standard 232 (RS-232) and Plain Telephone Service (POTS); at least one of Network 162 may include at least one of the following: a communications network (eg, a computer network (such as LAN or WAN)), the Internet, and a telephone network.

第１外部電子デバイス１０２及び第２外部電子デバイス１０４は、電子デバイス１０１と同じタイプのデバイスであっても異なるタイプのデバイスであってもよい。一実装に基づいて、サーバ１０６は、１つ以上のサーバを有するグループを含んでよい。様々な実装において、電子デバイス１０１で実行される動作のすべて又は一部が、別の電子デバイス又は複数の電子デバイス（例えば電子デバイス１０２又は１０４又はサーバ１０６）で実行されてもよい。一実装に基づいて、電子デバイス１０１が機能又はサービスを自動的に又は要求に応答して実行しなければならないとき、電子デバイス１０１は、その機能又はサービスを自律的に又は追加的に実行する代わりに、その機能又はサービスに関連する機能又はサービスの少なくとも一部を実行するよう別のデバイス（例えば電子デバイス１０２又は１０４又はサーバ）に要求してよい。別の電子デバイス（例えば電子デバイス１０２、１０４又はサーバ１０６）は、要求された機能又は別の機能を実行してよく、実行結果を電子デバイス１０１に転送してよい。電子デバイス１０１は、受け取った結果を現在の状況として処理してよく、加えて、その結果を処理し、要求された機能又はサービスを提供する。この目的のために、例えばクラウドコンピューティング、分散コンピューティング又はクライアント－サーバコンピューティング技術が使用されてよい。 The first external electronic device 102 and the second external electronic device 104 may be the same type of device as the electronic device 101 or different types of devices. Based on one implementation, servers 106 may include groups having one or more servers. In various implementations, all or part of the operations performed on electronic device 101 may be performed on another electronic device or multiple electronic devices (eg, electronic devices 102 or 104 or server 106). Based on one implementation, when electronic device 101 must perform a function or service automatically or in response to a request, electronic device 101 may instead perform that function or service autonomously or additionally. In turn, another device (eg, electronic device 102 or 104 or a server) may be requested to perform at least a portion of a function or service associated with that function or service. Another electronic device (eg, electronic device 102 , 104 or server 106 ) may perform the requested function or another function and forward the results of the execution to electronic device 101 . The electronic device 101 may process the received results as the current state, as well as process the results and provide the requested function or service. For this purpose, for example, cloud computing, distributed computing or client-server computing techniques may be used.

電子デバイス１０１は、モーションセンサ１９０を含んでもよい。モーションセンサは、プロセッサ１２０に電気的に接続され、電子デバイス１２０の運動情報を取得する。モーションセンサ１９０は、電子デバイスの直線加速度、回転角加速度又は方向情報を感知し得る、以下のうちの少なくとも１つ、すなわち、直線加速度センサ、ジャイロセンサ及び地磁気センサ、のうちの少なくとも１つを含んでよい。電子デバイス１０１は、センサからの出力値に基づいて、電子デバイス１０１の運動情報を取得し得る。例えば電子デバイス１０１は、直線加速度センサからの出力値に基づいて、電子デバイス１０１の直線加速度を取得し得る。電子デバイス１０１は、ジャイロセンサからの出力値に基づいて、電子デバイス１０１の回転角加速度を取得し得る。電子デバイス１０１は、ジャイロセンサ及び地磁気センサの各々からの出力値に基づいて、電子デバイス１０１の運動方向情報を取得し得る。 Electronic device 101 may include motion sensor 190 . A motion sensor is electrically connected to the processor 120 to obtain movement information of the electronic device 120 . Motion sensors 190 include at least one of the following: linear acceleration sensors, gyro sensors, and geomagnetic sensors that can sense linear acceleration, rotational angular acceleration, or orientation information of the electronic device. OK. The electronic device 101 can acquire motion information of the electronic device 101 based on output values from the sensors. For example, the electronic device 101 can acquire the linear acceleration of the electronic device 101 based on the output value from the linear acceleration sensor. The electronic device 101 can acquire the rotational angular acceleration of the electronic device 101 based on the output value from the gyro sensor. The electronic device 101 can acquire movement direction information of the electronic device 101 based on output values from each of the gyro sensor and the geomagnetic sensor.

本出願の様々な実装において、プロセッサ１２０はディスプレイ１６０に電気的に接続されてもよい。加えて、プロセッサ１２０は、メモリ１３０に電気的に接続されてもよい。メモリ１３０は、取得された運動情報から慣性力成分を除去するために慣性力補正を実行し、慣性力が補正された運動情報に対応する画面を表示するようにプロセッサ１２０に指示する命令を記憶してよい。 In various implementations of the present application, processor 120 may be electrically connected to display 160 . Additionally, processor 120 may be electrically connected to memory 130 . Memory 130 stores instructions directing processor 120 to perform inertial force correction to remove an inertial force component from the acquired motion information and to display a screen corresponding to the inertial force-corrected motion information. You can

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、慣性成分を取得すること、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。 In various implementations of the present application, memory 130 also stores instructions that are used to direct processor 120 to perform the following actions when the instructions are executed: obtaining the inertial component. You can

本出願の様々な実装において、通信モジュール１７０は、電子デバイスとは物理的に別個の別の電子デバイスから慣性成分を受け取り、慣性成分を感知してもよい。 In various implementations of the present application, communication module 170 may receive and sense inertial components from another electronic device that is physically separate from the electronic device.

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、慣性力に対応する慣性加速度及び運動情報に対応する加速度の逆ベクトルを加えることによって補正ベクトルを生成することと；生成された補正ベクトルに対応する画面を表示するようにディスプレイ１６０を制御することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。 In various implementations of the present application, memory 130 generates a correction vector by adding the following operations when instructions are executed: inertial acceleration corresponding to inertial force and inverse acceleration vector corresponding to motion information. and controlling display 160 to display a screen corresponding to the generated correction vector.

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、ユーザが電子デバイスを動かすときにユーザの少なくとも１つの身体部分から生体測定信号を取得することと；生体測定信号が取得されないとき、取得された運動情報に対応する慣性成分を除去することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。電子デバイス１０１は、センサを更に含んでもよい。センサは、生体測定信号を取得してよく、プロセッサ１２０は、生体測定信号センサから生体測定信号を取得し得る。 In various implementations of the present application, memory 130, when instructions are executed, performs the following operations: obtaining biometric signals from at least one body part of the user when the user moves the electronic device; and removing the inertial component corresponding to the acquired motion information when no biometric signal is acquired. The electronic device 101 may further include sensors. The sensor may obtain the biometric signal, and the processor 120 may obtain the biometric signal from the biometric signal sensor.

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、運動情報が、予め設定された範囲に含まれるかどうかを判断することと；予め設定された範囲を超える運動情報に対応する慣性成分を除去することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。 In various implementations of the present application, memory 130 performs the following operations upon execution of the instructions: determining whether the motion information falls within a preset range; may further store instructions used to direct processor 120 to remove inertial components corresponding to motion information in excess of .

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、電子デバイス１０１の方向情報を取得することと；方向情報が変更されないとき、取得された運動情報に対応する慣性成分を除去することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。 In various implementations of the present application, the memory 130 performs the following operations when the instructions are executed: obtaining orientation information of the electronic device 101; Instructions used to direct processor 120 to remove the corresponding inertial component and to perform may also be stored.

本出願の様々な実装において、メモリ１３０は、命令が実行されるとき、以下の動作、：すなわち、運動情報の線形成分に対応する慣性力成分を除去すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよい。 In various implementations of the present application, memory 130, when the instructions are executed, directs processor 120 to perform the following actions: remove inertial force components corresponding to linear components of motion information. Instructions for doing may also be stored.

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、運動情報の回転成分に応じて画面を表示すること、を実行するようプロセッサ１２０に指示する命令を更に記憶してよい。 In various implementations of the present application, memory 130 stores instructions that, when executed, direct processor 120 to perform the following actions: display a screen in response to the rotational component of the motion information. You can store more.

電子デバイス１０１は、電子デバイスの外部環境の複数の画像をキャプチャし、その複数の画像をプロセッサに出力するカメラモジュール（図示せず）を更に含んでもよい。本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、複数の画像の隣接画像が変更されないとき、取得された運動情報に対応する慣性力成分を除去すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよい。 The electronic device 101 may further include a camera module (not shown) that captures multiple images of the environment external to the electronic device and outputs the multiple images to the processor. In various implementations of the present application, memory 130, upon execution of the instructions, removes the inertial force component corresponding to the acquired motion information when adjacent images of the plurality of images are not modified. Further instructions may be stored for directing the processor 120 to perform the following.

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、複数の画像の隣接画像間の差に基づいて、電子デバイスの運動情報を取得すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよく；ディスプレイは、取得された運動情報に対応する画面を表示するように制御される。 In various implementations of the present application, the memory 130, upon execution of the instructions, performs the following operations: obtaining motion information of the electronic device based on differences between adjacent images of the plurality of images. Instructions may also be stored for instructing the processor 120 to do; the display is controlled to display a screen corresponding to the acquired athletic information.

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、別の電子デバイスに対する電子デバイスの相対的な位置に基づいて、電子デバイスの運動情報を取得すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよく；ディスプレイは、取得された運動情報に対応する画面を表示するように制御される。 In various implementations of the present application, memory 130, when instructions are executed, performs the following operations: obtaining movement information of an electronic device based on the relative position of the electronic device with respect to another electronic device; , the display is controlled to display a screen corresponding to the acquired athletic information.

図２は、様々な実装における電子デバイス２０１のブロック図である。電子デバイス２０１は、例えば図１に図示される電子デバイス１０１の全体又は一部を含んでよい。電子デバイス２０１は、少なくとも１つのアプリケーションプロセッサ（ＡＰ）２１０、通信インタフェース２２０、加入者識別モジュール２２４、メモリ２３０、センサモジュール２４０、入力デバイス２５０、ディスプレイ２６０、インタフェース２７０、オーディオインタフェース２８０、カメラモジュール２９１、電力管理ユニット２９５、バッテリ２９６、インジケータ２９７及びモータ２９８を含んでよい。 FIG. 2 is a block diagram of electronic device 201 in various implementations. Electronic device 201 may include, for example, all or part of electronic device 101 illustrated in FIG. Electronic device 201 includes at least one application processor (AP) 210, communication interface 220, subscriber identity module 224, memory 230, sensor module 240, input device 250, display 260, interface 270, audio interface 280, camera module 291, A power management unit 295, a battery 296, an indicator 297 and a motor 298 may be included.

プロセッサ２１０は、例えばオペレーティングシステム又はアプリケーションプログラムを駆動して、プロセッサ２１０に接続された複数のハードウェア又はソフトウェア要素を制御し、様々なタイプのデータ処理及び動作を実行してよい。プロセッサ２１０は、例えばシステムオンチップ（ＳｏＣ）によって実装されてよい。実施形態によると、プロセッサ２１０は、グラフィクス処理ユニット（ＣＰＵ）及び／又は画像信号プロセッサを更に含んでよい。プロセッサ２１０は、（セルラモジュール２２１のような）図２に図示される要素の少なくともいくつかを更に含んでもよい。プロセッサ２１０は、揮発性メモリ内に、別の要素のうちの少なくとも１つ（例えば不揮発性メモリ）から受け取った命令又はデータロードして、ロードされた命令又はデータを処理してよく、様々なタイプのデータを不揮発性メモリ内に記憶してもよい。 Processor 210 may, for example, drive an operating system or application programs and control a number of hardware or software elements connected to processor 210 to perform various types of data processing and operations. Processor 210 may be implemented by, for example, a system-on-chip (SoC). According to embodiments, processor 210 may further include a graphics processing unit (CPU) and/or an image signal processor. Processor 210 may further include at least some of the elements illustrated in FIG. 2 (such as cellular module 221). Processor 210 may load instructions or data received from at least one of the other elements (e.g., non-volatile memory) into volatile memory and process the loaded instructions or data. data may be stored in non-volatile memory.

通信モジュール２２０は、図１の通信インタフェース１７０の構成と同等又は同様の構成を有してよい。通信モジュール２２０は、例えばセルラモジュール２２１、Ｗｉ－Ｆｉモジュール２２３、Ｂｌｕｅｔｏｏｔｈ（ＢＴ）モジュール２２５、ＧＰＳモジュール２２７、ＮＦＣモジュール２２８及び無線周波数（ＲＦ）モジュール２２９を含んでよい。 Communication module 220 may have a configuration that is equivalent or similar to that of communication interface 170 of FIG. Communication module 220 may include, for example, cellular module 221 , Wi-Fi module 223 , Bluetooth (BT) module 225 , GPS module 227 , NFC module 228 and radio frequency (RF) module 229 .

セルラインタフェース２２１は、例えば通信ネットワークを介して、音声通話、ビデオ通話、テキストメッセージサービス又はインターネットサービスを提供してよい。一実施形態によると、セルラモジュール２２１は、加入者識別モジュール２２４（例えばＳＩＭカード）を使用して、通信ネットワーク内の電子デバイス２０１を区別して認証してよい。一実施形態によると、セルラモジュール２２１は、プロセッサ２１０によって提供され得る機能のうちの少なくともいくつかを実行してよい。本出願の実施形態によると、セルラモジュール２２１は、通信プロセッサ（ＣＰ）を含んでもよい。 Cellular interface 221 may provide voice calls, video calls, text message services, or Internet services, for example, over a communications network. According to one embodiment, cellular module 221 may use subscriber identity module 224 (eg, a SIM card) to distinguish and authenticate electronic device 201 within a communication network. According to one embodiment, cellular module 221 may perform at least some of the functions that may be provided by processor 210 . According to embodiments of the present application, cellular module 221 may include a communications processor (CP).

Ｗｉ－Ｆｉモジュール２２３、ＢＴモジュール２２５、ＧＰＳモジュール２２７及びＮＦＣモジュール２２８の各々は、例えば対応するモジュールを使用することによって送信又は受信されたデータを処理するように構成されるプロセッサを含んでよい。いくつかの実装によると、セルラモジュール２２１、Ｗｉ－Ｆｉモジュール２２３、ＢＴモジュール２２５、ＧＰＳモジュール２２７及びＮＦＣモジュール２２８のうちの少なくともいくつか（２つ以上）が、１つの集積チップ（ＩＣ）又はＩＣパッケージに含まれてもよい。 Each of Wi-Fi module 223, BT module 225, GPS module 227 and NFC module 228 may include a processor configured to process data transmitted or received, eg, by using the corresponding module. According to some implementations, at least some (two or more) of cellular module 221, Wi-Fi module 223, BT module 225, GPS module 227 and NFC module 228 are integrated into one integrated chip (IC) or IC. may be included in the package.

ＲＦモジュール２２９は、例えば通信信号（例えばＲＦ信号）を送信又は受信してよい。ＲＦモジュール２２９は、例えばトランシーバ、電力増幅モジュール（ＰＡＭ）、フィルタ、低雑音増幅器（ＬＮＡ）又はアンテナを含んでもよい。本出願の別の実装によると、セルラモジュール２２１、Ｗｉ－Ｆｉモジュール２２３、ＢＴモジュール２２５、ＧＰＳモジュール２２７及びＮＦＣモジュール２２８のうちの少なくとも１つは、別個のＲＦモジュールを使用することによってＲＦ信号を送信又は受信してもよい。 RF module 229 may, for example, transmit or receive communication signals (eg, RF signals). RF module 229 may include, for example, a transceiver, power amplifier module (PAM), filter, low noise amplifier (LNA), or antenna. According to another implementation of the present application, at least one of cellular module 221, Wi-Fi module 223, BT module 225, GPS module 227 and NFC module 228 transmits RF signals by using separate RF modules. may be sent or received.

加入者識別モジュール２２４は、例えば加入者識別モジュール（ＳＩＭ）及び／又は埋め込みＳＩＭを有するカードを含んでもよく、一意のアイデンティティ識別情報（集積回路カード識別子（ＩＣＣＩＤ）又は加入者情報（例えばインターナショナル・モバイル・サブスクライバー・アイデンティティ（ＩＭＳＩ））を含んでもよい。 Subscriber identity module 224 may include, for example, a subscriber identity module (SIM) and/or a card with an embedded SIM, and may include unique identity identification information (such as an integrated circuit card identifier (ICCID)) or subscriber information (such as International Mobile • May include a Subscriber Identity (IMSI).

メモリ２３０（例えばメモリ１３０）は、例えば内部メモリ２３２又は外部メモリ２３４を含んでよい。内部メモリ２３２は、例えば揮発性メモリ（例えば動的ランダムアクセスメモリ（ＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）及び同期動的ＲＡＭ（ＳＤＲＡＭ））及び不揮発性メモリ（例えばワンタイムプログラマブル読み取り専用メモリ）（ＯＴＰＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲ０Ｍ）、マスクＲＯＭ、フラッシュメモリＲＯＭ、フラッシュメモリ（例えばＮＡＮＤフラッシュメモリ又はＮＯＲフラッシュメモリ）、ハードディスクドライブ又はソリッドステートドライブ（ＳＳＤ）のうちの少なくとも１つを含んでよい。 Memory 230 (eg, memory 130 ) may include, for example, internal memory 232 or external memory 234 . Internal memory 232 includes, for example, volatile memory (eg, dynamic random access memory (DRAM), static RAM (SRAM), and synchronous dynamic RAM (SDRAM)) and nonvolatile memory (eg, one-time programmable read-only memory) (OTPROM). ), programmable ROM (PROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), mask ROM, flash memory ROM, flash memory (e.g. NAND flash memory or NOR flash memory), hard disk drive or solid state It may include at least one of a state drive (SSD).

外部メモリ２３４は、コンパクトフラッシュメモリ（ＣＦ）、セキュアデジタル（ＳＤ）、マイクロセキュアデジタル（Ｍｉｃｒｏ－ＳＤ）、ミニセキュアデジタル（Ｍｉｎｉ－ＳＤ）、マルチメディアカード（ＭＭＣ）、メモリスティック等のようなフラッシュメモリドライブを更に含んでもよい。外部メモリ２３４は、様々なインタフェースを介して、電子デバイス２０１に機能的及び／又は物理的に接続されてよい。 External memory 234 may be flash memory such as compact flash memory (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), multimedia card (MMC), memory stick, etc. A memory drive may also be included. External memory 234 may be functionally and/or physically connected to electronic device 201 via various interfaces.

センサモジュール２４０は、物理的な量を測定するか又は電子デバイス２０１の動作ステータスを検出してよく、測定又は検出された情報を電気信号に変換してよい。センサモジュール２４０は、例えば以下のうちの少なくとも１つ、すなわち、姿勢センサ２４０Ａ、ジャイロスコープセンサ２４０Ｂ、気圧センサ２４０Ｃ、磁気センサ２４０Ｄ、加速度センサ２４０Ｅ、保持センサ２４０Ｆ、近接センサ２４０Ｇ、色センサ２４０Ｈ（例えば赤、緑及び青（ＲＧＢ）センサ）、生体測定センサ２４０１、温度又は湿度センサ２４０Ｊ、光センサ２４０Ｋ及び紫外線（ＵＶ）センサ２４０Ｍ、のうちの少なくとも１つを含んでよい。追加又は代替として、センサモジュール２４０は、例えば電子ノーズ・スリミング・センサ（electronic nose Slimming sensor）、筋電画像（ＥＭＧ）センサ、脳波（ＥＥＧ）センサ、心電図（ＥＣＧ）センサ、赤外線（ＩＲ）センサ、ＩＲＩＳセンサ及び／又は指紋センサを含んでよい。センサモジュール２４０は、センサモジュール２４０に含まれる少なくとも１つのセンサを制御するように構成される制御回路を更に含んでよい。いくつかの実装において、電子デバイス２０１は、プロセッサを更に含んでよい。プロセッサは、プロセッサ２１０の一部として構成されるか又はプロセッサ２１０から独立しており、プロセッサ２１０がスリープ状態にあるときにセンサモジュール２４０を制御するために、センサモジュール２４０を制御する。 The sensor module 240 may measure physical quantities or detect operational status of the electronic device 201 and may convert the measured or detected information into electrical signals. The sensor module 240 may include, for example, at least one of the following: an attitude sensor 240A, a gyroscope sensor 240B, an air pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a holding sensor 240F, a proximity sensor 240G, a color sensor 240H (e.g. red, green and blue (RGB) sensors), a biometric sensor 2401, a temperature or humidity sensor 240J, a light sensor 240K and an ultraviolet (UV) sensor 240M. Additionally or alternatively, the sensor module 240 may include, for example, an electronic nose slimming sensor, an electromyographic imaging (EMG) sensor, an electroencephalogram (EEG) sensor, an electrocardiogram (ECG) sensor, an infrared (IR) sensor, An IRIS sensor and/or a fingerprint sensor may be included. Sensor module 240 may further include control circuitry configured to control at least one sensor included in sensor module 240 . In some implementations, electronic device 201 may further include a processor. The processor may be part of or separate from processor 210 and controls sensor module 240 to control sensor module 240 when processor 210 is in a sleep state.

入力デバイス２５０は、例えばタッチパネル２５２、（デジタル）ペンセンサ２５４、キー２５６又は指紋センサ２５８を含んでよい。タッチパネル２５２は、容量型、抵抗型、赤外線型及び超音波型のうちの少なくとも１つを使用してよい。加えて、タッチパネル２５２は、制御回路を更に含んでよい。タッチパネル２５２は、ユーザに触覚反応を提供するために、触覚層を更に含んでよい。 The input device 250 may include a touch panel 252, a (digital) pen sensor 254, keys 256 or a fingerprint sensor 258, for example. The touch panel 252 may use at least one of a capacitive type, a resistive type, an infrared type, and an ultrasonic type. Additionally, the touch panel 252 may further include a control circuit. Touch panel 252 may further include a tactile layer to provide tactile response to the user.

（デジタル）ペンセンサ２５４は、例えばタッチパネルの一部として又はタッチパネルから独立した識別プレートとして含んでよい。キー２５６は、例えば物理的ボタン、光学キー又は小さなキーボードを含んでよく、指紋センサ２５８は、指紋データを検出してよい。 The (digital) pen sensor 254 may be included, for example, as part of the touch panel or as an identification plate separate from the touch panel. Keys 256 may include, for example, physical buttons, optical keys, or a small keyboard, and fingerprint sensor 258 may detect fingerprint data.

ディスプレイ２６０（例えばディスプレイ１６０）は、パネル２６２、ホログラフィックデバイス２６４又はプロジェクタ２６６を含んでよい。パネル２６２は、図１に示されるディスプレイ１６０のものと同一又は類似の構成を含んでよい。フェースプレート２６２は、例えば可撓性、透明又はウェアラブルとして実装されてよい。パネル２６２及びタッチパネル２５２は、１つのモジュールとして実装されてもよい。ホログラフィックデバイス２６４は、光干渉を使用することによって、空中に三次元画像を表示し得る。プロジェクタ２６６は、画像を表示するために画面上に光を投影してよい。例えば画面は、電子デバイス２０１の内側又は外側に配置されてよい。一実装によると、ディスプレイ２６０は、制御パネル２６２、ホログラフィックデバイス２６４又はプロジェクタ２６６のための制御回路を更に含んでよい。 A display 260 (eg, display 160 ) may include a panel 262 , a holographic device 264 or a projector 266 . Panel 262 may include the same or similar configuration as that of display 160 shown in FIG. Faceplate 262 may be implemented as flexible, transparent, or wearable, for example. The panel 262 and touch panel 252 may be implemented as one module. Holographic device 264 can display three-dimensional images in mid-air by using optical interference. Projector 266 may project light onto a screen to display an image. For example, the screen may be placed inside or outside the electronic device 201 . According to one implementation, display 260 may further include control circuitry for control panel 262 , holographic device 264 or projector 266 .

インタフェース２７０は、例えば高精細マルチメディア・インタフェース（ＨＤＭＩ）２７２、ユニバーサルシリアルバス（ＵＳＢ）２７４及び光モジュール２７６を含んでよい。インタフェース２７０は、例えば図１に示される通信インタフェース１７０に含まれてもよい。追加又は代替として、インタフェース２７０は、例えばモバイル高精細リンク（ＭＨＬ）インタフェース、セキュアデジタル（ＳＤ）カード／マルチメディアカード（ＭＭＣ）インタフェース又は赤外線データ・アソシエーション（ＩｒＤＡ）規格のインタフェースを含んでよい。 Interfaces 270 may include, for example, a high definition multimedia interface (HDMI) 272, a universal serial bus (USB) 274, and an optical module 276. Interface 270 may be included, for example, in communication interface 170 shown in FIG. Additionally or alternatively, interface 270 may include, for example, a mobile high definition link (MHL) interface, a secure digital (SD) card/multimedia card (MMC) interface, or an infrared data association (IrDA) standard interface.

オーディオモジュール２８０は、例えば音声及び電気信号に対して双方向変換を実行してよい。オーディオモジュール２８０内の少なくともいくつかの要素は、例えば図１に示される入力／出力インタフェース１４５に含まれてよい。オーディオモジュール２８０は、例えばスピーカ２８２、レシーバ２８４、ヘッドセット２８６又はマイクロホン２８８を使用することによって、入力又は出力される音声情報を処理してよい。 Audio module 280 may, for example, perform bi-directional conversion on audio and electrical signals. At least some of the elements within audio module 280 may be included, for example, in input/output interface 145 shown in FIG. Audio module 280 may process input or output audio information, for example, by using speaker 282 , receiver 284 , headset 286 or microphone 288 .

実装に基づいて、静止画像及び動的画像を撮ることができるカメラモジュール２９１は、１つ以上の画像センサ（例えばフロントセンサ又はバックセンサ）、レンズ、画像信号プロセッサ（ＩＳＰ）又はフラッシュ（例えばＬＥＤ、キセノンランプ）を含んでよい。 Camera module 291, which can take still and dynamic images, depending on the implementation, includes one or more image sensors (e.g., front or back sensors), lenses, image signal processors (ISPs), or flashes (e.g., LEDs, xenon lamp).

電力管理ユニット２９５は、例えば電子デバイス２０１の電源を管理してよい。実装に基づいて、電力管理ユニット２９５は、電力管理集積回路（ＰＭＩＣ）、充電器１Ｃ又はバッテリテーブルを含んでもよい。ＰＭＩＣは、有線及び／又は無線充電方法を使用してよい。無線充電方法の例には、磁気共鳴法、磁気誘導法、電磁気的方法等が含まれ得る。無線充電のための追加の回路（例えばコイルループ、共振回路、整流器）が更に含まれてもよい。バッテリテーブルは、例えばバッテリ２９６の残りのバッテリ電力と、充電中の電圧、電流又は温度を測定してよい。バッテリ２９６は、例えば再充電可能バッテリ及び／又はソーラーバッテリを含んでよい。 The power management unit 295 may manage power to the electronic device 201, for example. Depending on the implementation, power management unit 295 may include a power management integrated circuit (PMIC), charger 1C, or battery table. PMICs may use wired and/or wireless charging methods. Examples of wireless charging methods may include magnetic resonance methods, magnetic induction methods, electromagnetic methods, and the like. Additional circuitry (eg, coil loop, resonant circuit, rectifier) for wireless charging may also be included. The battery table may measure, for example, remaining battery power of battery 296 and voltage, current or temperature during charging. Battery 296 may include, for example, rechargeable batteries and/or solar batteries.

インジケータデバイス２９７は、起動状態、メッセージ状態、充電状態のような、電子デバイス２０１又は該電子デバイス２０１の一部（例えばプロセッサ２１０）の特定の状態を表示してよい。モータ２９８は、電気信号を機械的振動に変換してよく、振動効果又は触覚効果を発生させ得る。図示されていないが、電子デバイス２０１は、モバイルテレビジョン（ＴＶ）をサポートするように構成される処理ユニット（例えばＧＰＵ）を含んでよい。モバイルＴＶをサポートするための処理ユニットは、デジタル・マルチメディア・ブロードキャスティング（ＤＭＢ）、デジタル・ビデオ・ブロードキャスティング（ＤＶＢ）、ＭｅｄｉａＦＬＯ（登録商標）等4のような規格に基づいてメディアデータを処理することができる。 Indicator device 297 may indicate a particular state of electronic device 201 or a portion of electronic device 201 (eg, processor 210), such as a boot state, a message state, a charging state. Motor 298 may convert electrical signals into mechanical vibrations and may produce vibratory or haptic effects. Although not shown, electronic device 201 may include a processing unit (eg, GPU) configured to support mobile television (TV). A processing unit to support mobile TV processes media data based on standards such as Digital Multimedia Broadcasting (DMB), Digital Video Broadcasting (DVB), MediaFLO®, etc.4 can do.

本出願のハードウェアに基づく前述の構成要素の成分の各々は、１つ以上の構成要素とともに構成されてもよく、対応する構成要素の成分の名称は、電子デバイスのタイプに基づいて変わってよい。本出願の様々な実装における電子デバイスは、前述の要素のうちの少なくとも１つを含んでよい。いくつかの構成要素が省略されてもよく、あるいは別の構成要素が電子デバイスに更に含まれてもよい。加えて、実装におけるハードウェア構成要素のいくつかが、１つのエンティティに組み合わされてよく、エンティティは、組合せの前の関連する構成要素と同じ機能を実行し得る。 Each of the components of the foregoing hardware based components of the present application may be configured with one or more components, and the designation of the components of the corresponding components may vary based on the type of electronic device. . Electronic devices in various implementations of the present application may include at least one of the aforementioned elements. Some components may be omitted or other components may be further included in the electronic device. In addition, some of the hardware components in an implementation may be combined into one entity, and the entity may perform the same functions as related components before the combination.

図３は、本出願の様々な実装におけるプログラムモジュールのブロック図である。一実施形態に基づいて、プログラムモジュール３１０（例えばプログラム）は、電子デバイス（例えば電子デバイス１０１）に関連付けられるリソース及び／又はオペレーティングシステム内で実行される様々なアプリケーション（例えばアプリケーション１４７）を制御するように構成されるオペレーティングシステム（ＯＳ）を含んでよい。オペレーティングシステムは、例えばＡｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、Ｓｙｍｂｉａｎ（登録商標）、Ｔｉｚｅｎ（登録商標）又はＳａｍｓｕｎｇ ＢａｄａＯＳ（登録商標）等であってよい。 FIG. 3 is a block diagram of program modules in various implementations of the present application. According to one embodiment, program modules 310 (eg, programs) are configured to control resources associated with an electronic device (eg, electronic device 101) and/or various applications (eg, applications 147) running within an operating system. may include an operating system (OS) configured in The operating system may be, for example, Android (registered trademark), iOS (registered trademark), Windows (registered trademark), Symbian (registered trademark), Tizen (registered trademark) or Samsung BadaOS (registered trademark).

プログラムモジュール３１０は、カーネル３２０、ミドルウェア３３０、アプリケーションプログラミングインタフェース（ＡＰＩ）３６０及び／又はアプリケーション３７０を含んでもよい。プログラムモジュール３１０の少なくとも一部は、電子デバイス上に予めインストールされてよく、外部電子デバイス（例えば電子デバイス１０２、１０４又はサーバ１０６）からダウンロードされてもよい。 Program modules 310 may include kernel 320 , middleware 330 , application programming interfaces (APIs) 360 and/or applications 370 . At least a portion of program modules 310 may be pre-installed on the electronic device or may be downloaded from an external electronic device (eg, electronic device 102, 104 or server 106).

メモリ３２０（例えばメモリ１４１）は、例えばシステムリソースマネージャ３２１及び／又はデバイスドライバ３２３を含んでもよい。システムリソースマネージャ３２１は、システムリソースを制御、割り当て又は収集してよい。一実装に基づいて、システムリソースマネージャ３２１は、プロセスマネージャ、メモリマネージャ又はファイルシステムマネージャを含んでよい。デバイスドライバ３２３は、例えばディスプレイドライバ、カメラドライバ、Ｂｌｕｅｔｏｏｔｈドライバ、共有メモリドライバ、ＵＳＢドライバ、キーパッドドライバ、Ｗｉ－Ｆｉドライバ、オーディオドライバ又はプロセス間通信（ＩＰＣ）ドライバを含んでよい。 Memory 320 (eg, memory 141) may include system resource manager 321 and/or device driver 323, for example. System resource manager 321 may control, allocate or collect system resources. Based on one implementation, system resource manager 321 may include a process manager, memory manager, or file system manager. Device drivers 323 may include, for example, display drivers, camera drivers, Bluetooth drivers, shared memory drivers, USB drivers, keypad drivers, Wi-Fi drivers, audio drivers, or inter-process communication (IPC) drivers.

ミドルウェア３３０は、アプリケーション３７０により共同で必要とされる機能を提供してよい。あるいは、それは、アプリケーション３７０が電子デバイス内の限られたシステムリソースを有効に使用し得るように、ＡＰＩ ３６０を使用することによって、アプリケーション３７０に様々な機能を提供してもよい。一実装に基づいて、ミドルウェア３３０（ミドルウェア１４３等）は、例えば以下のうちの少なくとも１つ、すなわち、ランタイムライブラリ３３５、アプリケーションマネージャ３４１、ウィンドウマネージャ３４２、マルチメディアマネージャ３４３、リソースマネージャ３４４、電力マネージャ３４５、データベースマネージャ３４６、ソフトウェアパッケージマネージャ３４７、接続マネージャ３４８、通知マネージャ３４９、ロケーションマネージャ３５０、グラフィクスマネージャ３５１及びセキュリティマネージャ３５２、のうちの少なくとも１つを含んでよい。 Middleware 330 may provide functionality that is jointly needed by applications 370 . Alternatively, it may provide various functions to the application 370 by using the API 360 so that the application 370 can make efficient use of limited system resources within the electronic device. Based on one implementation, middleware 330 (such as middleware 143) includes, for example, at least one of the following: runtime library 335, application manager 341, window manager 342, multimedia manager 343, resource manager 344, power manager 345. , database manager 346 , software package manager 347 , connection manager 348 , notification manager 349 , location manager 350 , graphics manager 351 and security manager 352 .

ランタイムライブラリ３３５は、アプリケーション３７０が実行されるときに、ライブラリ・モジュールを使用してプログラミング言語で新しい関数を追加するライブラリ・モジュールを含んでよい。ランタイムライブラリ３３５は、入力／出力管理、メモリ管理又は算術関数のための関数を実行してよい。 Runtime library 335 may include library modules that add new functions in a programming language using library modules when application 370 is executed. Runtime library 335 may perform functions for input/output management, memory management, or arithmetic functions.

アプリケーションマネージャ３４１は、例えばアプリケーション３７０のうちの少なくとも１つの寿命を管理してよい。ウィンドウマネージャ３４２は、画面上で使用されるグラフィカルユーザインタフェース（ＧＵＩ）リソースを管理してよい。マルチメディアマネージャ３４３は、様々なメディアファイルを再生するために必要なフォーマットを識別し、対応するフォーマットに適したコードを使用してメディアファイルを符号化又は復号し得る。リソースマネージャ３４４は、ソースコード、メモリ又はストレージスペースのような、アプリケーション３７０のうちの少なくとも１つのリソースを管理し得る。 Application manager 341 may manage the lifetime of at least one of applications 370, for example. Window manager 342 may manage the graphical user interface (GUI) resources used on the screen. Multimedia manager 343 may identify the formats required to play various media files and encode or decode the media files using code appropriate for the corresponding format. Resource manager 344 may manage resources of at least one of applications 370, such as source code, memory, or storage space.

電力マネージャ３４５は、例えば基本入出力システム（ＢＩＯＳ）とともに動作してバッテリ又は電源を管理してよく、電子デバイスが動作するために必要な電源情報を提供してよい。データベースマネージャ３４６は、アプリケーション３７０のうちの少なくとも１つのために使用されるデータベースを生成、検索又は変更してよい。ソフトウェアパッケージマネージャ３４７は、ソフトウェアパッケージ・ファイルの形式で配布されるアプリケーションのインストール又は更新を管理してよい。 The power manager 345 may operate, for example, with a basic input/output system (BIOS) to manage the battery or power supply, and may provide the power information necessary for the electronic device to operate. Database manager 346 may create, retrieve, or modify databases used for at least one of applications 370 . Software package manager 347 may manage the installation or updating of applications distributed in the form of software package files.

接続マネージャ３４８は、Ｗｉ－Ｆｉ又はＢＴのような無線接続を管理してよい。通知マネージャ３４９は、ユーザを妨害することなく、到着メッセージ、配置又は近接通知等のイベントをユーザに表示又は通知してよい。ロケーションマネージャ３５０は、電子デバイスの位置情報を管理してよい。グラフマネージャ３５１は、ユーザに提供されるグラフィカル効果及びグラフィカル効果に関連付けられるユーザインタフェースを管理してよい。セキュリティマネージャ３５２は、システム・セキュリティ又はユーザ検証に必要なすべてのセキュリティ機能を提供してよい。一実装によると、電子デバイス（例えば電子デバイス１０１）が電話呼出し機能を有するとき、ミドルウェア３３０は、電子デバイスの音声呼出し機能又はビデオ呼出し機能を管理するように構成される電話マネージャを更に含んでよい。 A connection manager 348 may manage wireless connections such as Wi-Fi or BT. The notification manager 349 may display or notify the user of events such as incoming messages, placement or proximity notifications without disturbing the user. Location manager 350 may manage location information for electronic devices. Graph manager 351 may manage the graphical effects provided to users and the user interfaces associated with the graphical effects. Security manager 352 may provide all security functions necessary for system security or user validation. According to one implementation, when an electronic device (eg, electronic device 101) has phone call capabilities, middleware 330 may further include a phone manager configured to manage voice or video call capabilities of the electronic device. .

ミドルウェア３３０は、ミドルウェアモジュールを含んでよく、ここで、ミドルウェアモジュールは、前述の構成要素の様々な機能の組合せを形成する。ミドルウェア３３０は、異なる機能を提供するために、オペレーティングシステム・タイプに基づいて専用のモジュールを提供してよい。加えて、ミドルウェア３３０は、既存の要素の一部を動的に除外してもよく又は新たな要素を追加してもよい。 Middleware 330 may include middleware modules, where the middleware modules form a combination of various functions of the aforementioned components. Middleware 330 may provide dedicated modules based on operating system type to provide different functionality. Additionally, middleware 330 may dynamically exclude some of the existing elements or add new elements.

ＡＰＩ ３６０（例えばＡＰＩ １４７）は、例えばＡＰＩプログラミング機能セットであり、ＯＳに基づいて異なる構成を採用してもよい。例えばＡｎｄｒｏｉｄ（登録商標）又はｉＯＳ（登録商標）の場合は、プラットフォーム毎に１組のＡＰＩを提供してよく、一方、Ｔｉｚｅｎ（登録商標）の場合は、プラットフォーム毎に２組以上のＡＰＩを提供してもよい。 API 360 (eg, API 147) is, for example, a set of API programming functions and may adopt different configurations based on the OS. For example, Android (registered trademark) or iOS (registered trademark) may provide one set of APIs per platform, while Tizen (registered trademark) provides two or more sets of APIs per platform. You may

アプリケーション３７０（例えばアプリケーション１４７）は、例えば機能を実行することができる１つ以上のアプリケーションを含んでよく、機能は、例えばホームページキー３７１、ダイヤラ３７２、ショートメッセージサービス（ＳＭＳ）／マルチメディアメッセージサービス（ＭＭＳ）３７３、インスタントメッセージ（ＩＭ）３７４、ブラウザ３７５、カメラ３７６、アラームクロック３７７、アドレス帳３７８、音声ダイヤラ３７９、電子メールボックス３８０、カレンダー３８１、メディアプレーヤ３８２、アルバム３８３、クロック３８４及びセキュリティボタンである。（測定運動量、血糖値等）又は環境情報（大気圧、湿度、温度情報等）。 Applications 370 (e.g., application 147) may include one or more applications capable of performing functions, such as home page key 371, dialer 372, short message service (SMS)/multimedia message service ( MMS) 373, instant messaging (IM) 374, browser 375, camera 376, alarm clock 377, address book 378, voice dialer 379, email box 380, calendar 381, media player 382, albums 383, clock 384 and security buttons be. (measured amount of exercise, blood sugar level, etc.) or environmental information (atmospheric pressure, humidity, temperature information, etc.).

一実装によると、アプリケーション３７０は、電子デバイス（例えば電子デバイス１０１）と外部電子デバイス（例えば電子デバイス１０２又は１０４）との間の情報交換をサポートするアプリケーション（以下、説明を容易にするために「情報交換アプリケーション」と称される）を含んでよい。情報交換に関連付けられるアプリケーションは、例えば特定の情報を外部電子デバイスに伝達するための通知中継アプリケーション又は外部電子デバイスを管理するためのデバイス管理アプリケーションを含んでもよい。 According to one implementation, application 370 is an application that supports the exchange of information between an electronic device (e.g., electronic device 101) and an external electronic device (e.g., electronic device 102 or 104) (hereinafter, for ease of explanation, " (referred to as an "information exchange application"). Applications associated with information exchange may include, for example, notification relay applications for communicating specific information to external electronic devices or device management applications for managing external electronic devices.

例えば中継アプリケーションを通知することは、以下の機能、すなわち：電子デバイス１０１の別のアプリケーション（例えばＳＭＳ／ＭＭＳアプリケーション、電子メールアプリケーション、セキュリティアプリケーション又は環境情報アプリケーション）から生成された通知情報が、外部電子デバイス（例えば電子デバイス１０２又は１０４）に転送される機能を含んでよい。加えて、通知中継アプリケーションは、例えば外部電子デバイスから通知情報を受け取り、受け取った通知情報をユーザに提供してもよい。 For example, notifying a relay application may include the following functions: Notification information generated from another application (e.g., SMS/MMS application, email application, security application, or environmental information application) on electronic device 101 may be It may include functionality transferred to a device (eg, electronic device 102 or 104). Additionally, the notification relay application may receive notification information, for example, from an external electronic device, and provide the received notification information to the user.

デバイス管理アプリケーションは、電子デバイスと通信する外部電子デバイス（例えば電子デバイス１０２、１０４又はサーバ１０６）の少なくとも１つの機能を管理（例えばインストール、削除又は更新）してよい。（例えば外部電子デバイス（又はそのいくつかの要素）の機能を有効／無効にすること又はディスプレイの照度（又は解像度）の機能を調整すること、外部電子デバイスで実行されているアプリケーション又は外部電子デバイスによって提供されるサービス（例えば通話サービス又はメッセージサービス）。 A device management application may manage (eg, install, remove, or update) at least one feature of an external electronic device (eg, electronic device 102, 104 or server 106) that communicates with the electronic device. (e.g. enabling/disabling the functionality of the external electronic device (or some element thereof) or adjusting the brightness (or resolution) functionality of the display, the application running on the external electronic device or the external electronic device services (e.g. call service or message service) provided by

一実装によると、アプリケーション３７０は、外部電子デバイス１０２又は１０４の属性に従って指定されるアプリケーション（例えばモバイル医療サーバ上のヘルスケア・アプリケーション等）を含んでよい。一実装によると、アプリケーション３７０は、外部電子デバイス（例えばサーバ１０６、電子デバイス１０２又は１０４）から受け取ったアプリケーションを含んでよい。ある実装によると、アプリケーション３７０は、予めロードされたアプリケーション又はサーバからダウンロード可能な第三者アプリケーションを含んでよい。本出願の前述の実装によると、プログラムモジュール３１０の要素の名前は、ＯＳタイプに基づいて変更されてよい。 According to one implementation, applications 370 may include applications that are specified according to attributes of external electronic device 102 or 104 (eg, a healthcare application on a mobile medical server, etc.). According to one implementation, applications 370 may include applications received from an external electronic device (eg, server 106, electronic device 102 or 104). According to some implementations, applications 370 may include preloaded applications or third party applications downloadable from a server. According to the foregoing implementations of the present application, the names of the elements of program module 310 may be changed based on the OS type.

本出願の例示の実装によると、プログラムモジュール３１０の少なくともいくつかは、ソフトウェア、ファームウェア、ハードウェア又は組合せ又は上記の少なくとも２つ以上の組合せで実装されてよい。プログラムモジュール３１０の少なくともいくつかは、例えばプロセッサ（例えばプロセッサ２１０）によって実装（例えば実行）されてよい。プログラムモジュール３１０の少なくとも一部は、例えば１つ以上の機能を実行するためのモジュール、プログラム、ルーチン、命令セット及び／又はプロセスを含んでよい。 According to example implementations of the present application, at least some of program modules 310 may be implemented in software, firmware, hardware, or a combination of at least two or more of the above. At least some of program modules 310 may be implemented (eg, executed) by, for example, a processor (eg, processor 210). At least a portion of program modules 310 may include, for example, modules, programs, routines, sets of instructions, and/or processes for performing one or more functions.

図４は、本出願の一実施形態による電子デバイス１０１及び電子デバイス１０２の立体図である。電子デバイス１０１はディスプレイを含んでよい。電子デバイス１０１は、仮想現実アプリケーションを記憶してよい。仮想現実アプリケーションは、実際の現実と同様の表示をユーザに提供することができるアプリケーションであってよい。ある実装によると、仮想現実アプリケーションは、立体視スキームに基づいて、ユーザの各眼に対応する左眼画像及び右眼画像を表示してよい。 FIG. 4 is a three-dimensional view of electronic device 101 and electronic device 102 according to one embodiment of the present application. Electronic device 101 may include a display. Electronic device 101 may store a virtual reality application. A virtual reality application may be an application that can provide a user with a display similar to real reality. According to some implementations, the virtual reality application may display left-eye and right-eye images corresponding to each eye of the user based on a stereoscopic scheme.

電子デバイス１０２は、ヘッドマウント型ディスプレイであってもよい。電子デバイス１０２は、ユーザが移動した場合であっても、ユーザの頭部に取り付けられ、ユーザの頭部に固定され得る。加えて、電子デバイス１０２は、電子デバイス１０１を更に固定してよく、したがって、ユーザは、電子デバイス１０１上に表示された画像を観察し得る。 Electronic device 102 may be a head-mounted display. The electronic device 102 can be attached and fixed to the user's head even when the user moves. Additionally, electronic device 102 may further secure electronic device 101 so that a user may observe images displayed on electronic device 101 .

電子デバイス１０２は、ユーザの頭部に装着するために設けられたハウジングを含んでもよく、任意に、ハウジングの領域内に配置される少なくとも１つの入力ボタンを含んでもよい。電子デバイス１０２は、入力ボードを更に含んでもよく、入力ボードは、ユーザからタッチ入力を受け取ってもよい。電子デバイス１０２は、例えばリモートコントロール、リモートコントロールハンドル等の別のデバイスを使用することによって入力してよい。 The electronic device 102 may include a housing adapted for wearing on a user's head and optionally at least one input button located within the area of the housing. Electronic device 102 may further include an input board, which may receive touch input from a user. Electronic device 102 may provide input by using another device such as a remote control, remote control handle, or the like.

電子デバイス１０１は、電子デバイス１０２に結合されてよい。電子デバイス１０１は、有線又は無線方式で電子デバイス１０２に接続されてよい。例えば電子デバイス１０１は、単なる例であるＵＳＢに基づいて電子デバイス１０２に接続されてもよい。加えて、接続は、２つのデバイス１０１と１０２の間のデータ送信／受信がその接続を使用することによって実装され得る限り、限定されないことを当業者は容易に理解し得る。別の実装によると、電子デバイス１０１は、単に電子デバイス１０２に物理的に結合されてもよい。 Electronic device 101 may be coupled to electronic device 102 . Electronic device 101 may be connected to electronic device 102 in a wired or wireless manner. For example, electronic device 101 may be connected to electronic device 102 based on USB, which is merely an example. Additionally, those skilled in the art can readily understand that the connection is not limited as long as data transmission/reception between the two devices 101 and 102 can be implemented by using that connection. According to another implementation, electronic device 101 may simply be physically coupled to electronic device 102 .

電子デバイス１０１は、表示されるべきインタフェースに対して次元変換処理を実行して、表示されるべきインタフェース内で左眼画像及び右眼画像を得てよく、ここで、左眼画像及び右眼画像は、三次元視覚効果を有する表示されるべきインタフェースを提示するために使用される。図５ａは、表示されるべきインタフェースを示す。図５ｂは、表示されるべきインタフェースの左眼画像５０１及び右眼画像５０２を示す。 The electronic device 101 may perform a dimensional transformation process on the interface to be displayed to obtain a left-eye image and a right-eye image within the interface to be displayed, where the left-eye image and the right-eye image is used to present an interface to be displayed with a three-dimensional visual effect. Figure 5a shows the interface to be displayed. Figure 5b shows a left eye image 501 and a right eye image 502 of the interface to be displayed.

本出願のこの実施形態において、次元変換処理は、二次元（２Ｄ）アプリケーションプログラムのインタフェースを三次元（３Ｄ）視覚効果のあるインタフェースに変換すること又は三次元アプリケーションプログラムのインタフェースを二次元視覚効果のあるインタフェースに変換することを意味することを理解されたい。本出願のこの実施形態において、左眼画像は、ユーザの左眼画角について生成される画像であり、右眼画像は、ユーザの右眼画角について生成される画像であることを更に理解されたい。 In this embodiment of the present application, the dimensional conversion process converts a two-dimensional (2D) application program interface into a three-dimensional (3D) visual effect interface or converts a three-dimensional application program interface into a two-dimensional visual effect interface. It should be understood that it means converting to some interface. It is further understood that, in this embodiment of the present application, a left eye image is an image generated for a user's left eye angle of view and a right eye image is an image generated for a user's right eye angle of view. sea bream.

電子デバイス１０２は、独立の画面を有してよい。この場合、左眼視野は、画面上の、ユーザの左眼によって見られる領域であり、電子デバイス１０１は、その領域内に左眼画像を表示し、右眼視野は、画面上の、ユーザの右眼によって見られる領域であり、電子デバイス１０１は、その領域内に右眼画像を表示し、左眼画像及び右眼画像は、対応する光学レンズ群を使用することによって、ユーザの左眼及び右眼に表示される；電子デバイス１０２が、独立の画面を有していない場合、左眼視野は、電子デバイス１０２上の、ユーザの左眼と位置合わせされる光学レンズ群であり、電子デバイス１０１は、外部画面上の、光学レンズ群と位置合わせされる領域内に左眼画像を表示し、右眼視野は、電子デバイス１０２上の、ユーザの右眼と位置合わせされる光学レンズ群である。電子デバイス１０１は、外部画面上の、光学レンズ群と位置合わせされる領域に右眼画像を表示し、最終的に、左眼画像と右眼画像は、光路変形を通して、ユーザの左眼及び右眼に表示される。このように、第２左眼画像及び第２右眼画像は、電子デバイス１０２の左眼画角領域と右眼画角領域を使用することによって、ユーザの左眼と右眼に対して別個に表示され、ユーザは脳内で立体画像を合成することができ、三次元効果の表示されるべきインタフェースを提示することができる。 Electronic device 102 may have an independent screen. In this case, the left-eye view is the area on the screen viewed by the user's left eye, the electronic device 101 displays the left-eye image in that area, and the right-eye view is the area on the screen viewed by the user's eye. The area viewed by the right eye, in which the electronic device 101 displays the right-eye image, and the left-eye and right-eye images are viewed by the user's left and right eyes by using corresponding optical lens groups. displayed to the right eye; if the electronic device 102 does not have a separate screen, the left-eye field of view is the group of optical lenses on the electronic device 102 aligned with the user's left eye; 101 displays the left eye image in an area on the external screen aligned with the optical lens group, and the right eye view is the optical lens group on the electronic device 102 aligned with the user's right eye. be. The electronic device 101 displays the right-eye image on the external screen in an area aligned with the optical lens group, and ultimately the left-eye and right-eye images are converted to the user's left and right eye images through optical path deformation. displayed in the eye. Thus, the second left-eye image and the second right-eye image are separately captured for the user's left and right eyes by using the left-eye and right-eye angle-of-view regions of the electronic device 102 . Displayed, the user can synthesize a stereoscopic image in the brain and present an interface to be displayed with a three-dimensional effect.

このアプリケーションにおいて、電子デバイス１０１は、共通モード又は３Ｄモードで動作してもよい。例えば電子デバイス１０１は携帯電話であり、電子デバイス１０１は共通モードで動作し、携帯電話の通常のステータスで使用される。携帯電話はアプリケーションのインタフェースを表示するか又はデスクトップ画面を表示する。ユーザがアプリケーションを開くことを選択したことが検出されると、携帯電話はステータスバー及びシステムバーを除外し、このアプリケーションのみが表示される。もちろん、携帯電話がフローティング表示又は画面分割表示をサポートするとき、２つのアプリケーションインタフェースが同時に表示される場合は存在し得る。電子デバイス１０１が３Ｄモードで動作するとき、電子デバイス１０１は、複数のウィンドウを同時に表示する３Ｄインタフェースを提供する。３Ｄインタフェースは、電子デバイス１０２の表示画面を使用することによって表示されてもよく又は電子デバイス１０１によって表示されてもよい。ユーザは、電子デバイス１０２の光学レンズ（例えばＨＭＤ）を使用することによって、３Ｄインタフェースを見てよい。 In this application, electronic device 101 may operate in common mode or 3D mode. For example, electronic device 101 is a mobile phone, and electronic device 101 operates in common mode and is used in the normal status of a mobile phone. The mobile phone displays the interface of the application or displays the desktop screen. When it detects that the user has chosen to open an application, the mobile phone will filter out the status bar and system bar and only this application will be displayed. Of course, when the mobile phone supports floating display or split screen display, there may be cases where two application interfaces are displayed at the same time. When the electronic device 101 operates in 3D mode, the electronic device 101 provides a 3D interface that displays multiple windows simultaneously. The 3D interface may be displayed by using the display screen of electronic device 102 or may be displayed by electronic device 101 . A user may view the 3D interface by using an optical lens (eg, HMD) of electronic device 102 .

例えば電子デバイス１０１は携帯電話であり、電子デバイス１０２はウェアラブルデバイスであり、ウェアラブルデバイスは、ディスプレイを有するヘッドマウントディスプレイ（ＨＭＤ，Head Mount Display）である。３Ｄモードでは、複数のウィンドウの表示インタフェースがＨＭＤデバイス上に表示され、複数のウィンドウは、複数のアプリケーションインタフェース又は複数のデスクトップ画面であってよく、あるいはアプリケーションインタフェースとデスクトップ画面が共存してもよい。図６を参照すると、本出願のこの実施形態におけるインタフェース表示方法の実施形態１は、以下のステップを含む。 For example, the electronic device 101 is a mobile phone, the electronic device 102 is a wearable device, and the wearable device is a head mount display (HMD) having a display. In the 3D mode, a display interface of multiple windows is displayed on the HMD device, and the multiple windows may be multiple application interfaces or multiple desktop screens, or the application interfaces and desktop screens may coexist. Referring to FIG. 6, Embodiment 1 of the interface display method in this embodiment of the present application includes the following steps.

６０１．携帯電話は、ＨＭＤが携帯電話に接続されていることを検出する。 601. The mobile phone detects that the HMD is connected to the mobile phone.

ＨＭＤは、ＵＳＢ接続のような有線又は無線方式で携帯電話に接続されてよい。携帯電話は、該携帯電話のＵＳＢインタフェースを使用することによって、ＨＭＤが携帯電話に接続されていること、例えばＢｌｕｅｔｏｏｔｈ接続を検出してよい。携帯電話は、該携帯電話のＢｌｕｅｔｏｏｔｈモジュールを使用することによってＨＭＤの接続を検出してよい。本出願のこの実施形態は、前述の２つの接続方式に限定されない。当業者は、携帯電話がＨＭＤに接続されていることを検出する様々な実施形態を知り得る。詳細は本明細書では説明されない。 The HMD may be connected to the mobile phone in a wired or wireless manner, such as a USB connection. The mobile phone may detect that the HMD is connected to the mobile phone, eg a Bluetooth connection, by using the mobile phone's USB interface. The mobile phone may detect the connection of the HMD by using the mobile phone's Bluetooth module. This embodiment of the present application is not limited to the two connection schemes mentioned above. A person skilled in the art will know various embodiments for detecting that a mobile phone is connected to an HMD. Details are not described here.

ＨＭＤが初めて接続されていることを検出した場合、ＨＭＤドライバが自動的にインストールされ；あるいはＨＭＤが初めて接続されていないことを検出した場合、ドライバをインストールする必要はない。 If the HMD is detected to be connected for the first time, the HMD drivers will be automatically installed; or if the HMD is detected to be disconnected for the first time, no drivers need to be installed.

さらに、携帯電話はＨＭＤの性能を取得する。具体的には、携帯電話内の表示マネージャ（ＤｉｓｐｌａｙＭａｎａｇｅｒ）モジュールは、ＨＭＤの表示領域の長さ、幅、解像度等を読み出すことを含め、ＨＭＤを登録して管理する。このプロセスでは、携帯電話に合致しないＨＭＤ又はマルチウィンドウ表示をサポートしないＨＭＤをフィルタアウトする必要があり、ユーザにプロンプトが出される。 In addition, mobile phones acquire the performance of HMDs. Specifically, a DisplayManager module within the mobile phone registers and manages the HMD, including reading the length, width, resolution, etc. of the display area of the HMD. This process should filter out HMDs that do not match the mobile phone or do not support multi-window display and prompt the user.

登録が完了した後、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＣＯＮＮＥＣＴＥＤシステムブロードキャスト（接続状態では、３Ｄモードへの切り替えは、別の方法で、例えばＨＭＤデバイスの３Ｄモードのスイッチをターンオンする等の方法でトリガされる。この場合、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＯＰＥＮ等と同様の他のブロードキャストが対応して送信される）が送信される。すべてのリスナに通知され、リスナはシステムサービス及びアプリケーションである。 VR_DISPLAY_DEVICE_CONNECTED system broadcast after registration is complete (in the connected state, switching to 3D mode is triggered in another way, e.g. by turning on the HMD device's 3D mode switch. In this case, VR_DISPLAY_DEVICE_OPEN etc. and other broadcasts similar to ) are sent correspondingly. All listeners are notified and listeners are system services and applications.

ＨＭＤがマルチウィンドウ表示をサポートしている場合、この場合、携帯電話の表示インタフェースは３Ｄモードへの切り替えが行われていることのプロンプトを出してよく、携帯電話が画面を直接ロックして画面オフにすることがある。 If the HMD supports multi-window display, in this case the display interface of the mobile phone may prompt that switching to 3D mode is taking place, and the mobile phone will directly lock the screen and turn off the screen. I have something to do.

表示管理モジュールは、ＨＭＤを登録及び管理した後、ブロードキャストを通して、ＨＭＤが接続されている上位層システムサービス及びすべてのアプリケーションに、３Ｄモードに入る準備をするように通知する。上位層システムサービスは、ＡＭＳ（Ａｃｔｉｖｉｔｙ Ｍａｎａｇｅｒ Ｓｅｒｖｉｃｅ）及びＷＭＳ（Ｗｉｎｄｏｗ Ｍａｎａｇｅｒ Ｓｅｒｖｉｃｅ）等のサービスを含み、アプリケーションを選択して、ウィンドウステータスを更新する。 After registering and managing the HMD, the display management module notifies, through broadcast, the upper layer system services and all applications to which the HMD is connected to prepare to enter 3D mode. Higher layer system services include services such as AMS (Activity Manager Service) and WMS (Window Manager Service) to select applications and update window status.

６０２．携帯電話がアプリケーションを選択する。 602. The mobile phone selects the application.

具体的には、図７に示されるように、以下のステップが含まれる。 Specifically, as shown in FIG. 7, the following steps are included.

６０２１．現在のフォアグラウンドアプリケーションが画面分割をサポートしているかどうかを判断し；フォアグラウンドアプリケーションが画面分割をサポートしている場合、ステップ６０２２を実行し；あるいはフォアグラウンドアプリケーションが画面分割をサポートしていない場合、その後の手順を実行し続けることをスキップし、ＶＲモードが切り替えられた後、切り替え前に使用されていたフォアグラウンドアプリケーションをデフォルトとして最大表示し、別のアプリケーションインタフェースを表示することをスキップする。 6021. Determine whether the current foreground application supports split screen; if the foreground application supports split screen, execute step 6022; or if the foreground application does not support split screen, then Skip continuing to run the procedure, and after the VR mode is switched, default to maximizing the foreground application that was used before the switch, and skip displaying another application interface.

アプリケーションが画面分割をサポートしているかどうかは、アプリケーションの設計によって決定される。アプリケーションが画面分割をサポートしているということは、アプリケーションやアプリケーション以外のデスクトップ画面等のコンテンツが、分割された画面の形式で表示インタフェースに表示されることが可能であることを意味する。 Whether an application supports split screen is determined by the application design. An application that supports split screen means that content such as the application or a desktop screen other than the application can be displayed on the display interface in the form of a split screen.

６０２２．アプリケーションがバックグラウンドタスクリスト内に存在するかどうかを判断し；アプリケーションが存在する場合はステップ６０２３を実行する；あるいは、アプリケーションが存在しないときは、その後の手順を継続して実行することをスキップし、ＶＲモードに切り替えた後、切り替え前のフォアグラウンドアプリケーションのウィンドウをデフォルトとして最大表示し、別のアプリケーションウィンドウを表示することをスキップする。 6022. Determine whether the application exists in the background task list; if the application exists, execute step 6023; or if the application does not exist, skip continuing execution of subsequent steps. , after switching to VR mode, maximize the window of the foreground application before switching as default and skip displaying another application window.

６０２３．アプリケーションが画面分割をサポートしているかどうかを判断し；画面分割がサポートされている場合、ステップ６０２４を実行する；あるいは、画面分割が行われない場合、ステップ６０２５を実行する。 6023. Determine whether the application supports split screen; if split screen is supported, perform step 6024;

検索処理では、アプリケーションが画面分割をサポートしている場合、マーキングが実行される。 In the search process, marking is performed if the application supports split screen.

６０２４．画面分割をサポートする発見されたアプリケーションの数量が、検索される必要があり、かつ、画面分割をサポートするアプリケーションの数量と等しいかどうかを判断し；発見されたアプリケーションの数量が、検索する必要があるアプリケーションの数量と等しくない場合、ステップ６０２５を実行し；あるいは発見されたアプリケーションの数量が、検索する必要があるアプリケーションの数量と等しい場合は、ステップ６０２６を実行して、検索を停止する。 6024. determining whether the quantity of discovered applications that support split screen is equal to the quantity of applications that need to be searched and that supports split screen; If not equal to the quantity of an application, execute step 6025; or if the quantity of found applications is equal to the quantity of applications that need to be searched, execute step 6026 to stop searching.

検索される必要があり、画面分割をサポートするアプリケーションの数量は、予め設定されたウィンドウ数量から１を引いたものであり、予め設定されたウィンドウ数量は３である。したがって、現在のフォアグラウンドアプリケーションに加えて、検索される必要があり、画面分割をサポートするアプリケーションの数量は２である。 The quantity of applications that need to be searched and that support split screen is the preset window quantity minus one, and the preset window quantity is three. Therefore, in addition to the current foreground application, the quantity of applications that need to be searched and that support split screen is two.

予め設定されたウィンドウ数量は、ＨＭＤの性能に基づいて携帯電話によって設定されてよく、例えばＨＭＤのサイズに基づいて設定されてよい。 The preset window quantity may be set by the mobile phone based on the performance of the HMD, eg, based on the size of the HMD.

６０２５．バックグラウンドタスクリストが検索されるかどうかを判断する；バックグラウンドタスクリストが検索される場合、ステップ６０２６を実行して検索を停止する；あるいはバックグラウンドタスクリストが検索される場合、ステップ６０２２を実行して、次のアプリケーションについてバックグラウンドタスクリストを検索する。検索している間は、アプリケーションを使用する時間に基づいて、他の分割された画面アプリケーションを反対の順序で検索する。言い換えると、最近使用したアプリケーションから検索を開始する。 6025. Determine whether the background task list is retrieved; if the background task list is retrieved, execute step 6026 to stop searching; or if the background task list is retrieved, execute step 6022. to search the background task list for the following applications: While searching, other split screen applications are searched in reverse order based on the amount of time the application is used. In other words, start searching from the most recently used applications.

バックグラウンドタスクリストが、画面分割をサポートするアプリケーションを含んでいない場合、切り替え前に使用されていたフォアグラウンドアプリケーションがデフォルトで最大表示され、別のアプリケーションインタフェースは表示されない。 If the background task list does not contain an application that supports split screen, the foreground application used before switching is maximized by default and the alternate application interface is not displayed.

分割された画面アプリケーションを選択した後、ＡＭＳはＶＲ_ＷＩＮＤＯＷＳ_ＳＥＡＲＣＨ_ＦＩＮＩＳＨＥＤメッセージをＷＭＳに送信する。 After selecting a split screen application, AMS sends a VR_WINDOWS_SEARCH_FINISHED message to WMS.

６０３．予め設定されたウィンドウ数量及び画面分割をサポートする発見されたバックグラウンドアプリケーションの数量に基づいて、ＨＭＤの表示インタフェースを分割し、ウィンドウのステータスを更新する。 603. Split the display interface of the HMD and update the window status based on the preset number of windows and the number of discovered background applications that support split screen.

予め設定されたウィンドウ数量は、ＨＭＤの性能に基づいて携帯電話によって設定されてよく、例えばＨＭＤのサイズに基づいて設定されてもよい。フォアグラウンドアプリケーションのウィンドウは、フォーカス（Ｔｏｐｍｏｓｔ）状態としてマークされ、フォーカス状態は、特別な可視状態である。ユーザによって最近使用された、Ｎ個の選択されたバックグラウンドアプリケーションのウィンドウは、可視状態としてマークされる。アプリケーションのウィンドウは、アプリケーションのインタフェースである。 The preset window quantity may be set by the mobile phone based on the performance of the HMD, eg, based on the size of the HMD. The foreground application's window is marked as in focus (Topmost) state, which is a special visible state. The windows of the N selected background applications that have been used recently by the user are marked as visible. An application's window is the application's interface.

例えば予め設定されたウィンドウ数量が２であり、画面分割をサポートするバックグラウンドアプリケーションが見つからない場合、フォアグラウンドアプリケーションがＨＭＤ上に最大表示される。 For example, if the preset window quantity is 2 and no background application supporting screen splitting is found, the foreground application will be maximized on the HMD.

予め設定されたウィンドウ数量が３であり、画面分割をサポートする１つのバックグラウンドアプリケーションが見つかった場合、ＨＭＤの表示インタフェースは２つの領域に分割され、フォアグラウンドアプリケーションとバックグラウンドアプリケーションはそれぞれ表示インタフェースの半分を占めるように設定される。例えばＴｏｐｍｏｓｔ状態のアプリケーションは左側の領域に表示されるよう設定され、他の分割された画面のアプリケーションは右側の領域に表示されるよう設定される。 If the preset window quantity is 3, and one background application that supports screen splitting is found, the display interface of the HMD will be divided into two areas, and the foreground application and the background application will each occupy half of the display interface. is set to occupy the For example, the topmost state application is set to be displayed in the left area, and other split screen applications are set to be displayed in the right area.

予め設定されたウィンドウ数量が３であり、画面分割をサポートする２つのバックグラウンドアプリケーションが見つかった場合、表示インタフェースは３つの領域に分割されます。例えばＴｏｐｍｏｓｔ状態のアプリケーションは中間領域に表示されるよう設定され、他の２つの分割された画面のアプリケーションはそれぞれ、中間領域の両側の領域内に表示されるよう設定される。 If the preset window quantity is 3 and two background applications that support split screen are found, the display interface will be split into three regions. For example, the Topmost state application is set to be displayed in the middle area, and the other two split screen applications are set to be displayed in areas on either side of the middle area, respectively.

前述の例は、本出願の単なる例である。調整が、ＨＭＤの性能及び構成に基づいて行われてよい。 The foregoing examples are merely examples of the present application. Adjustments may be made based on HMD performance and configuration.

ＷＭＳは、主にウィンドウステータスを更新するが、これは、現在のフォアグラウンドアプリケーションをＴｏｐｍｏｓｔ状態としてマークすることと；ＡＭＳによって検索されてマークされている２つの分割された画面アプリケーションのウィンドウを可視状態に変更することを含む。 The WMS mainly updates the window status, which is to mark the current foreground application as Topmost state; Including changing.

処理を完了した後、ＷＭＳはＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_３Ｄ_ＦＩＮＩＳＨＥＤメッセージをＷＭＳのメッセージキューに送信する。 After completing the processing, the WMS sends a VR_WINDOWS_UPDATE_FOR_3D_FINISHED message to the WMS's message queue.

６０４．アプリケーションのウィンドウであって、可視状態としてマークされているすべてのウィンドウにおいてＶＲ処理を実行する。 604. Perform VR processing on all windows of the application that are marked as visible.

ＶＲ処理は、すべての可視システムウィンドウで実行され、ＶＲ処理は、現在のフォアグラウンドアプリケーションと、ユーザによって最近使用されたＮ個の選択されたバックグラウンドアプリケーションにおいて実行される。ＶＲ処理は、２Ｄインタフェースを３Ｄインタフェースに変換するものであり、例えば表示されるべき分割された画面インタフェースやアプリケーションインタフェース等のアイコンに対して３次元処理を行う。アプリケーションがＶＲをサポートしている場合、アイコン、アプリケーションインタフェース等を、３Ｄ効果を有するアイコン、アプリケーションインタフェース等に切り替えるようにＶＲ処理を実行する。アプリケーションがＶＲをサポートしない場合、ＶＲ処理は実行されない。 VR processing is performed on all visible system windows, VR processing is performed on the current foreground application and N selected background applications recently used by the user. VR processing converts a 2D interface into a 3D interface, and performs three-dimensional processing on icons such as a split screen interface and an application interface to be displayed, for example. If the application supports VR, perform VR processing to switch icons, application interfaces, etc. to icons, application interfaces, etc. with 3D effects. If the application does not support VR, no VR processing is performed.

アプリケーションのウィンドウであって、可視状態としてマークされているすべてのウィンドウは、Ｔｏｐｍｏｓｔ状態にあるアプリケーションのウィンドウを含む。 All windows of an application that are marked as visible include windows of the application that are in the Topmost state.

図５ａに示されるように、共通モードで操作を行っているとき、携帯電話は操作画面を表示してもよい。ＶＲ処理が実行された後、操作画面が３Ｄ効果で表示されてよい。図５ｂに図示されるように、携帯電話が３Ｄモードで操作を行うとき、操作画面は、ユーザの左眼に対応する左眼画像５０１と、ユーザの右眼に対応する右眼画像５０２とに分割されてよい。 As shown in FIG. 5a, the mobile phone may display an operation screen when operating in common mode. After the VR process is performed, the operation screen may be displayed with a 3D effect. As shown in FIG. 5b, when the mobile phone operates in 3D mode, the operation screen is divided into a left eye image 501 corresponding to the user's left eye and a right eye image 502 corresponding to the user's right eye. may be split.

具体的には、ＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_３Ｄ_ＦＩＮＩＳＨＥＤメッセージを受け取った後、ＷＭＳは、可視状態に設定されたすべてのアプリケーションリストをトラバースし、３Ｄレイアウト方式は、アプリケーションの各ウィンドウであって可視状態に設定された各ウィンドウで再利用され、３Ｄ画像リソースが表示のために参照されてよい。 Specifically, after receiving the VR_WINDOWS_UPDATE_FOR_3D_FINISHED message, the WMS traverses the list of all applications that have been set visible, and the 3D layout scheme is applied to each window of the application that is set to visible. Reused, 3D image resources may be referenced for display.

システムパブリックコントロール、システムプリセットアプリケーション及びＶＲをサポートする第三者アプリケーションは、デフォルトで、レイアウトファイルマシンに対応する２組の静止画リソースを保持する。１組の静止画リソースは、携帯電話画面上に表示されるデフォルトの２Ｄリソースであり、他の組は３Ｄリソースである（これらの３Ｄリソースは、描画ソフトウェアを使用することによってＵＩデザイナによって事前に描画され、ＨＭＤの光学デバイスを使用して３Ｄ効果を表示することができる）。図８に示されるように、特定の２Ｄ及び３Ｄ切り替えプロセスは、以下の通りである： System public controls, system preset applications and third party applications that support VR, by default, maintain two sets of still image resources corresponding to the layout file machine. One set of still image resources are the default 2D resources to be displayed on the mobile phone screen and the other set are 3D resources (these 3D resources are created in advance by the UI designer by using drawing software). rendered and the 3D effect can be displayed using the optical device of the HMD). As shown in Figure 8, the specific 2D and 3D switching process is as follows:

ステップ６４０１：ＷＭＳはＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_３Ｄ_ＦＩＮＩＳＨＥＤメッセージを受け取る。 Step 6401: WMS receives VR_WINDOWS_UPDATE_FOR_3D_FINISHED message.

ステップ６４０２：現在のシステムが３Ｄモードへの切り替えを実行している状態にあるかどうかを判断し、現在のシステムがその状態にある場合はステップ６４０３を実行し；あるいは現在のシステムがその状態にない場合は、手順を終了する。 Step 6402: Determine whether the current system is in a state performing a switch to 3D mode, and if the current system is in that state, execute step 6403; If not, end the procedure.

ステップ６４０３：ウィンドウを凍結し、ユーザがイベントを入力することを禁止する。言い換えると、この場合、ユーザの入力イベントの処理をスキップし、ここで、ウィンドウは、アプリケーションのインタフェースである。 Step 6403: Freeze the window to prevent the user from entering events. In other words, we skip processing user input events in this case, where the window is the application's interface.

ステップ６４０４：すべてのバックグラウンドアプリケーションのウィンドウをトラバースし始める。 Step 6404: Begin traversing windows of all background applications.

ステップ６４０５：アプリケーションのウィンドウが可視状態であるかどうかを判断し；アプリケーションのウィンドウが可視状態にある場合は、ステップ６４０６を実行し；あるいはアプリケーションのウィンドウが可視状態にない場合は、ステップ６４１１を実行する。 Step 6405: Determine whether the application's window is visible; if the application's window is visible, perform step 6406; or if the application's window is not visible, perform step 6411. do.

ステップ６４０６：アプリケーションの３Ｄレイアウトファイルを検索する。 Step 6406: Retrieve the application's 3D layout file.

ステップ６４０７：アプリケーションの３Ｄレイアウトファイルが見つかったかどうかを判断し；アプリケーションの３Ｄレイアウトファイルが見つかった場合は、ステップ６４０７を実行し；あるいはアプリケーションの３Ｄレイアウトファイルが見つからなかった場合は、ステップ６４０９を実行して、変更なしを維持し、現在のレイアウトファイルを使用する。 Step 6407: Determine whether the application's 3D layout file is found; if the application's 3D layout file is found, perform step 6407; or if the application's 3D layout file is not found, perform step 6409. to keep unchanged and use the current layout file.

ステップ６４０８：アプリケーションのウィンドウのレイアウトファイルを、見つかった３Ｄレイアウトファイルに設定する。 Step 6408: Set the application's window layout file to the found 3D layout file.

ステップ６４１０：ウィンドウ内のすべての要素に対応する３Ｄリソースを取得する。言い換えると、ウィンドウ内のアイコン、テキスト等の要素に対応する３Ｄリソースを取得する。 Step 6410: Get 3D resources corresponding to all elements in the window. In other words, get the 3D resources corresponding to the elements such as icons, text, etc. in the window.

ステップ６４１１：アプリケーションが最後のアプリケーションであるかどうかを判断し；アプリケーションが最後のアプリケーションである場合、ステップ６４１２を実行し；あるいはアプリケーションが最後のアプリケーションでない場合、ステップ６４０４を実行して次のアプリケーションを見つけ、ステップ６４０４～６４１１を繰り返し実行する。 Step 6411: Determine if the application is the last application; if the application is the last application, execute step 6412; or if the application is not the last application, execute step 6404 to execute the next application. find and repeat steps 6404-6411.

ステップ６４１２：ウィンドウを解凍して、ユーザの入力イベントを受け取る。 Step 6412: Decompress the window to receive user input events.

ステップ６４１３：３Ｄモードを設定する。 Step 6413: Set 3D mode.

ステップ６４１４：表示インタフェースを描画する。 Step 6414: Render the display interface.

前述のプロセスにおいて、バックグラウンドアプリケーションのウィンドウであって、ステップ６４０４でトラバースされるウィンドウが、ウィンドウに対して可視のアプリケーションのウィンドウであり得る場合、対応して、ステップ６４０５は実行されない。 In the above process, if the window traversed in step 6404, which is a window of a background application, can be a window of an application that is visible to the window, correspondingly step 6405 is not executed.

６０５．表示デバイス内で切り替えを実行し、ＨＭＤを使用することによって３Ｄモードでインタフェースを表示する。 605. The interface is displayed in 3D mode by performing a switch within the display device and using the HMD.

携帯電話は、処理されたＶＲインタフェースを表示のためにＨＭＤに送信する。携帯電話の表示インタフェースは、「３Ｄモードに入る」又は画面オフ／画面ロック状態に入ることをプロンプトしてよい。図１２に図示されるように、ビデオアプリケーション１２０３によってライブ放送されるＮＢＡゲームのライブ放送画像は、ユーザの視線内の真ん中の位置に表示される。ＷｅＣｈａｔチャットソフトウェアインタフェース１２０２が左側に表示され、ニュース参照インタフェース１２０４が右側に表示される。 The mobile phone sends the processed VR interface to the HMD for display. The display interface of the mobile phone may prompt to "enter 3D mode" or to enter screen off/screen lock state. As illustrated in FIG. 12, a live broadcast image of an NBA game broadcast live by video application 1203 is displayed at a center position within the user's line of sight. A WeChat chat software interface 1202 is displayed on the left and a news browsing interface 1204 is displayed on the right.

オプションとして、携帯電話がＨＭＤに接続された後、携帯電話は直ぐには３Ｄモードへの切り替えを準備しなくてもよい。例えば前述の実施形態では、ステップ６０１の後、ユーザが、携帯電話において、３Ｄモードに入る切り替えをターンオンしたかどうかが検出され；スイッチが検出され、ユーザが携帯電話において３Ｄモードに入るスイッチをターンオンした場合、ステップ６０２～６０５が実行される。あるいは、ステップ６０１の後に、ＨＭＤによって送信されたスイッチターンオン通知が受け取られるかどうかを判断し、ハードウェアスイッチがＨＭＤ上に配置される。ユーザがハードウェアスイッチをターンオンしたことが検出されると、ＨＭＤは、携帯電話がステップ６０２～６０５を実行し続けることを携帯電話に通知する。あるいは、ステップ６０１の後に、ＨＭＤが装着されたかどうかが判断される。ＨＭＤは、ユーザがＨＭＤを装着していることを検出すると、携帯電話がステップ６０２～６０５を実行し続けることを携帯電話に通知する。そうでなければ、携帯電話はステップ６０２～６０５を実行し続けない。 Optionally, the mobile phone may not be ready to switch to 3D mode immediately after it is connected to the HMD. For example, in the above embodiment, after step 601 it is detected whether the user has turned on the switch to enter 3D mode in the mobile phone; If so, steps 602-605 are executed. Alternatively, after step 601, it is determined whether a switch turn-on notification sent by the HMD is received and a hardware switch is placed on the HMD. When it detects that the user has turned on the hardware switch, the HMD notifies the mobile phone that it continues to perform steps 602-605. Alternatively, after step 601, it is determined whether the HMD is worn. When the HMD detects that the user is wearing the HMD, it notifies the mobile phone that the mobile phone continues executing steps 602-605. Otherwise, the mobile phone does not continue executing steps 602-605.

前述の現在のフォアグラウンドアプリケーションは、３Ｄモードに切り替える準備をするフォアグラウンドアプリケーションであってよい。例えば携帯電話はＨＭＤに接続されているフォアグラウンドアプリケーションを検出する。あるいは、携帯電話は、ユーザが３Ｄモードに入るスイッチを携帯電話上でターンオンしたことを検出する。あるいは、携帯電話は、３Ｄモードでフォアグラウンドアプリケーションに切り替える準備をするための通知をＨＭＤから受け取る。 Said current foreground application may be the foreground application preparing to switch to 3D mode. For example, a mobile phone detects foreground applications connected to the HMD. Alternatively, the cell phone detects that the user has turned on a switch on the cell phone to enter 3D mode. Alternatively, the mobile phone receives a notification from the HMD to prepare to switch to the foreground application in 3D mode.

オプションとして、携帯電話が３Ｄモードになる準備をした後、携帯電話は直ちに３Ｄモードに切り替わらない。例えば前述の実施形態では、ステップ６０１～６０４が実行された後、ユーザが携帯電話上で３Ｄモードに入るスイッチをターンオンした場合、ステップ６０５が実行される。ユーザが携帯電話のスイッチをオンにすると、３Ｄモードに入るスイッチがステップ６０５を実行する。あるいは、ステップ６０１～６０４が実行された後、ＨＭＤによって送信されたスイッチターンオン通知が受け取られたかどうかが判断され、ハードウェアスイッチがＨＭＤ上に配置される。ユーザがハードウェアスイッチをターンオンしたことが検出されると、ＨＭＤは、携帯電話がステップ６０６を実行し続けることを携帯電話に通知する。あるいは、ステップ６０１～６０４が実行された後、ＨＭＤが装着されているかどうかが判断される。ユーザがＨＭＤを装着していることを検出すると、ＨＭＤは、携帯電話がステップ６０５を実行し続けることを携帯電話に通知する。そうでなければ、携帯電話はステップ６０５を実行し続けない。 Optionally, after the mobile phone prepares to enter 3D mode, the mobile phone does not immediately switch to 3D mode. For example, in the embodiment described above, after steps 601-604 are performed, step 605 is performed if the user turns on the switch to enter 3D mode on the mobile phone. When the user switches on the mobile phone, the switch to enter 3D mode executes step 605 . Alternatively, after steps 601-604 are performed, it is determined whether a switch turn-on notification sent by the HMD has been received, and a hardware switch is placed on the HMD. Upon detecting that the user has turned on the hardware switch, the HMD notifies the mobile phone that the mobile phone continues to perform step 606 . Alternatively, after steps 601-604 are executed, it is determined whether the HMD is worn. Upon detecting that the user is wearing the HMD, the HMD notifies the mobile phone that the mobile phone continues executing step 605 . Otherwise, the mobile phone does not continue executing step 605 .

図６の実施形態では、ウェアラブルデバイスは、ディスプレイを有するＨＭＤである。オプションとして、ウェアラブルデバイスは、ディスプレイのないＨＭＤであり、携帯電話は、ＨＭＤ内に配置され、ユーザは、ＨＭＤの光学レンズを使用することによって、携帯電話のディスプレイコンテンツを見る。この場合、ＨＭＤと携帯電話とが有線接続方法又は無線接続方法で接続されている場合、前述の実施形態では、ステップ６０１を実行するように調整が行われてよい。ステップ６０２及び６０３において、３Ｄモードにおける予め設定された表示ウィンドウ数量は、携帯電話の性能に基づいて決定されてもよい。処理されたＶＲインタフェースを携帯電話のディスプレイ画面に表示するために、ステップ６０５で調整が行われる。ＨＭＤと携帯電話との間に通信接続が存在しない場合、図６に示される実施形態では、ステップ６０１を行わないように調整が行われてよい。ユーザが携帯電話上で３Ｄモードに入るスイッチをターンオンしたかどうかが検出され、ユーザが携帯電話上で３Ｄモードに入るスイッチをターンオンした場合、ステップ６０２～６０４が実行される。処理されたＶＲインタフェースを携帯電話のディスプレイ画面に表示するよう、ステップ６０５において調整が行われる。 In the embodiment of Figure 6, the wearable device is an HMD with a display. Optionally, the wearable device is a displayless HMD, the mobile phone is placed within the HMD, and the user views the mobile phone's display content by using the HMD's optical lens. In this case, if the HMD and the mobile phone are connected by a wired connection method or a wireless connection method, the above embodiment may be adjusted to perform step 601 . In steps 602 and 603, the preset display window quantity in 3D mode may be determined based on the performance of the mobile phone. Adjustments are made at step 605 to display the processed VR interface on the display screen of the mobile phone. If there is no communication connection between the HMD and the mobile phone, arrangements may be made in the embodiment shown in FIG. 6 so that step 601 is not performed. It is detected whether the user has turned on the switch to enter 3D mode on the mobile phone, and if the user has turned on the switch to enter 3D mode on the mobile phone, steps 602-604 are performed. Adjustments are made in step 605 to display the processed VR interface on the display screen of the mobile phone.

前述の実施形態において、３Ｄモードに入った後、複数のアプリケーションインタフェースが複数のウィンドウに表示される。オプションとして、３Ｄモードでは、複数のウィンドウがマルチスクリーンデスクトップを表示してもよい。特に、現在では、携帯電話は、通常、複数のデスクトップ画面を有しており、ユーザは、左側及び右側への切り替え及びフリッキングを通して異なるデスクトップ画面を表示し得る。図９は、本出願の実施形態２による複数のデスクトップ画面を表示する手順を示す。ステップ９０１は、ステップ６０１と同様である。詳細は、ここでは再度説明しない。 In the above embodiments, multiple application interfaces are displayed in multiple windows after entering the 3D mode. Optionally, in 3D mode, multiple windows may display a multi-screen desktop. In particular, nowadays mobile phones usually have multiple desktop screens, and users can view different desktop screens through left and right switching and flicking. FIG. 9 shows a procedure for displaying multiple desktop screens according to Embodiment 2 of the present application. Step 901 is similar to step 601 . Details are not described here again.

ステップ９０２：予め設定されたウィンドウ数量に基づいてデスクトップ画面を選択する。 Step 902: Select a desktop screen according to a preset window quantity.

予め設定されたウィンドウ数量が２であるとき、主画面と隣接するデスクトップ画面とが選択され得るか；又は現在のデスクトップ画面と隣接するデスクトップ画面とが選択され得る。 When the preset window quantity is two, the main screen and the adjacent desktop screen can be selected; or the current desktop screen and the adjacent desktop screen can be selected.

予め設定されたウィンドウ数量が３の場合、主画面を含む３つのデスクトップ画面が選択され得るか；又は現在のデスクトップ画面を含む３つのデスクトップ画面が選択され得る。 If the preset window quantity is 3, then 3 desktop screens including the main screen can be selected; or 3 desktop screens including the current desktop screen can be selected.

ステップ９０３：予め設定されたウィンドウ数量とデスクトップ画面の数量に基づいて、ＨＭＤの表示インタフェースを分割し、ウィンドウ状態を更新する。 Step 903: Divide the display interface of the HMD according to the preset number of windows and the number of desktop screens, and update the window state.

ホーム画面は、フォーカス（Ｔｏｐｍｏｓｔ）ウィンドウ状態に設定され、別の選択されたデスクトップ画面は、可視状態としてマークされる。 The home screen is set to the focus (Topmost) window state and another selected desktop screen is marked as visible.

例えば予め設定されたウィンドウ数量が２であり、ホーム画面以外にデスクトップ画面がないとき、ホーム画面がＨＭＤ上に最大表示される。 For example, when the preset number of windows is 2 and there is no desktop screen other than the home screen, the home screen is maximized on the HMD.

予め設定されたウィンドウ数量が３であり、２つのデスクトップ画面が見つかるとき、ＨＭＤの表示インタフェースは２つの領域に分割され、２つのデスクトップ画面は各々ＨＭＤの表示インタフェースの半分を占める。例えばＴｏｐｍｏｓｔ状態のホーム画面は左側の領域に表示されるよう設定され、他のデスクトップ画面は右側領域に表示されるよう設定される。 When the preset window quantity is 3 and two desktop screens are found, the HMD's display interface is divided into two regions, and the two desktop screens each occupy half of the HMD's display interface. For example, the topmost home screen is set to be displayed in the left area, and the other desktop screens are set to be displayed in the right area.

予め設定されたウィンドウ数量が３であり、３つのデスクトップ画面が見つかるとき、表示インタフェースは３つの領域に分割される。例えばＴｏｐｍｏｓｔ状態のホーム画面は中間領域に表示されるように設定され、他の２つのデスクトップ画面は、それぞれ、中間領域の両側の領域に表示されるように設定される。 When the preset window quantity is 3 and 3 desktop screens are found, the display interface is divided into 3 regions. For example, the home screen in the topmost state is set to be displayed in the middle area, and the other two desktop screens are set to be displayed in areas on both sides of the middle area.

前述のホーム画面は、現在のデスクトップ画面に置き換えられてよい。 The aforementioned home screen may be replaced by the current desktop screen.

９０４．可視状態としてマークされたすべてのデスクトップ画面においてでＶＲ処理を実行する。 904. Run VR processing on all desktop screens marked as visible.

システムパブリックコントロールは、デフォルトで、レイアウトファイルマシンに対応する２組の静止画リソースを担持する。１組の静止画リソースは、携帯電話画面に表示されるデフォルトの２Ｄリソースであり、他の組の静止画リソースは３Ｄリソースである（これらの３Ｄリソースは、描画ソフトウェアを使用することによりＵＩデザイナによって予め描画され、ＨＭＤの光学デバイスを使用することにより３Ｄ効果が表示され得る）。具体的な切り替えについては、実施例１を参照されたい。 The system public control by default carries two sets of still image resources corresponding to the layout file machine. One set of still image resources are the default 2D resources displayed on the mobile phone screen, and the other set of still image resources are 3D resources (these 3D resources can be created by UI designers by using drawing software). and the 3D effect can be displayed by using the optical device of the HMD). See Example 1 for specific switching.

９０５．ディスプレイデバイスで切り替えを実行して３Ｄモードに入り、特に、３Ｄモードで３Ｄインタフェースを提供する。 905. A switch is performed on the display device to enter the 3D mode and, in particular, to provide a 3D interface in the 3D mode.

図１３ａは、複数のデスクトップ画面を表示する例を示しており、デスクトップのホーム画面１３０３がフォーカス画面として使用され、中央に表示される。隣接する画面１３０２及び１３０３は、両側に分散される。 FIG. 13a shows an example of displaying multiple desktop screens, where the desktop home screen 1303 is used as the focus screen and displayed in the center. Adjacent screens 1302 and 1303 are distributed on either side.

実施形態１と同様に、オプションとして、携帯電話がＨＭＤに接続された後、携帯電話は直ちに３Ｄモードに切り替える準備をしなくてもよい。オプションとして、携帯電話が３Ｄモードになる準備をした後、携帯電話は直ちに３Ｄモードに切り替えなくてもよい。オプションとして、ウェアラブルデバイスは、ディスプレイのないＨＭＤであり、携帯電話はＨＭＤ内に配置され、ユーザは、ＨＭＤの光学レンズを使用することにより、携帯電話のディスプレイコンテンツを見る。詳細については実施形態１を参照されたい。 As in embodiment 1, optionally, the mobile phone may not be ready to switch to 3D mode immediately after it is connected to the HMD. Optionally, after the mobile phone prepares to enter 3D mode, the mobile phone may not immediately switch to 3D mode. Optionally, the wearable device is a displayless HMD, the mobile phone is placed within the HMD, and the user views the mobile phone's display content by using the HMD's optical lens. Refer to Embodiment 1 for details.

オプションとして、前述の２つの実施形態では、アプリケーションインタフェースとデスクトップ画面の双方が表示されてもよい。オプションとして、実施形態１において、すべてのバックグラウンドアプリケーションの数量が、検索される必要があり、かつ画面分割をサポートするアプリケーションの数量より少ない場合、デスクトップ画面及びバックグラウンドアプリケーションが、マルチウィンドウ表示のために選択されてよい。実施形態２では、デスクトップ画面の数量が予め設定されたウィンドウ数量より少ない場合、バックグラウンドアプリケーションがマルチウィンドウ表示のために選択されてよい。オプションとして、予め設定されたウィンドウ数量がＬであり、アプリケーションインタフェースの数量がＮであり、デスクトップ画面の数量がＭであり、ここでＬ＝Ｍ＋Ｎであり、Ｌ、Ｍ、Ｎは整数である。図１４は、デスクトップ画面であり、表示インタフェースの左側に表示される第１画面１４０２と、ビデオアプリケーションのインタフェースであって、表示インタフェースの右側に表示されるインタフェース１４０３とを示す。 Optionally, both the application interface and the desktop screen may be displayed in the above two embodiments. Optionally, in Embodiment 1, if the quantity of all background applications needs to be searched and is less than the quantity of applications that support screen splitting, the desktop screen and background applications can be used for multi-window display. may be selected for In embodiment 2, if the desktop screen quantity is less than the preset window quantity, the background application may be selected for multi-window display. Optionally, the preset number of windows is L, the number of application interfaces is N, and the number of desktop screens is M, where L=M+N and L, M, N are integers. FIG. 14 shows a first screen 1402, which is a desktop screen, displayed on the left side of the display interface, and an interface 1403, which is a video application interface and displayed on the right side of the display interface.

図１０を参照すると、本出願のこの実施形態におけるインタフェース表示方法の実施形態３は、３Ｄモードから共通モードへの切り替えを示す。この方法は、以下のステップを含む。 Referring to FIG. 10, embodiment 3 of the interface display method in this embodiment of the present application shows switching from 3D mode to common mode. This method includes the following steps.

１００１．携帯電話は、ＨＭＤが携帯電話から切断されたことを検出する。 1001. The mobile phone detects that the HMD has been disconnected from the mobile phone.

例えば携帯電話はＵＳＢを使用することによりＨＭＤに接続され、携帯電話はＨＭＤが携帯電話のＵＳＢから切断されたことを検出するか、あるいは携帯電話はＢｌｕｅｔｏｏｔｈを使用することによりＨＭＤに接続され、携帯電話はＨＭＤが携帯電話のＢｌｕｅｔｏｏｔｈから切断されたことを検出する。 For example, a mobile phone is connected to the HMD by using USB, and the mobile phone detects that the HMD is disconnected from the mobile phone's USB, or the mobile phone is connected to the HMD by using Bluetooth, and the mobile phone detects that the HMD is disconnected from the mobile phone's USB. The phone detects that the HMD has been disconnected from the mobile phone's Bluetooth.

基礎をなす表示管理モジュールは、以前に登録されたＨＭＤを登録解除し、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＤＩＳＣＯＮＮＥＣＴＥＤブロードキャストを送信する（接続された状態では、通常モードへの切り替えは、別の方法、例えばＨＭＤデバイスの３Ｄモードのスイッチをターンオフする方法によりトリガされる。この場合、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＯＰＥＮ等と同様の他のブロードキャストが対応して送信される）。 The underlying display management module unregisters the previously registered HMD and sends a VR_DISPLAY_DEVICE_DISCONNECTED broadcast (in the connected state, switching to normal mode can be done in another way, e.g. switching the HMD device to 3D mode). (in which case other broadcasts like VR_DISPLAY_DEVICE_OPEN, etc. are sent correspondingly).

１００２．携帯電話はウィンドウステータスを更新し、表示インタフェースを調整する。 1002. The mobile phone updates the window status and adjusts the display interface.

ＡＭＳ：ＡＭＳは、各アプリケーション状態と及びバックグラウンドタスクリストを更新する。 AMS: AMS updates each application state and background task list.

ＷＭＳ：ｔｏｐｍｏｓｔ状態にあるアプリケーションウィンドウがフォーカスウィンドウとして使用され、可視状態を維持し続け、別の可視ウィンドウが不可視状態に設定される。 WMS: The application window in the topmost state is used as the focus window and remains visible while another visible window is set to invisible.

例えばブロードキャストがデスクトップ画面で受け取られた後、ホーム画面が可視状態に設定され、別の画面が不可視状態に設定される。 For example, after the broadcast is received on the desktop screen, the home screen is set visible and another screen is set invisible.

前述のステップが完了した後、ＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_２Ｄ_ＦＩＮＩＳＨＥＤメッセージがＷＭＳに送信される。 After the above steps are completed, a VR_WINDOWS_UPDATE_FOR_2D_FINISHED message is sent to the WMS.

１００３．アプリケーションのウィンドウであって、可視状態としてマークされているすべてのウィンドウに対して正規化処理を実行する。 1003. Perform normalization on all windows of the application that are marked as visible.

システムパブリックコントロール、システムプリセットアプリケーション及びＶＲをサポートする第三者アプリケーションは、デフォルトで、レイアウトファイルマシンに対応する２組の静止画リソースを担持する。１組の静止画リソースは、携帯電話画面に表示されるデフォルトの２Ｄリソースであり、他の組の静止画リソースは３Ｄリソースである（これらの３Ｄリソースは、描画ソフトウェアを使用することによってＵＩデザイナによって事前に描画され、ＨＭＤの光学デバイスを使用することによって３Ｄ効果を表示することができる）。図１１に図示されるように、特定の３Ｄ－２Ｄ切り替え手順は、以下のとおりである： System public controls, system preset applications and third party applications that support VR, by default, carry two sets of still image resources corresponding to the layout file machine. One set of still image resources are the default 2D resources displayed on the mobile phone screen, and the other set of still image resources are 3D resources (these 3D resources can be created by UI designers by using drawing software). pre-rendered by and the 3D effect can be displayed by using the optical device of the HMD). As illustrated in FIG. 11, the specific 3D-2D switching procedure is as follows:

ステップ１３０１：ＷＭＳは、ＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_２Ｄ_ＦＩＮＩＳＨＥＤメッセージを受け取る。 Step 1301: WMS receives VR_WINDOWS_UPDATE_FOR_2D_FINISHED message.

ステップ１３０２：現在のシステムが、共通モードへの切り替えが実行されている状態にあるかどうかを判断し；現在のシステムがその状態にある場合は、ステップ１３０３を実行し；あるいは現在のシステムがその状態にない場合は、手順を終了する。 Step 1302: Determine whether the current system is in a state in which a switch to common mode is being performed; if the current system is in that state, execute step 1303; If not, exit the procedure.

ステップ１３０３：ウィンドウを凍結し、ユーザがイベントを入力することを禁止する、言い換えると、この場合、ユーザの入力イベントの処理をスキップし、ウィンドウはアプリケーションのインタフェースである。 Step 1303: Freeze the window and prevent the user from inputting events, in other words, skip processing the user's input events in this case, and the window is the interface of the application.

ステップ１３０４：すべてのアプリケーションをトラバースし始める。 Step 1304: Begin traversing all applications.

ステップ１３０５：アプリケーションのウィンドウが可視状態であるかどうかを判断し；アプリケーションのウィンドウが可視状態である場合は、ステップ１３０６を実行し；あるいはアプリケーションのウィンドウが可視状態でない場合は、ステップ１３１１を実行する。 Step 1305: Determine whether the application's window is visible; if the application's window is visible, perform step 1306; or if the application's window is not visible, perform step 1311. .

ステップ１３０６：アプリケーションの２Ｄレイアウトファイルを検索する。 Step 1306: Retrieve the 2D layout file of the application.

ステップ１３０７：アプリケーションの２Ｄレイアウトファイルが見つかったかどうかを判断し；アプリケーションの２Ｄレイアウトファイルが見つかった場合は、ステップ１３０７を実行し；あるいはアプリケーションの２Ｄレイアウトファイルが見つからなかった場合は、ステップ１３０９を実行し、デフォルトレイアウトファイルを使用する。 Step 1307: Determine whether the application's 2D layout file is found; if the application's 2D layout file is found, perform step 1307; or if the application's 2D layout file is not found, perform step 1309. and use the default layout file.

ステップ１３０８：アプリケーションのウィンドウのレイアウトファイルを、見つかった２Ｄレイアウトファイルに設定する。 Step 1308: Set the layout file of the application's window to the found 2D layout file.

ステップ１３１０：ウィンドウ内のすべての要素に対応する２Ｄリソースを取得する、言い換えると、ウィンドウ内のアイコン、テキスト等の要素に対応する２Ｄリソースを取得する。 Step 1310: Get the 2D resources corresponding to all the elements in the window, in other words, get the 2D resources corresponding to the elements such as icons, texts, etc. in the window.

ステップ１３１１：アプリケーションが最後のアプリケーションであるかどうかを判断し；アプリケーションが最後のアプリケーションである場合は、ステップ１３１２を実行し；あるいはアプリケーションが最後のアプリケーションでない場合は、ステップ１３０４を実行して次のアプリケーションを見つけ、ステップ１３０４～１３１１を繰り返し実行する。 Step 1311: Determine if the application is the last application; if the application is the last application, perform step 1312; or if the application is not the last application, perform step 1304 for the next Find the application and repeat steps 1304-1311.

ステップ１３１２：ウィンドウを解凍し、ユーザの入力イベントを受け取る。 STEP 1312: Decompress the window and receive user input events.

ステップ１３１３：共通モードを設定する。 Step 1313: Set common mode.

ステップ１３１４：表示インタフェースを描画する。 STEP 1314: Render the display interface.

前述のプロセスにおいて、ステップ１３０４でトラバースされたアプリケーションが、ウィンドウに対して可視のアプリケーションであり得る場合、対応して、ステップ１３０５は実行されない。 In the process described above, if the application traversed in step 1304 may be a window-visible application, then step 1305 is correspondingly not performed.

１００４．携帯電話を使用することによって共通モードでインタフェースを表示する。 1004. Display the interface in common mode by using a mobile phone.

携帯電話は処理された共通インタフェースを表示する。 The mobile phone displays a processed common interface.

オプションとして、実施形態３において、ステップ１００１は、次のように置き換えられてもよい：すなわち、ユーザが携帯電話上で共通モードに入るスイッチをターンオンしたことを検出すること；又はＨＭＤによって送信されたスイッチターンオフ通知を受け取ること、ここで、ハードウェアスイッチはＨＭＤ上に配置されている。ユーザがハードウェアスイッチをターンオフしたことが検出されると、ＨＭＤは、携帯電話がステップ１００２～１００５を実行し続けることを携帯電話に通知する。あるいは、ＨＭＤが装着されていないかどうかを判断する。ユーザがＨＭＤを取り外したことを検出すると、ＨＭＤは、携帯電話がステップ１００２～１００５を実行し続けることを携帯電話に通知する。 Optionally, in Embodiment 3, step 1001 may be replaced by: detecting that the user has turned on the switch to enter common mode on the mobile phone; Receiving switch turn-off notification, where the hardware switch is located on the HMD. When it detects that the user has turned off the hardware switch, the HMD notifies the mobile phone that the mobile phone continues to perform steps 1002-1005. Alternatively, it is determined whether the HMD is not worn. Upon detecting that the user has removed the HMD, the HMD notifies the mobile phone that the mobile phone continues to perform steps 1002-1005.

図１０の実施形態では、ウェアラブルデバイスは、ディスプレイを有するＨＭＤである。オプションとして、ウェアラブルデバイスは、ディスプレイのないＨＭＤであり、携帯電話は、ＨＭＤ内に配置され、ユーザは、ＨＭＤの光学レンズを使用することによって、携帯電話のディスプレイコンテンツを見る。この場合、ＨＭＤと携帯電話との間に通信接続が存在しない場合、図１０に示される実施形態では、ステップ１００１を実行しないように調整が行われてもよい。ユーザが携帯電話上で共通モードに入るスイッチをターンオンしたかどうか；ユーザが携帯電話上で共通モードに入るスイッチをターンオンすると、ステップ１００２～１００４が実行される。 In the embodiment of Figure 10, the wearable device is an HMD with a display. Optionally, the wearable device is a displayless HMD, the mobile phone is placed within the HMD, and the user views the mobile phone's display content by using the HMD's optical lens. In this case, the embodiment shown in FIG. 10 may be arranged not to perform step 1001 if there is no communication connection between the HMD and the mobile phone. Whether the user has turned on the switch to enter common mode on the mobile phone; If the user has turned on the switch to enter common mode on the mobile phone, steps 1002-1004 are executed.

図１２は、本出願の実施形態による、３Ｄモードにおける表示インタフェースの例１を示す。ビデオアプリケーション１２０３によるライブ放送であるＮＢＡゲームのライブ放送画像が、ユーザの視線の真ん中の位置に表示されてよい。ＷｅＣｈａｔチャットソフトウェアインタフェース１２０２が左側に表示され、ニュース参照インタフェース１２０４が右側に表示されるか又は別のライブ画像が右側に表示され、このようにして、ユーザは、スポーツゲームのライブ放送を見ながらＷｅＣｈａｔ友だち情報を見ることができ、ユーザは、他のウィンドウを閉じることなく、スポーツゲームの関連するニュースを更に見ることができ、他のウィンドウの表示に影響を与えることなく、いつでもワードを入力し得る。オプションとして、３Ｄモードにおける表示インタフェースの上方に、ステータスバー１２０１、ステータスバーを更に使用して、ＨＭＤステータス又は携帯電話のステータス、例えば残りのバッテリレベル、信号等を表示してもよい。オプションとして、ステータスバーの表示領域は、新たに受信したＳＭＳメッセージのような通知メッセージを更に表示してよい。 FIG. 12 shows Example 1 of a display interface in 3D mode, according to an embodiment of the present application. A live broadcast image of the NBA game, which is a live broadcast by the video application 1203, may be displayed in the center of the user's line of sight. A WeChat chat software interface 1202 is displayed on the left side and a news browsing interface 1204 is displayed on the right side or another live image is displayed on the right side, in this way users can use WeChat while watching a live broadcast of a sports game. Friend information can be viewed, users can view more news related to sports games without closing other windows, and they can enter words at any time without affecting the display of other windows. . Optionally, above the display interface in 3D mode, a status bar 1201, a status bar may also be used to display HMD status or mobile phone status, eg remaining battery level, signal, etc. Optionally, the display area of the status bar may also display notification messages, such as newly received SMS messages.

ユーザがウィンドウを閉じると、別のウィンドウが、予め設定されたルールに基づいて位置やサイズ等の属性を適切に調整し、バックグラウンドアプリケーションが自動的にフォアグラウンド表示に変わり得る。例えばユーザがビデオアプリケーションを閉じることが検出されると、ニュースアプリケーションはビデオアプリケーションの位置に移動し、元のビデオアプリケーションのサイズに調整される。ニュースアプリケーションの元の位置は、バックグラウンドアプリケーションを表示する。バックグラウンドアプリケーションを選択するプロセスについては、ステップ６０２を参照されたい。具体的には、１つのバックグラウンドアプリケーションのみが選択され得る。オプションとして、現在のフォアグラウンドアプリケーションが画面分割をサポートしているかどうかを実行する必要はない。他のウィンドウ又はバックグラウンドからフォアグラウンドアプリケーションに新たに切り替わったウィンドウの位置及びサイズ等のプロパティを調整する処理については、ステップ６０３を参照されたい。 When the user closes the window, another window can adjust its attributes such as position and size appropriately based on preset rules, and the background application can automatically turn to the foreground display. For example, when it is detected that the user is closing the video application, the news application is moved to the position of the video application and resized to the original video application. The original position of the news application to display the background application. See step 602 for the process of selecting background applications. Specifically, only one background application can be selected. As an option, there is no need to perform whether the current foreground application supports split screen. See step 603 for the process of adjusting properties such as the position and size of other windows or windows newly switched from the background to the foreground application.

ユーザがアプリケーションをドラッグしたことが検出されると、別のウィンドウは、予め設定されたルールに基づいて、位置及びサイズ等の属性を適切に調整する。例えばユーザがビデオアプリケーションを右にドラッグしたことが検出され、ビデオアプリケーションとニュースアプリケーションとの間の重複部分が予め設定された閾値を超えると、ビデオアプリケーションとニュースアプリケーションとの間の位置が交換され、サイズもそれに応じて変更される。 When it detects that the user has dragged the application, another window will adjust its attributes such as position and size appropriately based on preset rules. For example, when it is detected that the user has dragged the video application to the right and the overlap between the video application and the news application exceeds a preset threshold, the positions between the video application and the news application are swapped; The size is also changed accordingly.

ユーザが右側にフリッキングする命令を与え、ＷｅＣｈａｔアプリケーション１２０２及びビデオアプリケーション１２０３が右側に移動し、ＷｅＣｈａｔアプリケーション１２０２がフォーカスウィンドウ状態として表示されたことが検出されると、ビデオアプリケーション１２０３がニュースアプリケーション１０２４の位置で表示され、ニュースアプリケーション１２０４が不可視ウィンドウに調整され、加えて、アプリケーションがバックグラウンドアプリケーションから選択され、ＷｅＣｈａｔアプリケーション１０２０の以前の位置で表示されることが検出される。 When the user gives an instruction to flick to the right and WeChat application 1202 and video application 1203 move to the right and it is detected that WeChat application 1202 is displayed as the focus window state, video application 1203 moves to the position of news application 1024 . , the news application 1204 is adjusted to an invisible window, and in addition it is detected that the application has been selected from the background applications and displayed at the previous location of the WeChat application 1020 .

ユーザがアプリケーションから新しいアプリケーションを開いたこと、例えばＷｅＣｈａｔ内でニュースリンクを開き、Ｔｏｕｔｉａｏアプリケーションを開始したことが検出されると、Ｔｏｕｔｉａｏアプリケーションが開始された後、Ｔｏｕｔｉａｏアプリケーションはデフォルトで中央に表示され、ＷｅＣｈａｔウィンドウはまだ可視状態にあり、完全にはバックグラウンドには戻らず、ＷｅＣｈａｔウィンドウの位置とサイズのみが適切に自動的に変更される。 When it is detected that the user opens a new application from the application, for example, opens a news link in WeChat and starts the Toutiao application, after the Toutiao application is started, the Toutiao application is displayed in the center by default, The WeChat window is still visible and not completely back in the background, only the position and size of the WeChat window are automatically changed appropriately.

可視ウィンドウがシステムのデフォルトの上限に達すると、可視ウィンドウ内の最も早い時間が不可視状態に変更される、すなわち、自動的にバックグラウンドに戻る。 When the visible window reaches the system default limit, the earliest time within the visible window is changed to the invisible state, ie, automatically returned to the background.

アプリケーションを終了するために閉じていること又はバックキーを押したことを検出した後、現在の可視ウィンドウの位置とサイズを適応的に調整して、バックグラウンドアプリケーションを可視状態に調整することができる。他のバックグラウンドアプリケーションが存在しない場合は、デスクトップ画面が表示されることになる。 Background applications can be made visible by adaptively adjusting the position and size of the current visible window after detecting closing or pressing the back key to exit the application. . If there are no other background applications, the desktop screen will be displayed.

図１３ａは、本出願の実施形態による３Ｄモードの表示インタフェースの例２を示す。デスクトップのホーム画面１３０３は、フォーカス画面として中央に表示され；隣接する画面１３０２及び１３０３は両側に分散される。オプションとして、共通モードで表示された画面が、中央表示のためのフォーカス画面として使用されてよく、隣接する画面は両側に分散される。オプションとして、３Ｄモードの表示インタフェースの上部に、ステータスバー１３０１、ステータスバーを更に表示して、ＨＭＤのステータス又は携帯電話のステータスを表示してよい。 FIG. 13a shows Example 2 of a 3D mode display interface according to an embodiment of the present application. The desktop home screen 1303 is displayed in the center as the focus screen; the adjacent screens 1302 and 1303 are distributed on either side. Optionally, the screen displayed in common mode may be used as the focus screen for the central display, with the adjacent screens distributed on either side. Optionally, a status bar 1301, a status bar may also be displayed at the top of the 3D mode display interface to display the HMD status or the mobile phone status.

オプションとして、各デスクトップ画面上のアプリケーションアイコンは、ユーザによる最近のクリックの使用頻度に従って目立つように表示される。例えばアプリケーションアイコンに対応するアプリケーションのより高い使用頻度は、より立体的に目立つアイコンを示すか又はより大きいアイコンは、より大きなアイコンを示す。当業者は、別の顕著な表示方法が適用されてもよいことを理解することができる。図１３ａでは、ホーム画面１３０３上でアプリケーションＡＰＰ １のアイコンがハイライトされ、アプリケーションＡＰＰ ２、ＡＰＰ ３、ＡＰＰ ４、ＡＰＰ ５のアイコンが共通の方法で表示される。 Optionally, application icons on each desktop screen are prominently displayed according to the frequency of use of recent clicks by the user. For example, a higher usage frequency of the application corresponding to the application icon indicates a more stereoscopic icon, or a larger icon indicates a larger icon. A person skilled in the art can understand that other prominent display methods may be applied. In Figure 13a, the icon for application APP 1 is highlighted on home screen 1303, and the icons for applications APP 2, APP 3, APP 4, APP 5 are displayed in a common manner.

ユーザがアプリケーションを開くことを選択したことが検出されると、開いたアプリケーションのインタフェースがフォーカスウィンドウとして表示され得る。あるいは、アプリケーションアイコンが配置されるデスクトップ画面が置き換えられるか、開いたアプリケーションのインタフェースがフォーカスウィンドウとして表示され、ホーム画面が表示のために右側に移動され、第３の画面が不可視状態に切り替わる。図１３ｂに示すように、ユーザが、アプリケーションＡＰＰ １を開くことを選択し、アプリケーションＡＰＰ １のインタフェース１３０５がフォーカスウィンドウとして表示され、ホーム画面インタフェースに置き換わる。 When it is detected that the user has chosen to open an application, the interface of the open application can be displayed as the focus window. Alternatively, the desktop screen on which the application icons are placed is replaced, or the interface of the open application is displayed as the focus window, the home screen is moved to the right for display, and the third screen is switched invisible. As shown in Figure 13b, the user selects to open the application APP 1 and the interface 1305 of the application APP 1 is displayed as the focus window, replacing the home screen interface.

図１４は、本出願の実施形態による３Ｄモードの表示インタフェースの例３を示す図である。デスクトップ画面の第１画面１４０２は、表示インタフェースの左側に表示され得、ビデオアプリケーションのインタフェース１４０３は、右側に表示され得る。このようにして、ユーザはビデオを見ている間にデスクトップ上のアプリケーションを選択することができる。オプションとして、３Ｄモードで表示インタフェースの上方に、ステータスバー１４０１、ステータスバーを更に表示して、ＨＭＤステータス又は携帯電話のステータス、例えば残りのバッテリレベル又は信号を表示してもよい。オプションとして、ステータスバーの表示領域は、新たに受信したＳＭＳメッセージのような通知メッセージを更に表示してよい。 FIG. 14 is a diagram illustrating Example 3 of a 3D mode display interface according to an embodiment of the present application. A desktop screen first screen 1402 may be displayed on the left side of the display interface and a video application interface 1403 may be displayed on the right side. In this way, the user can select applications on the desktop while watching the video. Optionally, above the display interface in 3D mode, a status bar 1401, status bar may also be displayed to display HMD status or mobile phone status, eg remaining battery level or signal. Optionally, the display area of the status bar may also display notification messages, such as newly received SMS messages.

図１５ａは、本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す。ビデオアプリケーションインタフェース１５０３がユーザの視線の真ん中の位置に表示され、ＷｅＣｈａｔチャットソフトウェアインタフェース１５０２が左に表示され、ニュース引用インタフェース１５０４が右に表示される。ステータスバー領域１５０１は、表示インタフェースの上側に表示され、アイコン１５０５は、ステータスバー１５０１と並列に設けられる。ユーザがアイコン１５０５を選択すると、図１５ｂに示されるように、ＨＭＤカメラがターンオンされ、表示インタフェースのブランク領域に現実が提供される。環境ビューウィンドウ１５０６は、カメラによって収集されたコンテンツを表示する。このようにして、ユーザがＨＭＤを装着すると、ユーザは、実際の環境を迅速に見ることができ、それによって、ＨＭＤが頻繁に取り外され、次いでＨＭＤに装着されるという問題を回避することができる。オプションとして、実際の環境のビューのウィンドウが、複数のウィンドウのうちのウィンドウ内に表示されてもよい。図１５ｃに示されるように、１５０７のウィンドウは、カメラによって収集されたコンテンツを表示してよく、元のＷｅＣｈａｔインタフェース１５０２は、不可視に切り替えられる。オプションとして、図１５ｂの状態において、ウィンドウ１５０６におけるズームのためのユーザの操作が検出された場合、表示インタフェースは、図１５ｃの状態に切り替わる。ＨＭＤのカメラによって収集されたデータは、まず携帯電話との接続を通じて携帯電話に送信される。インタフェースレイアウトを行うとき、携帯電話は、ＨＭＤのカメラによって収集されたデータを処理し、表示のためにＨＭＤに送信されたインタフェースは、ＨＭＤのカメラによって収集されたデータを含む。ＨＭＤカメラによって収集されたデータを受け取った後、携帯電話は、画像ぼけ処理、画像内の人の顔処理等の必要な処理をデータに対して実行することができることが理解され得る。 FIG. 15a shows Example 4 of a 3D mode display interface according to an embodiment of the present application. A video application interface 1503 is displayed in the middle of the user's line of sight, a WeChat chat software interface 1502 is displayed on the left, and a news quote interface 1504 is displayed on the right. A status bar area 1501 is displayed at the top of the display interface, and icons 1505 are provided parallel to the status bar 1501 . When the user selects icon 1505, the HMD camera is turned on, providing reality in the blank area of the display interface, as shown in Figure 15b. Environment view window 1506 displays the content collected by the camera. In this way, when the user puts on the HMD, the user can quickly see the real environment, thereby avoiding the problem of frequently removing the HMD and then putting it on the HMD. . Optionally, a window of a view of the actual environment may be displayed within a window of the plurality of windows. As shown in Figure 15c, the window at 1507 may display the content collected by the camera and the original WeChat interface 1502 is switched invisible. Optionally, in the state of FIG. 15b, if a user operation to zoom in window 1506 is detected, the display interface switches to the state of FIG. 15c. Data collected by the HMD's camera is first transmitted to the mobile phone through a connection with the mobile phone. When performing interface layout, the mobile phone processes the data collected by the HMD's camera, and the interface sent to the HMD for display includes the data collected by the HMD's camera. It can be appreciated that after receiving the data collected by the HMD camera, the mobile phone can perform necessary processing on the data, such as image blurring, human face processing in the image, and so on.

前述の実施形態では、携帯電話によりユーザの様々な入力操作を検出することは、携帯電話によって、リモートコントロールを介してユーザによって送信された命令を受け取っているか又は携帯電話によって、ＨＭに付属するタッチデバイスにおけるユーザのタッチ命令を受け取っていてよい。あるいは、携帯電話は、ユーザによって入力された命令、例えばユーザの頭部のものであり、モーションセンサを使用することによりＨＭＤによって検出される動作命令等を得ることができる様々な実装を受け取る。 In the above-described embodiments, detecting various input operations of the user by the mobile phone may be performed by receiving instructions sent by the user via a remote control by the mobile phone or by touching touches attached to the HM by the mobile phone. A user's touch command at the device may be received. Alternatively, the mobile phone receives various implementations that can obtain commands input by the user, such as motion commands that are of the user's head and detected by the HMD by using motion sensors.

前述の実施形態における前述の電子デバイス１０２は、３Ｄディスプレイをサポートするタブレット、ノートブックコンピュータ又はプロジェクタのようなデバイスであってもよい。 The aforementioned electronic devices 102 in the aforementioned embodiments may be devices such as tablets, notebook computers or projectors that support 3D displays.

図１６は、本出願の実施形態による電子デバイス１０１の概略構造図である。電子デバイス１０１は以下を含む： FIG. 16 is a schematic structural diagram of an electronic device 101 according to an embodiment of the present application. Electronic device 101 includes:

第１検出モジュール１６０１は、第２電子デバイスが電子デバイスに接続されていることを検出するように構成される。具体的な実装については、ステップ６０１を参照されたい。ウィンドウ取得モジュール１６０２は、予め設定されたウィンドウ数量に基づいて、表示されるべき少なくとも１つのウィンドウを取得するように構成される。表示されるべき少なくとも１つのウィンドウは２次元ウィンドウである。詳細について、ステップ６０２を参照されたい。インタフェースレイアウトモジュール１６０３は、予め設定されたウィンドウ数量と、少なくとも１つの取得された表示されるべきウィンドウとに基づいて、第２ウィンドウを分割するように構成される。電子デバイスの表示インタフェースについては、特にステップ６０３を参照されたい。３Ｄ変換モジュール１６０４は、表示されるべき少なくとも１つのウィンドウに対して次元変換処理を実行するように構成され、具体的にはステップ６０４を参照されたい。送信モジュール１６０５は、少なくとも１つの変換されたウィンドウを変換するように構成される。表示されるべきウィンドウは、第２電子デバイスに送信され、少なくとも１つの変換された表示されるべきウィンドウは、三次元ウィンドウである。詳細については、ステップ６０５を参照されたい。 The first detection module 1601 is configured to detect that the second electronic device is connected to the electronic device. See step 601 for specific implementation. The window acquisition module 1602 is configured to acquire at least one window to be displayed based on the preset window quantity. At least one window to be displayed is a two-dimensional window. See step 602 for details. The interface layout module 1603 is configured to divide the second window based on the preset window quantity and the at least one obtained window to be displayed. See step 603 in particular for the display interface of the electronic device. The 3D transform module 1604 is configured to perform a dimensional transform operation on at least one window to be displayed, see step 604 in particular. Transmitting module 1605 is configured to transform at least one transformed window. The windows to be displayed are transmitted to the second electronic device, and the at least one transformed window to be displayed is a three-dimensional window. See step 605 for details.

電子デバイスは更に以下を含む：３Ｄモードのスイッチがターンオンされたことを検出してウィンドウ取得モジュールをトリガするように構成される第２検出モジュール；又は第２電子デバイスから通知を受け取ってウィンドウ取得モジュールをトリガするように構成される第３検出モジュールであって、ここで、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される。 The electronic device further includes: a second detection module configured to detect that the 3D mode switch is turned on and trigger the window acquisition module; or receive a notification from the second electronic device and the window acquisition module. wherein the notification is used to indicate that the second electronic device is being worn by the user.

電子デバイスは更に以下を含む：３Ｄモードのスイッチがターンオンされたことを検出して送信モジュールをトリガするように構成される第４検出モジュール；又は第２電子デバイスから通知を受け取って送信モジュールをトリガするように構成される第５検出モジュールであって、ここで、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される。 The electronic device further includes: a fourth detection module configured to detect that the 3D mode switch is turned on and trigger the transmission module; or receive a notification from the second electronic device to trigger the transmission module. wherein the notification is used to indicate that the second electronic device is being worn by the user.

少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含み、アプリケーションプログラムインタフェースは、第２電子デバイスが接続されていることを第１電子デバイスが検出したときに取得される、現在のフォアグラウンドアプリケーションのインタフェースと、第１電子デバイスのバックグラウンドアプリケーションのインタフェースとを含む。電子デバイスは、現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定し、バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するように構成される、ウィンドウステータス調整モジュールを更に含む。 the at least one window to be displayed includes an application program interface and/or a desktop screen, the application program interface being obtained when the first electronic device detects that the second electronic device is connected; It includes an interface of the current foreground application and an interface of the background application of the first electronic device. The electronic device further includes a window status adjustment module configured to set the current foreground application's interface to the focus window and the background application's interface to the visible window.

デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、アイコンは、アプリケーションの使用頻度に基づいてハイライトされる。 The desktop screen includes icons for at least two applications, and the icons are highlighted based on how frequently the applications are used.

第２電子デバイスは、カメラを含み；第１電子デバイスは、カメラによって収集されたコンテンツを受け取るように構成される受信モジュールを更に含み；送信モジュールは、第２電子デバイスが、カメラによって収集されたコンテンツをリアルタイムで表示するように、カメラによって収集されたコンテンツをリアルタイムで第２電子デバイスに送信するように更に構成される。 the second electronic device includes a camera; the first electronic device further includes a receiving module configured to receive content collected by the camera; the transmitting module enables the second electronic device to It is further configured to transmit the content collected by the camera in real time to a second electronic device to display the content in real time.

本出願の実施形態において開示される方法は、プロセッサに適用されてもよく又はプロセッサによって実装されてもよい。プロセッサ９３０は、集積回路チップであってもよく、信号処理能力を有する。実施形態のプロセスでは、前述の方法におけるステップを、プロセッサ内のハードウェア集積論理回路を使用することによって又はソフトウェアの形式の命令を使用することによって実装することができる。前述のプロセッサは、汎用プロセッサ、デジタル信号プロセッサ（DigitalSignalProcessing，ＤＳＰ）、特定用途向け集積回路（ApplicationSpecificIntegratedCircuit，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array，ＦＰＧＡ）又は別のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理デバイス、あるいは個別ハードウェアコンポーネントであってもよい。プロセッサは、本出願の実施形態で開示される方法、ステップ及び論理ブロック図を実装又は実行してもよい。汎用プロセッサは、マイクロプロセッサであってよく、あるいはプロセッサは、任意の従来のプロセッサ等であってよい。本出願の実施形態に関連して開示される方法のステップは、ハードウェア復号プロセッサを使用することによって直接的に実行されて達成されてよく、あるいは復号プロセッサ内のハードウェアとソフトウェアモジュールの組合せを使用することによって実行されて達成されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的消去可能プログラマブルメモリ又はレジスタのような、当該技術分野における成熟した記憶媒体内に配置されてよい。記憶媒体はメモリ内に配置され、プロセッサはメモリ内の情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。前述の実施形態のすべて又は一部は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せを使用することによって実装されてよい。ソフトウェアを使用して実施形態を実装するとき、実施形態は、コンピュータプログラム製品の形態で完全に又は部分的に実装されてよい。 The methods disclosed in embodiments of the present application may be applied to or implemented by a processor. Processor 930 may be an integrated circuit chip and has signal processing capabilities. In the process of embodiments, the steps in the aforementioned methods may be implemented by using hardware integrated logic within a processor or by using instructions in the form of software. Such processors may be general purpose processors, Digital Signal Processing (DSP), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates Or it may be a transistor logic device, or a discrete hardware component. The processor may implement or perform the methods, steps and logic block diagrams disclosed in the embodiments of the present application. A general-purpose processor may be a microprocessor, or the processor may be any conventional processor, and so on. The steps of the methods disclosed in connection with the embodiments of the present application may be performed and accomplished directly by using a hardware decoding processor, or a combination of hardware and software modules within the decoding processor. may be performed and achieved by using A software module may reside in any art-mature storage medium such as random access memory, flash memory, read-only memory, programmable read-only memory, electrically erasable programmable memory or registers. The storage medium is located in the memory and the processor reads the information in the memory and combines it with the processor hardware to complete the steps of the aforementioned method. All or part of the above-described embodiments may be implemented using software, hardware, firmware, or any combination thereof. When implementing embodiments using software, embodiments may be fully or partially implemented in the form of a computer program product.

コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータ上にロードされて実行されるとき、本出願の実施形態による手順又は機能がすべて又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は他のプログラマブル装置であってよい。コンピュータ命令は、コンピュータ読取可能な記憶媒体に記憶されてよく又はあるコンピュータ読取可能な記憶媒体から別のコンピュータ読取可能な記憶媒体に送信されてもよい。例えばコンピュータ命令は、ウェブサイト、コンピュータ、サーバ又はデータセンタから、別のウェブサイト、コンピュータ、サーバ又はデータセンタに、有線（例えば同軸ケーブル、光ファイバ又はデジタル加入者線（ＤＳＬ））又は無線（例えば赤外線、無線又はマイクロ波）方式で送信され得る。コンピュータ読取可能記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体であるか又は１つ以上の使用可能媒体を統合するサーバ又はデータセンタのようなデータ記憶装置であってもよい。使用可能媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク又は磁気テープ）、光媒体（例えばＤＶＤ）、半導体媒体（例えば固体ディスク（例えばSolid State Disk、ＳＳＤ））等である。 A computer program product includes one or more computer instructions. When the computer program instructions are loaded and executed on a computer, the procedures or functions according to the embodiments of the present application are generated in whole or in part. The computer may be a general purpose computer, special purpose computer, computer network or other programmable device. The computer instructions may be stored on computer-readable storage media or transmitted from one computer-readable storage medium to another computer-readable storage medium. For example, computer instructions may be transferred from a website, computer, server, or data center to another website, computer, server, or data center, wired (e.g., coaxial cable, optical fiber, or Digital Subscriber Line (DSL)) or wirelessly (e.g., may be transmitted by infrared, radio or microwave). A computer-readable storage medium can be any available medium that can be accessed by a computer or can be a data storage device such as a server or data center integrating one or more available media. Usable media include magnetic media (eg floppy disks, hard disks or magnetic tapes), optical media (eg DVDs), semiconductor media (eg solid state disks (eg Solid State Disks, SSDs)) and the like.

便利で簡単な説明のために、前述のシステム、装置及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細は本明細書では再度説明されないことは、当業者には明らかに理解され得る。 For the sake of convenience and brief description, the detailed working processes of the aforementioned systems, devices and units will refer to the corresponding processes in the aforementioned method embodiments, and the details will not be described again herein. It can be clearly understood by those skilled in the art.

本出願に提供されるいくつかの実施形態では、開示されるシステム、装置及び方法が、他の方法で実装され得ることを理解されたい。例えば説明される装置の実施形態は、単なる例である。例えばユニット分割は単なる論理関数分割であり、実際の実施形態では他の分割であってもよい。例えば複数のユニット又は構成要素は、別のシステムに組み合わされるか統合されてもよく、あるいはいくつかの特徴が無視され得るか、実行されなくてもよい。加えて、表示又は議論された相互結合、直接結合又は通信接続は、いくつかのインタフェースを使用することによって実装されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電子的、機械的又は別の形態で実装されてよい。 It should be appreciated that in some of the embodiments provided in this application, the disclosed systems, devices and methods may be implemented in other ways. For example, the described apparatus embodiment is merely an example. For example, the unit partition is just a logical function partition, and may be other partitions in actual embodiments. For example, multiple units or components may be combined or integrated into another system, or some features may be ignored or not performed. In addition, the displayed or discussed mutual couplings, direct couplings or communication connections may be implemented using some interfaces. Indirect couplings or communicative connections between devices or units may be implemented electronically, mechanically or otherwise.

別個の部分として説明されるユニットは、物理的に別個であってもそうでなくてもよく、ユニットとして表示される部分は、物理的ユニットであってもそうでなくてもよく、１つの位置に配置されてもよく又は複数のネットワークユニット上に分散されてもよい。ユニットの一部又はすべては、実施形態の解決策の目的を達成するために、実際の要件に基づいて選択されてよい。 Units described as separate parts may or may not be physically separate and parts denoted as units may or may not be physical units and may or may not be located in one location. , or may be distributed over multiple network units. Some or all of the units may be selected based on actual requirements to achieve the objectives of the solutions of the embodiments.

加えて、本出願の実施形態における機能ユニットは、１つの処理ユニットに統合されてもよく又はユニットの各々は、物理的に単独で存在してもよく又は２つ以上のユニットが１つのユニットに統合される。統合ユニットは、ハードウェアの形態で実装されてもよく又はソフトウェア機能ユニットの形態で実装されてもよい。 In addition, the functional units in the embodiments of the present application may be integrated into one processing unit or each of the units may physically exist alone or two or more units may be combined into one unit. integrated. The integrated units may be implemented in the form of hardware or in the form of software functional units.

統合されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用されるとき、統合されたユニットはコンピュータ読取可能な記憶媒体に記憶され得る。このような理解に基づいて、本出願の技術的解決策は、本質的に又は先行技術に寄与する部分又は技術的解決策のすべて若しくは一部が、ソフトウェア製品の形態で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ又はネットワークデバイスであってよい）に、本出願の実施形態で説明される方法のすべて又は一部のステップを実行するように指示するためのいくつかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（Read-Only Memory，ＲＯＭ）、ランダムアクセスメモリ（Random Access Memory，ＲＡＭ）、磁気ディスク又はコンパクトディスクのような、プログラムコードを記憶することができる任意の媒体を含む。 When an integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, the integrated unit can be stored on a computer readable storage medium. Based on such understanding, the technical solutions of the present application may be implemented in the form of software products, essentially or the part contributing to the prior art, or all or part of the technical solutions. The computer software product is stored on a storage medium and instructs a computer device (which may be a personal computer, server or network device) to perform all or part of the steps of the methods described in the embodiments of the present application. Contains some instructions to direct. The aforementioned storage medium stores program code, such as a USB flash drive, removable hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk or compact disk. including any medium capable of

前述の実施形態は、本出願の技術的解決策を記載することを意図したものにすぎず、本出願を限定するものではない。本出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本出願の実施形態の技術的解決策の精神及び範囲から逸脱することなく、前述の実施形態で説明された技術的解決策に依然として修正し得るか又はその技術的特徴のいくつかを同等に置き換え得ることを理解すべきである。
The foregoing embodiments are only intended to describe the technical solutions of the present application and do not limit the present application. Although the present application has been described in detail with reference to the above-described embodiments, those skilled in the art can make any modifications described in the above-described embodiments without departing from the spirit and scope of the technical solutions of the embodiments of the present application. It should be understood that the proposed technical solution can still be modified or some of its technical features can be equivalently replaced.

Claims (14)

第２電子デバイス上に三次元３Ｄインタフェースを表示するために第１電子デバイスによって使用されるインタフェース表示方法であって、当該方法は：
前記第１電子デバイスによって、前記第２電子デバイスが前記第１電子デバイスに接続されていることを検出するステップ；
前記第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップであって、前記少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウであり、前記予め設定されたウィンドウ数量は、前記第１電子デバイスによって取得された前記第２電子デバイスの表示インタフェースのサイズに基づくステップ；
前記第１電子デバイスによって、前記予め設定されたウィンドウ数量及び前記少なくとも１つの取得された表示されるべきウィンドウに基づいて、前記第２電子デバイスの前記表示インタフェースを分割するステップ；
前記第１電子デバイスによって、前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップ；及び
前記第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを前記第２電子デバイスに送信するステップであって、前記少なくとも１つの変換された表示されるべきウィンドウは、三次元ウィンドウであるステップ；
を含み、
前記少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含み、前記アプリケーションプログラムインタフェースは、前記第２電子デバイスが接続されていることを前記第１電子デバイスが検出したときに取得される、現在のフォアグラウンドアプリケーションのインタフェースと、最近使用されたバックグラウンドアプリケーションのインタフェースとを含み、
当該方法は、
前記現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定するステップと、前記バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するステップ
を更に含む、方法。 An interface display method used by a first electronic device to display a three-dimensional 3D interface on a second electronic device, the method comprising:
detecting, by the first electronic device, that the second electronic device is connected to the first electronic device;
obtaining at least one window to be displayed by the first electronic device according to a preset window quantity, wherein the at least one window to be displayed is a two-dimensional window; the preset window quantity is based on the size of the display interface of the second electronic device obtained by the first electronic device;
dividing, by the first electronic device, the display interface of the second electronic device based on the preset window quantity and the at least one obtained window to be displayed;
performing a dimensional transformation process on the at least one window to be displayed by the first electronic device; and transforming the at least one transformed window to be displayed to the second transmitting to an electronic device, wherein the at least one transformed window to be displayed is a three-dimensional window;
including
The at least one window to be displayed includes an application program interface and/or a desktop screen, and the application program interface is displayed when the first electronic device detects that the second electronic device is connected. including the current foreground application's interface and the recently used background application's interface that are obtained,
The method is
setting the current foreground application's interface to the focus window; and setting the background application's interface to the visible window.
The method further comprising : 前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップは：
前記少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、前記少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するステップを含む、
請求項１に記載の方法。 The step of performing a dimensional transformation operation on the at least one window to be displayed includes:
performing binocular rendering on the at least one to-be-displayed window to obtain left-eye and right-eye images in the at least one to-be-displayed window;
The method of claim 1. 前記第１電子デバイスによって、前記第２電子デバイスが前記第１電子デバイスに接続されていることを検出するステップの後、前記第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップの前に、当該方法は：
前記第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；又は
前記第１電子デバイスによって、前記第２電子デバイスから通知を受け取るステップであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；
を更に含む、請求項１又は２に記載の方法。 After detecting, by the first electronic device, that the second electronic device is connected to the first electronic device, by the first electronic device, based on a preset window quantity, at least one Before the step of obtaining the windows to be displayed, the method:
detecting, by said first electronic device, that a 3D mode switch has been turned on; or receiving, by said first electronic device, a notification from said second electronic device, said notification being said second used to indicate that the electronic device is being worn by a user;
3. The method of claim 1 or 2, further comprising: 前記第１電子デバイスによって、前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップの後、前記第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを前記第２電子デバイスに送信するステップの前に、当該方法は：
前記第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；又は
前記第１電子デバイスによって、前記第２電子デバイスから通知を受け取るステップであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；
を更に含む、請求項１又は２に記載の方法。 After the step of performing dimension transformation processing on the at least one window to be displayed by the first electronic device, the at least one transformed window to be displayed is converted to the first window by the first electronic device. 2 Prior to the step of transmitting to the electronic device, the method:
detecting, by said first electronic device, that a 3D mode switch has been turned on; or receiving, by said first electronic device, a notification from said second electronic device, said notification being said second used to indicate that the electronic device is being worn by a user;
3. The method of claim 1 or 2, further comprising: 前記デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、前記アイコンは、前記アプリケーションの使用頻度に基づいてハイライトされる、
請求項１に記載の方法。 the desktop screen includes icons for at least two applications, the icons being highlighted based on the frequency of use of the applications;
The method of claim 1 . 前記第２電子デバイスはカメラを含み、前記第１電子デバイスは、前記カメラによって収集されたコンテンツを受け取り、前記第１電子デバイスは、前記第２電子デバイスが前記カメラによって収集されたコンテンツをリアルタイムで表示するように、前記カメラによって収集されたコンテンツを前記第２電子デバイスにリアルタイムで送信する、
請求項１乃至５のいずれか一項に記載の方法。 The second electronic device includes a camera, the first electronic device receives content collected by the camera, and the first electronic device receives content collected by the camera from the second electronic device in real time. transmitting content collected by the camera in real time to the second electronic device for display;
6. A method according to any one of claims 1-5 . 第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成される第１電子デバイスであって、当該第１電子デバイスは：
前記第２電子デバイスが当該第１電子デバイスに接続されていることを検出するように構成される第１検出モジュール；
予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するように構成されるウィンドウ取得モジュールであって、前記少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウであり、前記予め設定されたウィンドウ数量は、当該第１電子デバイスによって取得された前記第２電子デバイスの表示インタフェースのサイズに基づく、ウィンドウ取得モジュール；
前記予め設定されたウィンドウ数量及び前記少なくとも１つの取得された表示されるべきウィンドウに基づいて、前記第２電子デバイスの前記表示インタフェースを分割するように構成されるインタフェースレイアウトモジュール；
前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するように構成される３Ｄ変換モジュール；及び
少なくとも１つの変換された表示されるべきウィンドウを前記第２電子デバイスに送信するように構成される送信モジュールであって、前記少なくとも１つの変換された表示されるべきウィンドウは、３次元ウィンドウである、送信モジュール；
を含み、
前記少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含み、前記アプリケーションプログラムインタフェースは、前記第２電子デバイスが接続されていることを当該第１電子デバイスが検出したときに取得される、当該第１電子デバイスの現在のフォアグラウンドアプリケーションのインタフェースと、最近使用されたバックグラウンドアプリケーションのインタフェースとを含み、
当該第１電子デバイスは、
前記現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定し、前記バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するように構成されたウィンドウステータス調整モジュール
を更に含む、電子デバイス。 A first electronic device configured to display a three-dimensional (3D) interface on a second electronic device, the first electronic device comprising:
a first detection module configured to detect that the second electronic device is connected to the first electronic device;
a window acquisition module configured to acquire at least one window to be displayed based on a preset window quantity, wherein the at least one window to be displayed is a two-dimensional window; a window acquisition module, wherein the preset window quantity is based on the size of the display interface of the second electronic device acquired by the first electronic device;
an interface layout module configured to divide the display interface of the second electronic device based on the preset window quantity and the at least one obtained window to be displayed;
a 3D transformation module configured to perform a dimensional transformation process on the at least one window to be displayed; and to transmit at least one transformed window to be displayed to the second electronic device. a transmission module configured, wherein said at least one transformed window to be displayed is a three-dimensional window;
including
The at least one window to be displayed includes an application program interface and/or a desktop screen, the application program interface being displayed when the first electronic device detects that the second electronic device is connected. a current foreground application interface and a recently used background application interface of the first electronic device that are obtained;
The first electronic device includes:
A window status adjustment module configured to set the current foreground application's interface to the focus window and the background application's interface to the visible window.
An electronic device , further comprising : 前記３Ｄ変換モジュールは、前記少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、前記少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するように構成される、
請求項７に記載の電子デバイス。 The 3D conversion module is configured to perform binocular rendering on the at least one to-be-displayed window to obtain left-eye and right-eye images in the at least one to-be-displayed window. ,
8. Electronic device according to claim 7 . ３Ｄモードのスイッチがターンオンされたことを検出し、前記ウィンドウ取得モジュールをトリガするように構成される第２検出モジュール；又は
前記第２電子デバイスから通知を受け取って、前記ウィンドウ取得モジュールをトリガするように構成される第３検出モジュールであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用される、第３検出モジュール；
を更に含む、請求項７又は８に記載の電子デバイス。 a second detection module configured to detect that a 3D mode switch is turned on and trigger the window acquisition module; or receive a notification from the second electronic device to trigger the window acquisition module. wherein the notification is used to indicate that the second electronic device is being worn by a user;
9. The electronic device of claim 7 or 8 , further comprising: ３Ｄモードのスイッチがターンオンされたことを検出し、前記送信モジュールをトリガするように構成される第４検出モジュール；又は
前記第２電子デバイスから通知を受け取って、前記送信モジュールをトリガするように構成される第５検出モジュールであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用される、第５検出モジュール；
を更に含む、請求項７又は８に記載の電子デバイス。 a fourth detection module configured to detect that a 3D mode switch is turned on and trigger the transmission module; or configured to receive a notification from the second electronic device to trigger the transmission module. a fifth detection module, wherein the notification is used to indicate that the second electronic device is being worn by a user;
9. The electronic device of claim 7 or 8 , further comprising: 前記デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、前記アイコンは、前記アプリケーションの使用頻度に基づいてハイライトされる、
請求項７に記載の電子デバイス。 the desktop screen includes icons for at least two applications, the icons being highlighted based on the frequency of use of the applications;
8. Electronic device according to claim 7 . 前記第２電子デバイスはカメラを含み、前記第１電子デバイスは、前記カメラによって収集されたコンテンツを受け取るように構成される受信モジュールを更に備え、前記送信モジュールは、前記第２電子デバイスが前記カメラによって収集されたコンテンツをリアルタイムで表示するように、前記カメラによって収集されたコンテンツを前記第２電子デバイスにリアルタイムで送信するように更に構成される、
請求項７乃至１１のいずれか一項に記載の電子デバイス。 The second electronic device includes a camera, the first electronic device further comprises a receiving module configured to receive content collected by the camera, the transmitting module instructs the second electronic device to further configured to transmit content collected by the camera in real-time to the second electronic device to display the content collected by the camera in real-time;
Electronic device according to any one of claims 7 to 11 . 第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成される電子デバイスであって、
当該電子デバイスは、周辺インタフェース、プロセッサ及びメモリを含み；
前記メモリはプログラムを記憶するように構成され；
前記プロセッサは、前記電子デバイスが請求項１乃至６のいずれか一項に記載の方法を実行するように、前記メモリ内の前記プログラムを実行するように構成される、
電子デバイス。 An electronic device configured to display a three-dimensional (3D) interface on a second electronic device, comprising:
the electronic device includes a peripheral interface, a processor and memory;
said memory configured to store a program;
The processor is configured to execute the program in the memory such that the electronic device performs the method of any one of claims 1-6 ,
electronic device. 命令を含むコンピュータ読取可能な記憶媒体であって、前記命令がコンピュータ上で実行されると、前記コンピュータは、請求項１乃至６のいずれか一項に記載の方法を実行することを可能にされる、コンピュータ読取可能な記憶媒体。 A computer readable storage medium containing instructions which, when executed on a computer, enable the computer to perform the method of any one of claims 1 to 6 . computer readable storage medium.
JP2020513779A 2017-09-07 2018-09-06 Interface display method and device Active JP7123128B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710802021.9A CN109471603A (en) 2017-09-07 2017-09-07 A kind of interface display method and device
CN201710802021.9 2017-09-07
PCT/CN2018/104257 WO2019047876A1 (en) 2017-09-07 2018-09-06 Interface displaying method and device

Publications (2)

Publication Number Publication Date
JP2020533682A JP2020533682A (en) 2020-11-19
JP7123128B2 true JP7123128B2 (en) 2022-08-22

Family

ID=65634740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513779A Active JP7123128B2 (en) 2017-09-07 2018-09-06 Interface display method and device

Country Status (5)

Country Link
US (1) US20200286449A1 (en)
EP (1) EP3672239A4 (en)
JP (1) JP7123128B2 (en)
CN (1) CN109471603A (en)
WO (1) WO2019047876A1 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358927B (en) * 2018-09-21 2020-05-01 Oppo广东移动通信有限公司 Application program display method and device and terminal equipment
CN110221894A (en) * 2019-05-30 2019-09-10 重庆爱奇艺智能科技有限公司 It is a kind of for showing the method and apparatus of 2D window in 3D view
CN110347305A (en) 2019-05-30 2019-10-18 华为技术有限公司 A kind of VR multi-display method and electronic equipment
CN110426848B (en) 2019-06-03 2021-06-08 华为技术有限公司 Head-mounted display device and display method thereof
CN110248026B (en) * 2019-06-18 2021-10-22 北京字节跳动网络技术有限公司 Mobile terminal, display system, display control method of display system and recording medium
CN110532050B (en) * 2019-07-31 2023-08-25 努比亚技术有限公司 Motion data refreshing method, wearable device and computer readable storage medium
CN110543384B (en) * 2019-09-05 2022-05-17 Oppo广东移动通信有限公司 Memory write-back method, device, terminal and storage medium
CN110780967A (en) * 2019-10-30 2020-02-11 努比亚技术有限公司 Application display method, terminal and computer readable storage medium
JP7438786B2 (en) 2020-02-25 2024-02-27 株式会社コロプラ Program, information processing method, and information processing device
CN114079764A (en) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 3D display method, 3D display device and 3D display device
CN113918067A (en) * 2020-11-20 2022-01-11 完美世界(北京)软件科技发展有限公司 Interface logic execution method and device, electronic equipment and medium
CN112558699B (en) * 2020-12-23 2024-04-26 联想(北京)有限公司 Touch control method, device, equipment and computer readable storage medium
CN112965773B (en) * 2021-03-03 2024-05-28 闪耀现实(无锡)科技有限公司 Method, apparatus, device and storage medium for information display
CN113556601A (en) * 2021-07-19 2021-10-26 上海月猫科技有限公司 Screen splitting method, system and storage medium
CN113742112B (en) * 2021-09-15 2024-04-16 武汉联影智融医疗科技有限公司 Electrocardiogram image generation method, system and electronic device
CN114020375A (en) * 2021-09-22 2022-02-08 联想(北京)有限公司 Display method and device
CN115098012A (en) * 2022-06-24 2022-09-23 北京字跳网络技术有限公司 Display method, electronic device, and computer program product
CN115661418A (en) * 2022-12-22 2023-01-31 灯影科技有限公司 Mixed reality display device, method, equipment and storage medium
CN116301482B (en) * 2023-05-23 2023-09-19 杭州灵伴科技有限公司 Window display method of 3D space and head-mounted display device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116903A (en) 2000-10-06 2002-04-19 Hitachi Ltd Plural screen display method
JP2009229172A (en) 2008-03-21 2009-10-08 Alpine Electronics Inc Information-providing system and information-providing method
JP2010198295A (en) 2009-02-25 2010-09-09 Fujitsu Ltd Program, device, and method for displaying information
JP2011138235A (en) 2009-12-26 2011-07-14 Canon Inc Information processing apparatus, peripheral device management method, and program
JP2011232979A (en) 2010-04-28 2011-11-17 Sharp Corp Display device
JP2016122975A (en) 2014-12-25 2016-07-07 セイコーエプソン株式会社 Display device and display device control method
US20170150139A1 (en) 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Electronic device and method for displaying content according to display mode

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002403A (en) * 1996-04-30 1999-12-14 Sony Corporation Graphical navigation control for selecting applications on visual walls
JP3526019B2 (en) * 1999-11-30 2004-05-10 インターナショナル・ビジネス・マシーンズ・コーポレーション Image display system, image display device, and image display method
JP4440067B2 (en) * 2004-10-15 2010-03-24 キヤノン株式会社 Image processing program for stereoscopic display, image processing apparatus, and stereoscopic display system
JP4910062B2 (en) * 2010-06-30 2012-04-04 株式会社東芝 Stereoscopic image display device, stereoscopic glasses, and stereoscopic image display system
US20120293637A1 (en) * 2011-05-20 2012-11-22 Echostar Technologies L.L.C. Bufferless 3D On Screen Display
CN102427550A (en) * 2011-12-09 2012-04-25 彩虹集团公司 Method for converting 2D into 3D
US9571820B2 (en) * 2011-12-31 2017-02-14 Resonance Technology, Inc. MRI-compatible 3D television and display system
CN103914320B (en) * 2013-01-04 2017-06-20 联想(北京)有限公司 A kind of display methods and electronic equipment
CN104808782B (en) * 2014-01-28 2019-12-03 中兴通讯股份有限公司 Using split screen method and apparatus, intelligent terminal
CN104536714A (en) * 2015-01-07 2015-04-22 深圳市众进思创科技开发有限公司 Method and system for split screen display of display information in equipment room
DE102015102639A1 (en) * 2015-02-24 2016-08-25 Emporia Telecom Gmbh & Co Kg Method for operating a mobile terminal, application for a mobile terminal and mobile terminal
CN104683341B (en) * 2015-02-27 2018-09-25 努比亚技术有限公司 Using login method and system
CN104794008B (en) * 2015-04-28 2021-06-15 北京数字天域科技有限责任公司 Application program synchronization method, device and system
US10295990B2 (en) * 2015-05-18 2019-05-21 Milwaukee Electric Tool Corporation User interface for tool configuration and data capture
KR101729564B1 (en) * 2015-09-07 2017-05-02 엘지전자 주식회사 Mobile terminal and method for controlling the same
CN106817508B (en) * 2015-11-30 2019-11-22 华为技术有限公司 A kind of synchronization object determines methods, devices and systems
KR102442527B1 (en) * 2016-02-26 2022-09-13 엘지전자 주식회사 Wireless device
CN105867815A (en) * 2016-03-28 2016-08-17 乐视控股（北京）有限公司 Split screen display method and device
CN107133028B (en) * 2017-03-30 2021-07-16 联想(北京)有限公司 Information processing method and electronic equipment
CN107132914A (en) * 2017-04-10 2017-09-05 青岛海信移动通信技术股份有限公司 Method and terminal for the VR terminal split-screen displays shown
CN107132985A (en) * 2017-04-30 2017-09-05 上海爱优威软件开发有限公司 A kind of display changeover method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116903A (en) 2000-10-06 2002-04-19 Hitachi Ltd Plural screen display method
JP2009229172A (en) 2008-03-21 2009-10-08 Alpine Electronics Inc Information-providing system and information-providing method
JP2010198295A (en) 2009-02-25 2010-09-09 Fujitsu Ltd Program, device, and method for displaying information
JP2011138235A (en) 2009-12-26 2011-07-14 Canon Inc Information processing apparatus, peripheral device management method, and program
JP2011232979A (en) 2010-04-28 2011-11-17 Sharp Corp Display device
JP2016122975A (en) 2014-12-25 2016-07-07 セイコーエプソン株式会社 Display device and display device control method
US20170150139A1 (en) 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Electronic device and method for displaying content according to display mode

Also Published As

Publication number Publication date
WO2019047876A1 (en) 2019-03-14
EP3672239A4 (en) 2020-09-23
JP2020533682A (en) 2020-11-19
EP3672239A1 (en) 2020-06-24
US20200286449A1 (en) 2020-09-10
CN109471603A (en) 2019-03-15

Similar Documents

Publication Publication Date Title
JP7123128B2 (en) Interface display method and device
US10623661B2 (en) Image composition method with image sensors having different angles of view and electronic device for supporting the same
CN110462572B (en) Electronic device and control method thereof
US10380716B2 (en) Electronic device for providing omnidirectional image and method thereof
CN106060378B (en) Apparatus and method for setting photographing module
KR102628044B1 (en) System and method for using two-dimensional applications in a three-dimensional virtual reality environment
US10168772B2 (en) Head mounted electronic device
KR102303115B1 (en) Method For Providing Augmented Reality Information And Wearable Device Using The Same
CN105900051B (en) Electronic device and event display method in virtual reality mode
US10075653B2 (en) Method and electronic device for image processing
CN106415510B (en) Data processing method and electronic equipment thereof
US10732793B2 (en) Apparatus and method for providing information via portion of display
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
EP3023969A2 (en) Display and method and electronic device
CN113377316A (en) Apparatus and method for providing screen mirroring service
US10916049B2 (en) Device and method for rendering image
CN107810472B (en) Electronic device and method for controlling display of panoramic image
KR20160061133A (en) Method for dispalying image and electronic device thereof
US10088687B2 (en) Method and apparatus for displaying content
US20180176536A1 (en) Electronic device and method for controlling the same
KR102632270B1 (en) Electronic apparatus and method for displaying and generating panorama video
JP2020502696A (en) Electronic device and web page display method using the same
KR20160039962A (en) Electronic device and method for controlling display in electronic device
KR102641881B1 (en) Electronic device and method for acquiring omnidirectional image
CN109845251B (en) Electronic device and method for displaying images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220502

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220809

R150 Certificate of patent or registration of utility model

Ref document number: 7123128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150