JP2024018907A - Xrマルチウィンドウ制御 - Google Patents
Xrマルチウィンドウ制御 Download PDFInfo
- Publication number
- JP2024018907A JP2024018907A JP2023042851A JP2023042851A JP2024018907A JP 2024018907 A JP2024018907 A JP 2024018907A JP 2023042851 A JP2023042851 A JP 2023042851A JP 2023042851 A JP2023042851 A JP 2023042851A JP 2024018907 A JP2024018907 A JP 2024018907A
- Authority
- JP
- Japan
- Prior art keywords
- user
- objects
- display
- tracking
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 238000003860 storage Methods 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 description 58
- 210000003811 finger Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
[0030]現在のXRプラットフォームは、オブジェクトを収集するための容易な方法を提供していない。この状況は、特にユーザが新たなエリア(たとえば、新たな部屋、新たなビュー)へ移動して、オブジェクトを一目で見て取ることが可能ではない場合に、仮想環境と対話することを困難にする。たとえば、いくつかのオブジェクトは、部屋においてユーザの背後にあって、ユーザが部屋に入った後にユーザには見えない場合がある。ユーザの面前にオブジェクトを収集するためには、ユーザは、再びアプリケーション又は2Dウィンドウを開いて、それらのオブジェクトがユーザの面前に示されるようにする必要がある。
Claims (20)
- ユーザインターフェース(UI)においてマルチウィンドウ制御を実行するための方法であって、
前記ユーザインターフェースをエクステンドリアリティ(XR)デバイスのディスプレイにおいて表示するステップであって、前記ユーザインターフェースが、グラフィカルユーザインターフェース(GUI)要素及びいくつかのオブジェクトを含む、当該ステップと、
前記UIにおける前記GUI要素の選択を検知するステップと、
前記ディスプレイ上に表示されているオブジェクトのセットを前記ディスプレイ上のウィンドウへと移動するステップと、
ユーザの動きを追跡することによって、前記オブジェクトのセット内のオブジェクトのうちの1つ又は複数のオブジェクトの選択を検知するステップと、
前記1つ又は複数のオブジェクトのうち、選択されたオブジェクトをユーザの面前に表示するステップと、
を含む、方法。 - ユーザの検知された動きに応答して、前記選択されたオブジェクトのうちの少なくとも1つの位置を変更するステップ、
をさらに含む、請求項1に記載の方法。 - 前記GUI要素が、収集ボタンである、請求項1に記載の方法。
- 前記UIにおける前記GUI要素の選択を検知するステップが、
ユーザの手の位置が事前に決定された時間にわたって1つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項1に記載の方法。 - 前記ユーザの動きを追跡することが、前記ユーザの手の位置を追跡することを含む、請求項1に記載の方法。
- 前記ユーザの動きを追跡することが、前記ユーザの手の1つ又は複数の指を追跡することを含む、請求項1に記載の方法。
- 1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサによって実行されたときに、
ユーザインターフェースをエクステンドリアリティ(XR)デバイスのディスプレイにおいて表示することであって、前記ユーザインターフェースが、グラフィカルユーザインターフェース(GUI)要素及びいくつかのオブジェクトを含む、当該表示すること、
前記UIにおける前記GUI要素の選択を検知すること、
前記ディスプレイ上に表示されているオブジェクトのセットを前記ディスプレイ上のウィンドウへ移動すること、
ユーザの動きを追跡することによって、前記オブジェクトのセット内のオブジェクトのうちの1つ又は複数のオブジェクトの選択を検知すること、及び、
前記1つ又は複数のオブジェクトのうち、選択されたオブジェクトをユーザの面前に表示すること、
を含むプロセスを、コンピューティングシステムに実行させる命令を格納した1つ又は複数のメモリと、
を備える、コンピューティングシステム。 - 前記プロセスは、
ユーザの検知された動きに応答して、前記選択されたオブジェクトのうちの少なくとも1つの位置を変更すること、
をさらに含む、請求項7に記載のコンピューティングシステム。 - 前記GUI要素が、収集ボタンである、請求項7に記載のコンピューティングシステム。
- 前記UIにおける前記GUI要素の選択を検知することが、
前記ユーザの手の位置が事前に決定された時間にわたって1つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項7に記載のコンピューティングシステム。 - 前記ユーザの動きを追跡することが、前記ユーザの手の位置を追跡することを含む、請求項7に記載のコンピューティングシステム。
- 前記ユーザの動きを追跡することが、前記ユーザの手の1つ又は複数の指を追跡することを含む、請求項7に記載のコンピューティングシステム。
- 少なくともプロセッサ及びメモリを有するシステムによって実行されたときに、
ユーザインターフェースをエクステンドリアリティ(XR)デバイスのディスプレイにおいて表示することであって、前記ユーザインターフェースが、グラフィカルユーザインターフェース(GUI)要素及びいくつかのオブジェクトを含む、当該表示することと、
前記UIにおける前記GUI要素の選択を検知することと、
前記ディスプレイ上に表示されているオブジェクトのセットを前記ディスプレイ上のウィンドウへ移動することと、
前記ユーザの動きを追跡することによって、前記オブジェクトのセット内のオブジェクトのうちの1つ又は複数のオブジェクトの選択を検知することと、
前記1つ又は複数のオブジェクトのうち、選択されたオブジェクトをユーザの面前に表示することと、
を含む動作を前記システムに実行させる命令、が格納された1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。 - 前記動作は、
ユーザの検知された動きに応答して、前記選択されたオブジェクトのうちの少なくとも1つの位置を変更すること、
をさらに含む、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。 - 前記GUI要素が、収集ボタンである、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。
- 前記UIにおける前記GUI要素の選択を検知することが、
前記ユーザの手の位置が事前に決定された時間にわたって1つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。 - 前記ユーザの動きを追跡することが、前記ユーザの手の位置を追跡することを含む、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。
- 前記ユーザの動きを追跡することが、前記ユーザの手の1つ又は複数の指を追跡することを含む、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。
- 前記GUI要素が、収集ボタンであり、
前記UIにおける前記GUI要素の選択を検知することが、
前記ユーザの手の位置が事前に決定された時間にわたって1つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。 - 前記動作は、
別のGUI要素の選択を受け取った後に、1つ又は複数のオブジェクトを仮想環境内の元の場所へ戻すこと、
をさらに含む、請求項13に記載の1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263393175P | 2022-07-28 | 2022-07-28 | |
US63/393,175 | 2022-07-28 | ||
US18/119,708 | 2023-03-09 | ||
US18/119,708 US20240037865A1 (en) | 2022-07-28 | 2023-03-09 | Xr multi-window control |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024018907A true JP2024018907A (ja) | 2024-02-08 |
JP7470226B2 JP7470226B2 (ja) | 2024-04-17 |
Family
ID=89664642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023042851A Active JP7470226B2 (ja) | 2022-07-28 | 2023-03-17 | Xrマルチウィンドウ制御 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240037865A1 (ja) |
JP (1) | JP7470226B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008204186A (ja) | 2007-02-20 | 2008-09-04 | Fuji Xerox Co Ltd | 標章表示装置及びプログラム |
JP2016042253A (ja) | 2014-08-15 | 2016-03-31 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
US10198874B2 (en) | 2016-05-13 | 2019-02-05 | Google Llc | Methods and apparatus to align components in virtual reality environments |
CN109931923B (zh) | 2017-12-15 | 2023-07-07 | 阿里巴巴集团控股有限公司 | 一种导航引导图的生成方法和装置 |
-
2023
- 2023-03-09 US US18/119,708 patent/US20240037865A1/en active Pending
- 2023-03-17 JP JP2023042851A patent/JP7470226B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7470226B2 (ja) | 2024-04-17 |
US20240037865A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7297216B2 (ja) | 拡張現実システムのためのタッチフリーインターフェース | |
US20210405761A1 (en) | Augmented reality experiences with object manipulation | |
EP3311250B1 (en) | System and method for spawning drawing surfaces | |
US10222981B2 (en) | Holographic keyboard display | |
CN105900041B (zh) | 利用视线跟踪进行的目标定位 | |
KR102473259B1 (ko) | 시선 타겟 애플리케이션 런처 | |
US9928662B2 (en) | System and method for temporal manipulation in virtual environments | |
US10186086B2 (en) | Augmented reality control of computing device | |
CN105518575B (zh) | 与自然用户界面的双手交互 | |
US9977492B2 (en) | Mixed reality presentation | |
US20170277256A1 (en) | Virtual-reality navigation | |
US20180143693A1 (en) | Virtual object manipulation | |
CN105359082B (zh) | 用于用户接口导航的***和方法 | |
US20180150997A1 (en) | Interaction between a touch-sensitive device and a mixed-reality device | |
KR20150116871A (ko) | Hdm에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택 | |
US11294475B1 (en) | Artificial reality multi-modal input switching model | |
WO2021242451A1 (en) | Hand gesture-based emojis | |
US11675198B2 (en) | Eyewear including virtual scene with 3D frames | |
US20240053832A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP7470226B2 (ja) | Xrマルチウィンドウ制御 | |
US20240036698A1 (en) | Xr manipulation feature with smart watch | |
US12026310B2 (en) | Controlling a user interface with a trackpad and a smart watch | |
US20240036646A1 (en) | Controlling a user interface with a trackpad and a smart watch | |
US20230011453A1 (en) | Artificial Reality Teleportation Via Hand Gestures | |
JP2024018908A (ja) | トラックパッド及びスマートウォッチを用いてユーザインターフェースを制御すること |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7470226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |