WO2023085847A1 - 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법 - Google Patents

트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2023085847A1
WO2023085847A1 PCT/KR2022/017746 KR2022017746W WO2023085847A1 WO 2023085847 A1 WO2023085847 A1 WO 2023085847A1 KR 2022017746 W KR2022017746 W KR 2022017746W WO 2023085847 A1 WO2023085847 A1 WO 2023085847A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
wearable device
area
body part
graphic object
Prior art date
Application number
PCT/KR2022/017746
Other languages
English (en)
French (fr)
Inventor
김여진
박미지
박은영
유상아
유영웅
홍민화
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210175632A external-priority patent/KR20230070990A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/987,365 priority Critical patent/US20230152899A1/en
Publication of WO2023085847A1 publication Critical patent/WO2023085847A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Definitions

  • This document (disclosure) relates to a wearable device that performs communication with at least one counterpart device according to a trigger event and a control method thereof. More specifically, this document relates to a wearable device that provides information about a function according to a trigger event by a first user and/or a virtual object provided through the wearable device to a first user and a user performing a specific task without a wearable device. related to
  • glass-type wearable devices are being used for various purposes. For example, cases of holding a meeting or holding a lecture using a glass-type wearable device are rapidly increasing.
  • the existing glasses-type wearable device only displays a virtual object related to the specific task (eg, the screen of the other party attending the meeting).
  • Performs a specific function according to a trigger event eg, detecting a "heart gesture" by a part of the user's body (eg, hand) It does not provide any function or operation to send a representation).
  • the existing glasses-type wearable device does not have a glasses-type wearable device and provides a first user (eg, a user performing a specific task through the wearable device) and a user (eg, a second user) performing a specific task.
  • a function or operation of providing information related to a virtual object provided through the wearable device to the second user is not provided at all.
  • an aspect of the present disclosure is to address at least the problems and/or disadvantages noted above and provide at least the advantages described below. Accordingly, an aspect of the present document is to provide a specific function (eg, expressing emotion related to a “heart gesture” to a device of the other party) according to a trigger event (eg, detecting a “heart gesture”) by a body part (eg, a hand) of a user. transmission) to provide a wearable device capable of improving usability of the wearable device.
  • a specific function eg, expressing emotion related to a “heart gesture” to a device of the other party
  • a trigger event eg, detecting a “heart gesture”
  • Another aspect of the present document is to provide information related to a virtual object provided through a wearable device and/or a function according to a trigger event by the first user even to a user who does not have a wearable device and performs a specific task with the first user. It is to provide a wearable device that can be provided.
  • a wearable device includes a display module and at least one processor, wherein the at least one processor controls the display module so that at least one graphic object is displayed in a display area, and a part of a user's body region, and based on the location of the user's body part in the first region, identifying a group corresponding to the first region, and determining whether the user's body part is located in the first region.
  • function to identify whether a trigger event by the user is detected, and to respond to the trigger event for at least one counterpart device included in the identified group based on the detection of the trigger event. is set to perform, and the function may be a function commonly performed for the at least one counterpart device.
  • a method of controlling a wearable device includes an operation of controlling a display module of the wearable device so that at least one graphic object is displayed in a display area, an operation of identifying whether a body part of a user is located in a first area, and the user An operation of identifying a group corresponding to the first area based on a body part of the user being located in the first area, and a trigger event by the user while the user's body part is located in the first area an operation of identifying whether or not the trigger event is detected, and an operation of performing a function corresponding to the trigger event for at least one counterpart device included in the identified group based on the detection of the trigger event; ,
  • the function may be a function commonly performed for the at least one counterpart device.
  • a specific function eg, expression of emotion related to a “heart gesture” to the other party's device
  • a trigger event eg, “heart gesture” detection
  • a user's body part eg, hand
  • information related to a virtual object provided through a wearable device and/or a trigger event by the first user even for a user who does not have a wearable device and performs a specific task with the first user A wearable device capable of providing functions is provided.
  • FIG. 1 is an exemplary diagram for describing a glass-type wearable device according to an embodiment of the present document.
  • FIG. 2A is an exemplary diagram for explaining the structure of a glass-type wearable device according to an embodiment of the present document.
  • 2b and 2c are exemplary diagrams for explaining a connection relationship of glass-type wearable devices according to various embodiments of the present document.
  • FIG. 3 is an exemplary diagram for explaining a function or operation in which a glasses-type wearable device performs a specific function according to a trigger event according to an embodiment of the present document.
  • FIG. 4 is an exemplary diagram for explaining at least one graphic object displayed by a glasses-type wearable device according to an embodiment of the present document.
  • 5A is an exemplary diagram for explaining at least one radius according to an embodiment of the present document set based on a glass-type wearable device according to an embodiment of the present document.
  • 5B is a method for determining whether a part of a user's body is located within at least one radius according to an embodiment of the present document, and is an exemplary view for explaining at least one area set within a display area.
  • 5C is a function or operation for determining that the user's body part is located in the first radius by the glasses-type wearable device when it is detected that the user's body part is located in the first area according to an embodiment of the present document. It is an exemplary drawing for explaining.
  • 5F is an exemplary diagram for explaining a case in which at least one radius is set according to various embodiments of the present disclosure.
  • 5G and 5H illustrate a function or operation of detecting that a part of a user's body is located within at least one radius by a glass-type wearable device when at least one radius is set according to various embodiments of the present disclosure. These are exemplary drawings to do.
  • 5I is an exemplary diagram for explaining a case in which at least one radius is set according to an embodiment of the present document.
  • 6A and 6B are exemplary diagrams for explaining a preset group to correspond to at least one radius according to various embodiments of the present disclosure.
  • FIG. 7A and 7B are exemplary diagrams for explaining a trigger gesture according to various embodiments of the present document.
  • FIG. 8 is an exemplary diagram for explaining a function or operation in which a specific function is performed by a glasses-type wearable device according to a trigger event (eg, detection of a trigger gesture) according to an embodiment of the present document.
  • a trigger event eg, detection of a trigger gesture
  • FIG. 9 illustrates communication with at least one counterpart device according to reception of a communication signal from an external electronic device operatively connected to the glasses-type wearable device by the glasses-type wearable device according to an embodiment of the present document (example : It is an exemplary diagram for explaining a function or operation of transmitting a text message).
  • 10A, 10B, and 10C are exemplary diagrams for describing the function or operation described in FIG. 9 from the perspective of a graphic user interface according to various embodiments of the present document.
  • 11 is an exemplary diagram for explaining a function or operation of sharing at least one content with at least one counterpart device when a glasses-type wearable device detects a sharing gesture according to an embodiment of the present document.
  • 12a, 12b, and 12c are exemplary diagrams for describing the function or operation described in FIG. 11 from the perspective of a graphic user interface according to various embodiments of the present document.
  • FIG. 13 is an example for explaining a function or operation of generating at least one counterpart device into a group corresponding to a specific radius when a glasses-type wearable device detects a group creation gesture according to an embodiment of the present document; it is a drawing
  • 14a, 14b, 14c, and 14d are exemplary diagrams for describing the function or operation described in FIG. 13 from the viewpoint of a graphical user interface according to various embodiments of the present document.
  • 15 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 1 is an exemplary diagram for explaining a glass-type wearable device 100 according to an embodiment of the present document.
  • a glass-type wearable device 100 is described as an example, but is not limited thereto.
  • the various embodiments described in this document may be an accessory type (eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or a head mounted device (HMD) or a head mounted display device ( head mounted display (HMD)), fabric or clothing integral type (eg, electronic clothing), body attachment type (eg, skin pad or tattoo), or bio-implantable circuitry.
  • HMD head mounted device
  • HMD head mounted display
  • fabric or clothing integral type eg, electronic clothing
  • body attachment type eg, skin pad or tattoo
  • bio-implantable circuitry e.g, a bio-implantable circuitry
  • the glass-type wearable device 100 includes a first camera 111, a second camera 112, a third camera 113, a processor 120, and a power management integrated circuit (PMIC). 130, battery 135, memory 140, display module 150, audio module 161, audio input device 162, audio output device 163, communication circuit 170, and sensor 180 ) may include at least one of
  • an image acquired through the first camera 111 may be used for hand gesture detection by a user, head tracking of the user, and/or spatial recognition.
  • the first camera 111 may include a global shutter (GS) camera.
  • the first camera 111 may perform a simultaneous localization and mapping (SLAM) operation through depth imaging.
  • the first camera 111 may perform spatial recognition for 6DoF.
  • an image obtained through the second camera 112 may be used for detection and tracking of the user's pupil.
  • the second camera 112 may include a GS camera.
  • the second camera 112 may correspond to the left eye and the right eye, respectively, and the performance of the second cameras 112 may be the same or similar to each other.
  • the second camera 112 may be configured to acquire an image of the user's facial expression.
  • At least one processor 120 may be configured to detect a change in the user's facial expression based on the image of the user's facial expression acquired by the second camera 112 .
  • the third camera 113 may include a higher resolution camera than the first camera 111 and the second camera 112 . According to an embodiment of the present document, the third camera 113 may perform an auto-focusing (AF) function and a shake correction function. According to an embodiment of the present document, the third camera 113 may include a GS camera or a rolling shutter (RS) camera.
  • AF auto-focusing
  • RS rolling shutter
  • the at least one processor 120 includes components of the glass-type wearable device 100, for example, a first camera 111, a second camera 112, a third camera 113, and a PMIC 130. , the memory 140, the display module 150, the audio module 161, the communication circuit 170, and the sensor 180 can be controlled, and various data processing or calculations can be performed. At least one processor 120 according to an embodiment of the present document, for example, executes software (eg, a program) to generate at least one of the glass-type wearable device 100 connected to the at least one processor 120. It may control other components (eg, hardware or software components) and may perform various data processing or calculations.
  • software eg, a program
  • At least one processor 120 receives commands or data from other components (eg, sensor module 176 or communication module 190). may be stored in volatile memory, commands or data stored in volatile memory may be processed, and resultant data may be stored in non-volatile memory.
  • the at least one processor 120 may include a main processor (eg, a central processing unit or an application processor) or an auxiliary processor (eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) that can operate independently of or together with the main processor).
  • NPU neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • the glasses-type wearable device 100 includes a main processor and an auxiliary processor
  • the auxiliary processor may use less power than the main processor or may be set to be specialized for a designated function.
  • a secondary processor may be implemented separately from, or as part of, the main processor.
  • the PMIC 130 converts the power stored in the battery 135 to have a current or voltage required by other components of the glass-type wearable device 100, so that the glass-type wearable device 100 Other components may be supplied.
  • the memory 140 stores various data used by at least one component (eg, at least one processor 120 or sensor module 180) of the glass-type wearable device 100. can be saved.
  • the memory 140 may include a volatile memory or a non-volatile memory.
  • the display module 150 may display a screen to be provided to the user.
  • the display module 150 according to an embodiment of the present document may output data (eg, red green blue (RGB) data) for representing a virtual object (eg, an augmented reality guide).
  • the display module 150 according to an embodiment of the present document includes a first display 251, a second display 252, one or more input optical members 253-1 and 253-2, and one or more transparent members 290-250. 1 and 290-2), and one or more screen display parts 254-1 and 254-2.
  • the audio module 161 is connected to the audio input device 162 and the audio output device 163, converts data input through the audio input device 162, and converts data input to the audio output device ( 163) can convert the data to be output.
  • the audio input device 162 may include at least one microphone, and the audio output device 163 may include at least one speaker and amplifier.
  • the communication circuit 170 may support establishment of a wireless communication channel with an external electronic device connected to the glasses-type wearable device 100 and communication through the established communication channel.
  • the sensor 180 according to an embodiment of the present document may include a 6-axis sensor 181 , a magnetic sensor 182 , a proximity sensor 183 , and/or an optical sensor 184 .
  • the glasses-type wearable device 100 determines whether or not the user is wearing the glasses-type wearable device 100, for example, through a proximity sensor included in the glasses-type wearable device 100. can identify. Alternatively, the glass-type wearable device 100 according to an embodiment of the present document determines whether the frame of the glass-type wearable device 100 is unfolded through an angle sensor provided in a hinge portion of the glass-type wearable device 100 ( It may be determined whether the glasses-type wearable device 100 is being worn by the user based on whether the user's proximity is detected while the frame of the glasses-type wearable device 100 is unfolded.
  • FIG. 2A is an exemplary diagram for explaining the structure of a glass-type wearable device according to an embodiment of the present document.
  • the glass-type wearable device 100 may include one or more light emitting elements 214-1 and 214-2.
  • the light emitting devices 214-1 and 214-2 may be different from light sources to be described later, which radiate light to a screen output area of a display.
  • the light emitting devices 214-1 and 214-2 detect and track the user's pupils through one or more second cameras 212-1 and 212-2. Light may be irradiated to facilitate detection.
  • each of the light emitting elements 214-1 and 214-2 may include an LED.
  • the light emitting devices 214-1 and 214-2 may emit light in the infrared region.
  • the light emitting devices 214-1 and 214-2 may be attached to the periphery of the frame of the glass-type wearable device 100.
  • the light emitting elements 214-1 and 214-2 are located around one or more first cameras 211-1 and 211-2, and the glass-type wearable device 100 is used in a dark environment. When used, it may assist with gesture detection, head tracking, and spatial recognition by one or more of the first cameras 211-1, 211-2.
  • the light emitting elements 214-1 and 214-2 are located around one or more third cameras 213, and when the glass-type wearable device 100 is used in a dark environment, one or more third Image acquisition by the camera 213 may be assisted.
  • the glass-type wearable device 100 may include batteries 235-1 and 235-2.
  • the batteries 235 - 1 and 235 - 2 may store power for operating the remaining components of the glass-type wearable device 100 .
  • the glass-type wearable device 100 includes a first display 251, a second display 252, one or more input optical members 253-1 and 253-2, and one or more transparent members. 290-1 and 290-2, and one or more screen display parts 254-1 and 254-2.
  • the first display 251 and the second display 252 may include, for example, a liquid crystal display (LCD), a digital mirror device (DMD), It may include a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • LCD liquid crystal display
  • DMD digital mirror device
  • LCD liquid crystal on silicon
  • OLED organic light emitting diode
  • micro LED micro light emitting diode
  • the glass-type wearable device 100 when the first display 251 and the second display 252 are formed of one of a liquid crystal display, a digital mirror display, and a silicon liquid crystal display, the glass-type wearable device 100 is a display A light source for radiating light to the screen output area may be included. According to an embodiment of the present document, when the first display 251 and the second display 252 can generate light by themselves (eg, made of either an organic light emitting diode or a micro LED), a glass type wearable The device 100 may provide a relatively high-quality virtual image to a user even without a separate light source.
  • one or more transparent members 290-1 and 290-2 may be disposed to face the user's eyes when the user wears the glass-type wearable device 100.
  • the one or more transparent members 290-1 and 290-2 may include at least one of a glass plate, a plastic plate, or a polymer.
  • a user may see the outside world through one or more transparent members 290-1 and 290-2 when wearing the glass-type wearable device 100.
  • one or more input optical members 253-1 and 253-2 may guide light generated by the first display 251 and the second display 252 to the user's eyes. .
  • a first display 251 and a second display An image based on the light generated in step 252 is formed, and the user can see the image formed on one or more screen display parts 254-1 and 254-2.
  • the glass-type wearable device 100 may include one or more optical waveguides (not shown).
  • the optical waveguide according to an embodiment of the present document may transmit light generated by the first display 251 and the second display 252 to the user's eyes.
  • the glass-type wearable device 100 may include one optical waveguide corresponding to each of the left and right eyes.
  • the optical waveguide may include at least one of glass, plastic, or polymer.
  • the optical waveguide may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure.
  • the optical waveguide may include a free-form prism, and in this case, the optical waveguide may provide incident light to a user through a reflective mirror.
  • the optical waveguide includes at least one of at least one diffractive element (eg, a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror), Display light emitted from a light source may be guided to the eyes of a user by using at least one diffractive element or reflective element included in the optical waveguide.
  • the diffractive element may include input/output optical elements.
  • the reflective element may include a member that causes total internal reflection.
  • the glass-type wearable device 100 includes one or more audio input devices 262-1, 262-2, and 262-3 and one or more audio output devices 263-1, 263-2. can include
  • the glass-type wearable device 100 may include a first printed circuit board (PCB) 270-1 and a second PCB 270-2.
  • the first PCB 270-1 and the second PCB 270-2 include a first camera 111, a second camera 112, a third camera 113, a display module 150, and an audio module 161. It may be set to transmit an electrical signal to components included in the glass-type wearable device 100, such as , and the sensor 180.
  • the first PCB 270-1 and the second PCB 270-2 may include a flexible printed circuit board (FPCB).
  • the first PCB 270-1 and the second PCB 270-2 each include a first substrate, a second substrate, and an interface disposed between the first substrate and the second substrate. Posers may be included.
  • 2B and 2C are exemplary diagrams for explaining a connection relationship of the glass-type wearable device 100 according to an embodiment of the present document.
  • the first user's glasses-type wearable device 100 may be directly connected to an external electronic device 210 (eg, a counterpart device 280) through a network 200.
  • the network 200 may include a first network (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (eg, a legacy cellular network, a 5G network) , a next-generation communications network, the Internet, or a computer network (eg, a telecommunications network such as a local area network (LAN) or wide area network (WAN)).
  • a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network eg, a legacy cellular network, a 5G network
  • a next-generation communications network eg, a next-generation communications network
  • the Internet eg, a computer network (eg, a
  • the first user's glasses-type wearable device 100 may be connected to the counterpart device 210 through the server 220 .
  • the server 220 may include an intelligent server using machine learning and/or neural networks.
  • smart glasses are shown as an example of the counterpart device 280 in FIGS. 2B and 2C , the embodiment of the counterpart device 280 is not limited thereto.
  • the term “counterpart device 280” is used as an example of an external electronic device, but it does not necessarily mean only a device owned by a user different from the owner of the glasses-type wearable device 100.
  • the “counter device 280” may include various types of devices owned by the owner of the glasses-type wearable device 100.
  • FIG. 3 is an exemplary diagram for explaining a function or operation in which a glasses-type wearable device performs a specific function according to a trigger event according to an embodiment of the present document.
  • the glasses-type wearable device 100 generates at least one graphic object (eg, a first graphic object 410a, a second graphic object 410b, and a third graphic object 410c). And the display module 150 may be controlled so that the fourth graphic object 420 is displayed in the display area 400 .
  • a graphic object eg, a first graphic object 410a, a second graphic object 410b, and a third graphic object 410c.
  • FIG. 4 is an exemplary diagram for explaining at least one graphic object displayed by a glasses-type wearable device according to an embodiment of the present document.
  • a display area 400 includes at least one graphic object (eg, a first graphic object 410a, a second graphic object 410b, and a third graphic object 410c). ) and a region where the fourth graphic object 420) is set to be displayed as a virtual object.
  • the terms “field of view of the glass-type wearable device 100” and/or “field of view of the display module” refer to the size of the display area 400 itself (eg, the display It may be used as a term meaning the horizontal and vertical lengths of the area 400, the horizontal and vertical angular ranges (eg, 50 degrees horizontally and 30 degrees vertically), or the area of the display area 400 itself.
  • At least one graphic object (e.g., : The first graphic object 410a, the second graphic object 410b, and the third graphic object 410c) may be displayed.
  • the glasses-type wearable device 100 may be configured to receive information of the counterpart device 280 through the first network, the second network, and/or the server.
  • At least one graphic object (eg, the first graphic object 410a, the second graphic object 410b, and the third graphic object 410c) according to an embodiment of the present document is, for example, a first user ( Example: A user using the glasses-type wearable device 100) or a 3D avatar (eg, an augmented reality (AR) emoji) set by a second user (eg, a user of the other device 280), a video call It may include an execution screen, an execution screen of a voice call preset by a call application and/or a screen including a text message according to a format provided by a message application or a specific application (eg, an application for a conference).
  • a first user Example: A user using the glasses-type wearable device 100
  • a 3D avatar eg, an augmented reality (AR) emoji
  • AR augmented reality
  • It may include an execution screen, an execution screen of a voice call preset by a call application and/or a screen including a text message
  • FIG. 4 a state in which a specific session (eg, a conference) is in progress through a specific application (eg, an application for a conference) is shown.
  • the first graphic object 410a is a video call execution screen
  • the second graphic object 410b is a 3D avatar set by the other party's device 280
  • the third graphic object 410c is a specific An embodiment displayed on a screen including a text message according to a format provided by an application is shown.
  • At least one graphic object (eg, a first graphic object 410a, a second graphic object 410b, and a third graphic object 410c) corresponding to at least one counterpart device 280 )) may be displayed after being modified according to a display format provided by a device used by the second user.
  • a display format provided by a device used by the second user.
  • the counterpart device 280 corresponding to the first graphic object 410a is a smart phone having a 2D flat display
  • at least one graphic object eg, the second graphic object 410b and the second graphic object 410b
  • 3 graphic objects 410c may be displayed on the other device 280 in two dimensions through a split screen (eg, a multi-window screen).
  • the counterpart device 280 corresponding to the first graphic object 410a is a wearable device (eg, the glasses-type wearable device 100)
  • at least one graphic object eg, the second graphic object 410b and As shown in FIG. 4
  • the third graphic object 410c may be displayed as a virtual object in a 3D space.
  • the counterpart device 280 is a smart phone having a 2D flat display
  • at least one graphic object eg, the second graphic object 410b and the third graphic object 410b
  • (410c)) may be displayed as a 3D object.
  • At least one graphic object may be displayed as a 2D object.
  • At least one graphic object eg, the fourth graphic object 420
  • may include an execution screen of a specific application eg, a video providing application.
  • the execution screen of one video providing application is shown as the fourth graphic object 420
  • the execution screens of a plurality of video providing applications may be displayed as the fourth graphic object 420, different from each other.
  • Execution screens of types of applications eg, a gallery application and a video providing application
  • at least one graphic object eg, a first graphic object 410a, a second graphic object 410b, a third graphic object 410c, and a fourth graphic object 420
  • a position and/or order displayed in the display area 400 may be pre-specified.
  • the fourth graphic object 420 is displayed in the substantial center of the display area 400, and the left side of the display area 400 in the order of being connected to the glass-type wearable device 100. It can be displayed in a counterclockwise direction from the top.
  • the glasses-type wearable device 100 determines whether a first body part of the user (eg, the first user) is located in the first area (eg, the first area 510a or the first radius 510). can identify whether The glasses-type wearable device 100 may identify a part of the user's body by comparing a pre-stored template with an image obtained by the glasses-type wearable device 100 . Alternatively, according to another embodiment of the present document, a part of the user's body may be identified based on a result learned according to an artificial intelligence model.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • DNNs deep neural networks
  • CNNs convolutional neural networks
  • RNNs recurrent neural networks
  • RBMs restricted boltzmann machines
  • DNNs deep belief networks
  • BNNs bidirectional recurrent deep neural networks
  • It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • 5A is an example diagram for explaining at least one radius set to have the same center with respect to the glass-type wearable device according to an embodiment of the present document.
  • FIG. 5B is a method for determining whether a user's first body part is located within at least one radial area, and is an exemplary view for explaining at least one area set within a display area.
  • At least one radius area (eg, a first radius area 510, a second radius area 520, and a third radius area 530) according to an embodiment of the present document 1 It may refer to a 2-dimensional area or a 3-dimensional area set to have a specific angle with respect to a body part (eg, the user's right hand). Also, according to another embodiment of the present document, at least one radius area (eg, the first radius area 510 , the second radius area 520 , and the third radius area 530 ) of the display module 160 It may refer to a 2-dimensional area or a 3-dimensional area divided into a plurality of areas based on a viewing angle.
  • At least one radius area may be set to have different centers (eg, right hand and left hand).
  • the center of at least one radius area eg, the first radius area 510 and the second radius area 520
  • the glass-type wearable device 100 provides a user's first body part (eg, right hand) to a first region (eg, the first region 510a or the first radius region 510).
  • At least one area eg, a first area 510a, a second area 520a, and a third area 530a
  • This may be preset.
  • the size, area, or number of at least one region eg, the first region 510a, the second region 520a, and the third region 530a
  • at least one area includes at least one graphic object (eg, the first graphic object).
  • the 410a, the second graphic object 410b, the third graphic object 410c, and the fourth graphic object 420 may be determined based on the displayed position and/or number. For example, when more graphic objects are displayed on the right side than the left side based on the user's position, at least one area (eg, the first area 510a, the second area 520a, and the third area ( The area of 530a)) may be set so that the radius area set to the right of the user (eg, the third radius area 530) covers a larger area than other radius areas.
  • at least one area eg, the first area 510a, the second area 520a, and the third area ( The area of 530a)
  • the radius area set to the right of the user eg, the third radius area 530
  • At least one area may be set based on the coordinate values of the display area 400.
  • the horizontal coordinate value of the display area 400 is set to have a value from 0 to 1000
  • the first area 510a is formed from 0 to 200
  • the second area 510b is from more than 200 to 800 or less.
  • from more than 800 to less than 1000 may be designated as the third area 510c.
  • At least one area (eg, the first area 510a, the second area 520a, and the third area 530a) designated as described above may include at least one radius area (eg, the first radius area 510, the second area 510, the second area 510a, the second area 510a, the second area 510a) It may correspond to the radius area 520 and the third radius area 530 .
  • FIG. 5C shows that the user's first body part is located in a first radius area by the glasses-type wearable device when it is detected that the user's first body part is located in the first area according to an embodiment of the present document. It is an exemplary drawing for explaining the determined function or operation.
  • the glasses-type wearable device 100 determines that the user's first body part is located in the first region 510a. It can be identified that it is located in the radius area 510 .
  • the glasses-type wearable device 100 detects that the user's body part is located in a specific area (eg, the first region 510a) that is greater than or equal to a preset threshold area, the user's body part is located in the specific area (eg, the first region 510a). It is possible to detect that the first area 510a is located.
  • the wearable device 100 when a part of the user's body (eg, the right hand) spans the second region 520a and the third region 530a, It may be detected (eg, determined) that the user's body part is located in an area including a larger area of the user's body part.
  • the wearable device 100 may identify a first body part of the user by using at least one camera (eg, the first camera 111).
  • 5D and 5E are diagrams of the user's first body by a glass-type wearable device when it is detected that the user's first body part is located within a space set based on the first region according to various embodiments of the present document. These are exemplary drawings for explaining a function or operation, some of which are determined to be located in the first radius area.
  • a space (eg, the first space 512) set in advance or according to the user's setting based on the first area 510a is set by the user.
  • the wearable device 100 may identify that the first body part of the user is located in at least one radius area (eg, the first radius area 510 ). In this case, as shown in FIG. 5E , even if the user's first body part is not included on the display area 400, it can be identified by the glass-type wearable device 100 as being located in the first radius area 510. there is.
  • 5F is an exemplary diagram for explaining a case in which at least one radius is set according to another embodiment of the present document.
  • 5G and 5H are functions or operations for detecting that a first body part of a user is located within at least one radius by a glass-type wearable device when at least one radius is set according to various embodiments of the present disclosure; These are exemplary drawings for explaining.
  • radius areas eg, a first radius area 510 , a second radius area 520 , and a third radius area 530 ) according to an embodiment of the present document gradually move away from the user. (e.g. horizontally relative to the user's location).
  • the user's second body part eg, the elbow or the part where the arm is folded in the opposite direction to the elbow
  • the user's first body part is in a specific radius area (eg, the first radius area 510, the second radius area 520, or the third radius area 530).
  • the glass-type wearable device 100 may select different radius regions according to the extent to which the user's arm is extended (eg, arm length). For example, in the glass-type wearable device 100 according to an embodiment of the present document, within a range where the user's second body part (eg, elbow) is invisible, the user's first body part (eg, right hand) It can be determined that it is included in the first radius area 510 . According to this, referring to FIG. 5G , it may be identified by the glasses-type wearable device 100 that the user's body part (eg, the right hand) is included in the first radial region 510 .
  • the user's body part eg, the right hand
  • the glasses-type wearable device 100 detects a part of the user's body (eg, the elbow) within a distance where the elbow is moved by a predetermined distance from a position where the second body part (eg, elbow) of the user is detected.
  • a part of the user's body eg, the elbow
  • the second body part e.g, elbow
  • the user's first body part eg, right hand
  • the user's first body part eg, a body part that is a criterion for identifying that the user's body part is included in a radial area
  • the user's second body part eg, included in a radius area
  • a body part that is a criterion for determining whether or not the body part may be designated in advance.
  • 5I is a diagram for explaining a case in which at least one radius is set according to an embodiment of the present document.
  • radius areas eg, a first radius area 510 and a second radius area 520
  • radius areas may be set based on different centers.
  • a specific area eg, the first area (eg, the first area (eg, the first area (eg, the first area (eg, the first area (eg, the first area)) 510a) and the second area 520a
  • the shading effect shown in FIGS. 5G and 5H to indicate that a specific area is selected may not be visible to the user.
  • the glasses-type wearable device 100 determines that the user's body part (eg, the right hand) is located in the first area (eg, the first area 510a). A group corresponding to the region 510a) may be identified.
  • 6A and 6B are exemplary diagrams for explaining a group preset to correspond to at least one radius according to various embodiments of the present document.
  • the counterpart device 280 corresponding to the first graphic object 410a and the counterpart device 280 corresponding to the second graphic object 410b are in the same group. can be identified.
  • a group may be set to correspond to at least one radius area (eg, a first radius area 510 , a second radius area 520 , and/or a third radius area 530 ).
  • the counterpart device 280 corresponding to the first graphic object 410a and the counterpart device corresponding to the second graphic object 410b belong to the same group by the user in advance (eg, a conference application is executed). (before) is shown an embodiment in which it is set.
  • the glass-type wearable device 100 When the glass-type wearable device 100 detects that the user's first body part (eg, right hand) is located within the first radius area 510, the first group set corresponding to the first radius area 510 is set.
  • a visual effect eg, a border
  • the glass-type wearable device 100 provides an auditory effect (eg, a pre-specified sound) and/or a tactile effect (eg, a vibration of a pre-specified intensity) in addition to/with the visual effect to the glass-type wearable device ( 100) can be provided.
  • an auditory effect eg, a pre-specified sound
  • a tactile effect eg, a vibration of a pre-specified intensity
  • FIG. 6A a case in which the first graphic object 410a and the second graphic object 410b are set as one group corresponding to the first radius area 510 is shown as an example, and in FIG. A case in which one graphic object 410a is set as one group corresponding to the first radius area 510 is illustrated as an example.
  • the glasses-type wearable device 100 may identify whether a trigger event is detected while a first body part of the user is located in the first area (eg, the first radial area 510).
  • the trigger event may include detection of a predetermined gesture (eg, trigger gesture) by a user's first body part (eg, right hand) or detection of a user's voice command.
  • a predetermined gesture eg, trigger gesture
  • the location of the user's first body part may be in a state of being located in the first region.
  • the position of the user's first body part may be in a state not located in the first region.
  • FIG. 7A and 7B are exemplary diagrams for explaining a trigger gesture according to various embodiments of the present document.
  • a heart gesture is shown as an example of a trigger gesture.
  • the trigger event may include an event of detecting a change in facial expression of the user and/or a movement of the pupil.
  • the glasses-type wearable device 100 may detect a change in the user's facial expression and/or a movement of pupils by using the user's face image acquired through at least one camera (eg, the second camera 112).
  • the glasses-type wearable device 100 in operation 350, based on the detection of the trigger event, performs a function corresponding to the trigger event on the counterpart device 280 included in the identified group. can be done
  • FIG. 8 is an exemplary diagram for explaining a function or operation in which a specific function is performed by the glasses-type wearable device 100 according to a trigger event (eg, detection of a trigger gesture) according to an embodiment of the present document.
  • a trigger event eg, detection of a trigger gesture
  • the glasses-type wearable device when a trigger gesture is detected, responds to a trigger gesture (eg, a heart gesture) detected by the counterpart device 280 belonging to a specific group.
  • a trigger gesture eg, a heart gesture
  • An embodiment in which a function (eg, message transmission including a heart) is performed is shown.
  • a message corresponding to a trigger gesture according to an embodiment of the present document is displayed on the execution screen of a video call (eg, a meeting) when the counterpart device is participating in a corresponding session (eg, a meeting) through a video call using a smart phone. can be displayed in two dimensions).
  • a message corresponding to a trigger gesture according to an embodiment of this document may be displayed (eg, displayed in three dimensions) in the form of an emoticon 810 in a chat window provided in a specific application, referring to FIG. 8 . there is.
  • the message corresponding to the trigger gesture according to an embodiment of this document may be transmitted as a short message service (SMS) message to the other device 280.
  • SMS short message service
  • a message corresponding to a trigger gesture according to an embodiment of the present document is sent to the counterpart device 280 (eg, the first graphic object) included in the group corresponding to the first radius area 510. It can be transmitted to both the counterpart device corresponding to (410a) and the counterpart device corresponding to the second graphic object (410b).
  • the glasses-type wearable device 100 performs a function or operation of identifying a counterpart device 280 belonging to a specific group in order to transmit a message corresponding to a trigger gesture to the counterpart device 280. can be done According to an embodiment of the present document, after the visual effect 610 is displayed, even if the user places the first body part away from the first area (eg, the first radius area 510), the visual effect 610 ) may be maintained, and the counterpart device 280 (eg, the first radius area 510) in which a specific function according to the detection of the trigger event is included in the group corresponding to the first area (eg, the first radius area 510).
  • the counterpart device 280 eg, the first radius area 510 in which a specific function according to the detection of the trigger event is included in the group corresponding to the first area (eg, the first radius area 510).
  • the glasses-type wearable device 100 can perform a specific function.
  • the glasses-type wearable device 100 may use a facial expression template stored in the memory 140 to detect a change in the user's facial expression.
  • the glasses-type wearable device 100 compares the user's facial expression in the obtained image with the template, and determines that the user's facial expression is in a specific state (eg, a smiling state) when a matching ratio is greater than or equal to a predetermined ratio.
  • the function or operation of determining the user's facial expression may be learned by an artificial intelligence model.
  • FIG. 9 illustrates a function of performing communication (eg, sending a text message) with at least one counterpart device according to reception of a communication signal from an external electronic device operatively connected to the glasses-type wearable device by the glasses-type wearable device. Or, it is an exemplary drawing for explaining an operation.
  • the glasses-type wearable device 100 in operation 910, generates at least one graphic object (eg, a first graphic object 410a, a second graphic object 410b, and a third graphic object 410c). And the display module 150 may be controlled so that the fourth graphic object 420 is displayed in the display area 400 .
  • the glasses-type wearable device 100 determines whether a first body part of the user (eg, the first user) is located in the first area (eg, the first area 510a or the first radius 510). whether it can be identified.
  • the glasses-type wearable device 100 determines that the user's body part (eg, the right hand) is located in the first area (eg, the first area 510a). A group corresponding to the region 510a) may be identified.
  • the operations 910 to 930 since the description of the above-described operations 310 to 330 may be equally applicable, a detailed description thereof will be omitted.
  • the glasses-type wearable device 100 displays the identified group (eg, the first graphic object 410a and the second graphic object 410a) from the external electronic device (eg, smart phone) 1000. 3) may receive a request for communication with the counterpart device 280 belonging to the graphic object 410c (eg, transmission of a text message input to a smart phone).
  • the glasses-type wearable device 100 may perform communication with a counterpart device based on the received request.
  • 10A, 10B, and 10C are diagrams according to various embodiments of the present document for explaining the function or operation described in FIG. 9 from a graphical user interface point of view.
  • an external electronic device eg, a smart phone
  • the glass-type wearable device 100 indicates that a “send” button 1020 of an external electronic device (eg, a smart phone) has been selected.
  • a “send” button 1020 of an external electronic device eg, a smart phone
  • information on the input text is transmitted from the external electronic device to the other device 280 belonging to the identified group (eg, the first graphic object 410a and the third graphic object 410c). You can send text messages. Referring to FIG.
  • the transmitted text 1030 may be displayed on an execution screen 1010 of an application (eg, a text message application).
  • an application eg, a text message application.
  • a signal indicating that a “send” button 1020 of the external electronic device 1000 is selected is received from an external electronic device (eg, a smart phone) as shown in FIG. 10B.
  • the external electronic device 1000 may be controlled so that a text message including input text (eg, Hello) is transmitted to the identified counterpart device 280 by controlling the external electronic device 1000 .
  • the position of the user's first body part is not maintained in the first area (eg, the first radial area 510). may not be Referring to FIGS. 10A, 10B, and 10C , after a specific group is identified according to detection of a user's first body part (eg, right hand), the position of the user's first body part (eg, right hand) is first An embodiment that is not maintained in an area (eg, the first radius area 510) is shown as an example.
  • the location of the user's first body part (eg, right hand) from the time point at which operation 930 is performed is determined in a first area (eg, a first radius area ( 510)) may be performed.
  • 11 is an exemplary diagram for explaining a function or operation of sharing at least one content with at least one counterpart device 280 when a glasses-type wearable device detects a sharing gesture according to an embodiment of the present document. .
  • 12a, 12b, and 12c are exemplary diagrams for describing the function or operation described in FIG. 11 from the perspective of a graphic user interface according to various embodiments of the present disclosure.
  • the glasses-type wearable device 100 may receive a request for sharing at least one piece of content (eg, fifth content 1225).
  • a request for sharing at least one piece of content may include, for example, a plurality of items displayed on the display area 400 (eg, the first content 1225). It may include a virtual touch input 1210 for any one item (eg, the second item 1214) among the item 1212, the second item 1214, and the third item 1216.
  • an image of a part of the user's body (eg, the right hand) acquired using at least one camera (eg, the first camera 111) is obtained by a plurality of items (eg, the first item 1212 ). ), the second item 1214, the third item 1216), if it is determined that it overlaps with any one item (eg, the second item 1214), or any one item (eg, in an overlapped state) :
  • a motion of a finger selecting the second item 1214 it may be determined that a virtual touch input for one item (eg, the second item 1214) is received.
  • a virtual touch is input through a separate device for determining a virtual touch (eg, a sensor provided on a user's hand).
  • a coordinate in a space where a user's fingertip is located is recognized using a plurality of cameras, and the coordinate in the recognized space is an item (eg, the second item 1214).
  • Whether or not a virtual touch is input may be determined according to whether the coordinates on the displayed space are matched.
  • various algorithms eg, artificial intelligence model algorithms for determining that a virtual touch has been performed may be applied.
  • the glasses-type wearable device 100 may receive a selection input (eg, a virtual touch input) for at least one piece of content (eg, the fifth content 1225).
  • a selection input eg, a virtual touch input
  • the glasses-type wearable device 100 receives a request for sharing at least one piece of content (eg, the fifth content 1225) in accordance with operation 1110
  • a plurality of pieces of content to be shared are displayed on the display area 400.
  • a plurality of images eg, first content 1221, second content 1222, and third content 1223 are displayed according to a request for sharing at least one content (eg, fifth content 1225).
  • the glass-type wearable device 100 includes a plurality of images (eg, first content 1221, second content 1222, third content 1223, fourth content 1224, fifth content 1225, A virtual touch input for any one image (eg, the fifth content 1225) of the sixth content 1226 may be received (eg, identified).
  • operation 1120 may be performed through various devices (eg, a touch panel or sensor included in the glass-type wearable device 100) as an example of a selection input.
  • the glasses-type wearable device 100 may identify a graphic object corresponding to a group set for an area where a part of the user's body is located (eg, the first radius area 510). Referring to FIG. 12C , the glasses-type wearable device 100 performs a gesture (eg, virtual area 510) to move the selected content (eg, the fifth content 1225) to a specific area (eg, the first radius area 510). drag gesture) can be detected. In this case, the selected content (eg, the fifth content 1225) may be displayed in the display area 400 as a thumbnail image until the user's gesture ends, as shown in FIG. 12C.
  • a gesture eg, virtual area 510
  • the selected content eg, the fifth content 1225
  • a specific area eg, the first radius area 510
  • drag gesture can be detected.
  • the selected content eg, the fifth content 1225
  • the selected content may be displayed in the display area 400 as a thumbnail image until the user's gesture ends, as shown
  • the glasses-type wearable device 100 provides a visual effect 610 with the first graphic object 410a. 2 It can be displayed around the graphic object 410b.
  • the glasses-type wearable device 100 may detect a sharing gesture.
  • the glasses-type wearable device 100 may transmit at least one content (eg, fifth content 1225) to the counterpart device 280 corresponding to the identified graphic object upon detection of the sharing gesture.
  • a sharing gesture may include a virtual drop gesture for dropping a displayed thumbnail image.
  • the glasses-type wearable device 100 may use at least a part of the function or operation of determining the virtual touch input described above or a template (eg, a template previously stored in the glasses-type wearable device 100).
  • the glasses-type wearable device 100 transmits data about at least one content (eg, fifth content) stored in the glasses-type wearable device 100 to the other device 280 (eg, first graphic). It can be transmitted to the counterpart device 280 corresponding to the object 410a and the counterpart device 280 corresponding to the second graphic object 410b.
  • content eg, fifth content
  • FIG. 13 is an example for explaining a function or operation of generating at least one counterpart device into a group corresponding to a specific radius when a glasses-type wearable device detects a group creation gesture according to an embodiment of the present document; it is a drawing
  • 14a, 14b, 14c, and 14d are exemplary diagrams for describing the function or operation described in FIG. 13 from the viewpoint of a graphical user interface according to various embodiments of the present document.
  • the glasses-type wearable device 100 may receive a request for creating a group.
  • a request for creating a group is a plurality of items displayed on the display area 400 (eg, a first item 1212 and a second item 1214).
  • the third item 1216 may include a virtual touch input for any one item (eg, the first item 1212).
  • the glasses-type wearable device 100 may receive a selection input for at least one graphic object (eg, the first graphic object 410a and the third graphic object 410c) to belong to the same group, in operation 1320.
  • the selection input according to operation 1320 referring to FIG. 14B , for at least one specific graphic object (eg, the first graphic object 410a and the third graphic object 410c) It may include virtual touch input.
  • virtual touch input according to an embodiment of this document is an embodiment of selection input, and operation 1320 is performed through various devices (eg, a touch panel or sensor provided in the glass-type wearable device 100). may be performed.
  • the glasses-type wearable device 100 may detect a group creation gesture (eg, drag and drop).
  • a group creation gesture eg, drag and drop.
  • the glasses-type wearable device 100 according to an embodiment of the present document selects at least one graphic object (eg, a first graphic object 410a and a third graphic object 410c) according to a group creation gesture. )) can be determined as the same group.
  • the glass-type wearable device 100 includes at least one selected graphic object (eg, a first graphic object 410a and a third graphic object 410c). ) to a first area (eg, the first radius area 510) or a second area (eg, the second radius area 520).
  • the glass-type wearable device 100 uses an image acquired by at least one camera (eg, the first camera 111) to detect a part of the user's body (eg, the user's finger). It is possible to identify whether the end portion) is located in the first area (eg, the first radius area 510) or the second area (eg, the second radius area 520).
  • the glasses-type wearable device 100 displays thumbnail images corresponding to at least one selected graphic object (eg, the first graphic object 410a and the third graphic object 410c) in a specific area.
  • the selected at least one graphic object eg, the first graphic object 410a and the third graphic object 410c
  • a specific area eg, a first area (eg, the first radius area 510)
  • a second area e.g, a second radius area (eg, the second radius area ( 520)
  • a specific area eg, a first area (eg, the first radius area 510)
  • a second area eg, a second radius area (eg, the second radius area ( 520)
  • a specific area eg, a first area (eg, the first radius area 510)
  • a second area eg, a second radius area (eg, the second radius area ( 520)
  • a wearable device (eg, the glass-type wearable device 100) according to an embodiment of the present document includes a display module (eg, the display module 150 of FIG. 1 ) and at least one processor (eg, at least one of FIG. 1 ). one processor 120), and the at least one processor includes at least one graphic object (eg, the first graphic object 410a, the second graphic object 410b, and the third graphic object 410c of FIG. 4 ). )) is displayed in the display area (eg, the display area 400 of FIG. 4 ), and a part of the user's body is displayed in the first area (eg, the first radius area 510 and/or the first area).
  • a display module eg, the display module 150 of FIG. 1
  • the at least one processor includes at least one graphic object (eg, the first graphic object 410a, the second graphic object 410b, and the third graphic object 410c of FIG. 4 ).
  • the display area eg, the display area 400 of FIG. 4
  • (510a)) identify a group corresponding to the first area based on the location of the user's body part in the first area, and while the user's body part is located in the first area , It may be set to identify whether a trigger event by the user is detected, and to perform a function corresponding to the trigger event for at least one counterpart device included in the identified group based on the detection of the trigger event.
  • a method for controlling a wearable device includes at least one graphic object (eg, the first graphic object 410a of FIG. 4 and the second graphic object).
  • 15 is a block diagram of an electronic device 1501 within a network environment 1500, according to various embodiments.
  • an electronic device 1501 communicates with an external electronic device 1502 through a first network 1598 (eg, a short-distance wireless communication network) or a second network 1599. ) (eg, a long-distance wireless communication network) may communicate with at least one of the external electronic device 1504 and the server 1508 .
  • the electronic device 1501 may communicate with the external electronic device 1504 through the server 1508.
  • the electronic device 1501 includes a processor 1520, a memory 1530, an input module 1550, a sound output module 1555, a display module 1560, an audio module 1570, Sensor module (1576), interface (1577), connection terminal (1578), haptic module (1579), camera module (1580), power management module (1588), battery (1589), communication module (1590), subscriber identification module 1596, or an antenna module 1597.
  • a processor 1520 e.g., a memory 1530, an input module 1550, a sound output module 1555, a display module 1560, an audio module 1570, Sensor module (1576), interface (1577), connection terminal (1578), haptic module (1579), camera module (1580), power management module (1588), battery (1589), communication module (1590), subscriber identification module 1596, or an antenna module 1597.
  • the electronic device 1501 includes a processor 1520, a memory 1530, an input module 1550, a sound output module 1555, a display module 1560, an audio module 1570, Sensor module (1576), interface
  • the processor 1520 for example, executes software (eg, the program 1540) to cause at least one other component (eg, hardware or software component) of the electronic device 1501 connected to the processor 1520. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 1520 transfers instructions or data received from other components (e.g., sensor module 1576 or communication module 1590) to volatile memory 1532. , process commands or data stored in the volatile memory 1532, and store resultant data in the non-volatile memory 1534.
  • software eg, the program 1540
  • the processor 1520 transfers instructions or data received from other components (e.g., sensor module 1576 or communication module 1590) to volatile memory 1532. , process commands or data stored in the volatile memory 1532, and store resultant data in the non-volatile memory 1534.
  • the processor 1520 may include a main processor 1521 (eg, a central processing unit or an application processor) or an auxiliary processor 1523 (eg, a graphic processing unit, a neural network) that may operate independently of or together with the main processor 1521 . It may include a processing unit (NPU: neural processing unit), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1521 e.g. a central processing unit or an application processor
  • auxiliary processor 1523 eg, a graphic processing unit, a neural network
  • the main processor 1521 may include a processing unit (NPU: neural processing unit), an image signal processor, a sensor hub processor, or a communication processor.
  • the auxiliary processor 1523 may use less power than the main processor 1521 or be set to be specialized for a designated function.
  • the auxiliary processor 1523 may be implemented separately from or as part of the main processor 1521 .
  • the auxiliary processor 1523 may, for example, take the place of the main processor 1521 while the main processor 1521 is in an inactive (eg, sleep) state, or when the main processor 1521 is active (eg, running an application). ) state, together with the main processor 1521, at least one of the components of the electronic device 1501 (eg, the display module 1560, the sensor module 1576, or the communication module 1590) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 1523 eg, image signal processor or communication processor
  • the auxiliary processor 1523 is a part of other functionally related components (eg, camera module 1580 or communication module 1590).
  • the auxiliary processor 1523 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1501 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 1508).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, a software structure in addition to a hardware structure.
  • the memory 1530 may store various data used by at least one component (eg, the processor 1520 or the sensor module 1576) of the electronic device 1501 .
  • the data may include, for example, input data or output data for software (eg, the program 1540) and commands related thereto.
  • the memory 1530 may include a volatile memory 1532 or a non-volatile memory 1534 .
  • the program 1540 may be stored as software in the memory 1530 and may include, for example, an operating system 1542 , middleware 1544 , or an application 1546 .
  • the input module 1550 may receive a command or data to be used by a component (eg, the processor 1520) of the electronic device 1501 from an outside of the electronic device 1501 (eg, a user).
  • the input module 1550 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1555 may output sound signals to the outside of the electronic device 1501 .
  • the sound output module 1555 may include, for example, a speaker or receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment of this document, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 1560 can visually provide information to the outside of the electronic device 1501 (eg, a user).
  • the display module 1560 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 1560 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 1570 may convert sound into an electrical signal or vice versa. According to an embodiment of the present document, the audio module 1570 acquires sound through the input module 1550, the sound output module 1555, or an external electronic device connected directly or wirelessly to the external electronic device 1501. Sound may be output through a device (eg, the external electronic device 1502) (eg, a speaker or a headphone).
  • a device eg, the external electronic device 1502
  • the sensor module 1576 detects an operating state (eg, power or temperature) of the electronic device 1501 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 1576 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, It may include a biological sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1577 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 1501 to an external electronic device (eg, the external electronic device 1502).
  • the interface 1577 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1578 may include a connector through which the electronic device 1501 may be physically connected to an external electronic device (eg, the electronic device 1502).
  • the connection terminal 1578 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1579 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 1579 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1580 may capture still images and moving images. According to one embodiment, the camera module 1580 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1588 may manage power supplied to the electronic device 1501 .
  • the power management module 1588 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 1589 may supply power to at least one component of the electronic device 1501 .
  • the battery 1589 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1590 is a direct (eg, wired) communication channel or wireless communication between the electronic device 1501 and an external electronic device (eg, the external electronic device 1502, the external electronic device 1504, or the server 1508). Establishing a channel and performing communication through the established communication channel can be supported.
  • the communication module 1590 may include one or more communication processors that operate independently of the processor 1520 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1590 may be a wireless communication module 1592 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1594 (e.g., : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 1592 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 1594 e.g., : a local area network (LAN) communication module or a power line communication module.
  • the corresponding communication module is a first network 1598 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1599 (eg, legacy It may communicate with the external electronic device 1504 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a first network 1598 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 1599 eg, legacy It may communicate with the external electronic device 1504 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a computer network eg,
  • the wireless communication module 1592 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1596 within a communication network such as the first network 1598 or the second network 1599.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 1501 may be identified or authenticated.
  • the wireless communication module 1592 may support a 5G network after a 4G network and a next-generation communication technology, such as NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 1592 may support a high frequency band (eg, a millimeter wave (mmWave) band) in order to achieve a high data rate, for example.
  • mmWave millimeter wave
  • the wireless communication module 1592 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 1592 may support various requirements defined for the electronic device 1501, an external electronic device (eg, the external electronic device 1504), or a network system (eg, the second network 1599).
  • the wireless communication module 1592 is configured to achieve peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-U- for realizing URLLC.
  • Plane latency eg, downlink (DL) and uplink (UL) 0.5 ms or less, or round trip 1 ms or less
  • DL downlink
  • UL uplink
  • round trip 1 ms or less can be supported.
  • the antenna module 1597 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 1597 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 1597 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 1598 or the second network 1599 is selected from the plurality of antennas by, for example, the communication module 1590. can be chosen A signal or power may be transmitted or received between the communication module 1590 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 1597 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 1597 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 1501 and the external electronic device 1504 through the server 1508 connected to the second network 1599 .
  • Each of the external electronic devices 1502 or 1504 may be the same as or different from the electronic device 1501 .
  • all or part of operations executed in the electronic device 1501 may be executed in one or more external electronic devices among the external electronic devices 1502 , 1504 , or 1508 .
  • the electronic device 1501 when the electronic device 1501 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 1501 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 1501 .
  • the electronic device 1501 may provide the result as at least a part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1501 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1504 may include an internet of things (IoT) device.
  • Server 1508 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1504 or server 1508 may be included in the second network 1599.
  • the electronic device 1501 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 1536 or external memory 1538
  • a machine eg, electronic device 1501
  • It may be implemented as software (eg, the program 1540) including them.
  • a processor eg, the processor 1520
  • a device eg, the electronic device 1501
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법이 제공된다. 웨어러블 디바이스는, 디스플레이 모듈, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 적어도 하나의 그래픽 오브젝트(object)가 디스플레이 영역에서 보여지도록 상기 디스플레이 모듈을 제어하고, 사용자의 신체 일부가 제1 영역에 위치하는지 여부를 식별하고, 상기 사용자의 신체 일부가 상기 제1 영역에 위치함에 기반하여, 상기 제1 영역에 대응하는 그룹을 식별하고, 상기 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 상기 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하고, 상기 트리거 이벤트가 검출됨에 기반하여, 상기 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스(counterpart device)에 대해 상기 트리거 이벤트에 대응하는 기능을 수행하도록 설정될 수 있다.

Description

트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법
본 문서(disclosure)는 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법에 관한 것이다. 보다 구체적으로, 본 문서는 제1 사용자에 의한 트리거 이벤트에 따른 기능 및/또는 웨어러블 장치를 통해 제공되는 가상 객체에 대한 정보를 웨어러블 장치 없이 제1 사용자와 특정 태스크를 수행하는 사용자에게도 제공하는 웨어러블 장치와 관련된다.
전자 장치, 예를 들어, 스마트폰과 같은 휴대용 전자 장치를 통해 제공되는 다양한 서비스 및 부가 기능들이 점차 증가하고 있다. 이러한 전자 장치의 효용 가치를 높이고, 다양한 사용자들의 욕구를 만족시키기 위해서 통신 서비스 제공자 또는 전자 장치 제조사들은 다양한 기능들을 제공하고 다른 업체와의 차별화를 위해 전자 장치를 경쟁적으로 개발하고 있다. 이에 따라, 전자 장치를 통해서 제공되는 다양한 기능들도 점점 고도화 되고 있다.
상기 정보는, 본 개시 내용의 이해를 돕기 위한 배경 정보로서만 제공된다. 위의 내용 중 어느 것이라도 본 개시 내용과 관련하여 선행 기술로 적용될 수 있는지 여부에 대해서 결정되지 않았으며, 어떠한 주장도 이루어지지 않는다.
최근, 글래스 타입 웨어러블 디바이스가 다양한 목적들로 이용되고 있다. 예를 들어, 글래스 타입 웨어러블 디바이스를 이용하여 회의를 진행하거나 강의를 진행하는 사례들이 급속도로 증가하고 있다. 그러나, 글래스 타입 웨어러블 디바이스를 이용하여 특정한 태스크를 수행(예: 회의 진행)하는 경우에 있어서, 기존의 글래스 타입 웨어러블 디바이스는 단지 특정한 태스크에 관련된 가상 객체(예: 회의에 참석한 상대방의 화면)만을 제공하는 기능을 제공하였을 뿐, 사용자의 신체 일부(예: 손)에 의한 트리거 이벤트(예: "하트 제스처"를 검출)에 따라 특정한 기능을 수행(예: 상대방 디바이스에 "하트 제스처"와 관련된 감정 표현을 전송)하는 기능 또는 동작은 전혀 제공하지 못하였다. 또한, 기존의 글래스 타입 웨어러블 디바이스는, 글래스 타입 웨어러블 디바이스를 구비하지 않고 제1 사용자(예: 웨어러블 디바이스를 통해 특정한 태스크를 수행하는 사용자)와 특정한 태스크를 수행하는 사용자(예: 제2 사용자)에 대해서는 글래스 타입 웨어러블 디바이스를 통해 제공되는 가상 객체와 관련된 정보를 제2 사용자에게 제공하는 기능 또는 동작은 전혀 제공하지 못하였다.
본 개시의 양태는 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 따라서, 본 문서의 양태는, 사용자의 신체 일부(예: 손)에 의한 트리거 이벤트(예: "하트 제스처"를 검출)에 따라 특정한 기능(예: 상대방 디바이스에 "하트 제스처"와 관련된 감정 표현을 전송)을 수행하여 웨어러블 디바이스의 사용 편의성(usability)을 향상시킬 수 있는 웨어러블 디바이스를 제공하는 것이다.
본 문서의 다른 양태는, 웨어러블 디바이스를 구비하지 않고 제1 사용자와 특정한 태스크를 수행하는 사용자에 대해서도 웨어러블 디바이스를 통해 제공되는 가상 객체와 관련된 정보 및/또는 제1 사용자에 의한 트리거 이벤트에 따른 기능을 제공할 수 있는 웨어러블 디바이스를 제공하는 것이다.
추가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백할 것이고, 또는 제시된 실시예의 실행에 의해 학습될 수 있다.
본 문서의 양태에 따르면, 웨어러블 장치가 제공된다. 웨어러블 장치는, 디스플레이 모듈 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 적어도 하나의 그래픽 오브젝트(object)가 디스플레이 영역에서 보여지도록 상기 디스플레이 모듈을 제어하고, 사용자의 신체 일부가 제1 영역에 위치하는지 여부를 식별하고, 상기 사용자의 신체 일부가 상기 제1 영역에 위치함에 기반하여, 상기 제1 영역에 대응하는 그룹을 식별하고, 상기 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 상기 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하고, 상기 트리거 이벤트가 검출됨에 기반하여, 상기 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스(counterpart device)에 대해 상기 트리거 이벤트에 대응하는 기능을 수행하도록 설정되고, 상기 기능은, 상기 적어도 하나의 상대방 디바이스에 대해 공통적으로 수행되는 기능일 수 있다.
본 문서의 다른 양태에 따르면 웨어러블 장치를 제어하는 방법이 제공된다. 상기 방법은, 적어도 하나의 그래픽 오브젝트(object)가 디스플레이 영역에서 보여지도록 상기 웨어러블 디바이스의 디스플레이 모듈을 제어하는 동작과, 사용자의 신체 일부가 제1 영역에 위치하는지 여부를 식별하는 동작과, 상기 사용자의 신체 일부가 상기 제1 영역에 위치함에 기반하여, 상기 제1 영역에 대응하는 그룹을 식별하는 동작과, 상기 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 상기 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하는 동작과, 상기 트리거 이벤트가 검출됨에 기반하여, 상기 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스(counterpart device)에 대해 상기 트리거 이벤트에 대응하는 기능을 수행하는 동작을 포함하고, 상기 기능은, 상기 적어도 하나의 상대방 디바이스에 대해 공통적으로 수행되는 기능일 수 있다.
본 문서의 일 실시예에 따르면, 사용자의 신체 일부(예: 손)에 의한 트리거 이벤트(예: "하트 제스처"를 검출)에 따라 특정한 기능(예: 상대방 디바이스에 "하트 제스처"와 관련된 감정 표현을 전송)을 수행하여 웨어러블 디바이스의 사용 편의성을 향상시킬 수 있는 웨어러블 디바이스가 제공된다.
본 문서의 일 실시예에 따르면, 웨어러블 디바이스를 구비하지 않고 제1 사용자와 특정한 태스크를 수행하는 사용자에 대해서도 웨어러블 디바이스를 통해 제공되는 가상 객체와 관련된 정보 및/또는 제1 사용자에 의한 트리거 이벤트에 따른 기능을 제공할 수 있는 웨어러블 디바이스가 제공된다.
본 문서의 다른 양태, 이점, 및 두드러진 특징은 첨부된 도면과 함께 취해진 본 문서의 다양한 실시 양태를 개시하는 다음의 상세한 설명으로부터 통상의 기술자에게 명백해질 것이다.
본 문서의 특정 실시 양태의 상기 및 다른 측면들, 특징들 및 이점들은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백해 질 것이며, 여기에서:
도 1은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 설명하기 위한 예시 도면이다.
도 2a는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 구조를 설명하기 위한 예시 도면이다.
도 2b 및 도 2c는, 본 문서의 다양한 실시예들에 따른 글래스 타입 웨어러블 디바이스의 연결 관계를 설명하기 위한 예시 도면들이다.
도 3은, 본 문서의 일 실시예에 따른 트리거 이벤트에 따라 글래스 타입 웨어러블 디바이스가 특정한 기능을 수행하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 4는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스에 의해 보여지는 적어도 하나의 그래픽 오브젝트를 설명하기 위한 예시 도면이다.
도 5a는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 기준으로 설정된 본 문서의 일 실시예에 따른 적어도 하나의 반경(radius)을 설명하기 위한 예시 도면이다.
도 5b는, 본 문서의 일 실시예에 따른 사용자의 신체 일부가 적어도 하나의 반경 내에 위치하는지 여부를 판단하기 위한 방법으로서, 디스플레이 영역 내에 설정된 적어도 하나의 영역을 설명하기 위한 예시 도면이다.
도 5c는, 본 문서의 일 실시예에 따른 제1 영역에 사용자의 신체 일부가 위치함이 검출된 경우, 글래스 타입 웨어러블 디바이스에 의해 사용자의 신체 일부가 제1 반경에 위치하였다고 판단되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5d 및 도 5e는, 본 문서의 다양한 실시예들에 따른 제1 영역을 기준으로 설정된 공간 내에 사용자의 신체 일부가 위치하였음이 검출된 경우, 글래스 타입 웨어러블 디바이스에 의해 사용자의 신체 일부가 제1 반경에 위치하였다고 판단되는 기능 또는 동작을 설명하기 위한 예시 도면들이다.
도 5f는, 본 문서의 다양한 실시예들에 따라 적어도 하나의 반경이 설정된 경우를 설명하기 위한 예시 도면이다.
도 5g 및 도 5h는, 본 문서의 다양한 실시예들에 따라 적어도 하나의 반경이 설정된 경우, 글래스 타입 웨어러블 디바이스에 의해 적어도 하나의 반경 내에 사용자의 신체 일부가 위치하였음이 검출되는 기능 또는 동작을 설명하기 위한 예시 도면들이다.
도 5i는, 본 문서의 일 실시예에 따라 적어도 하나의 반경이 설정된 경우를 설명하기 위한 예시 도면이다.
도 6a 및 도 6b는, 본 문서의 다양한 실시예들에 따른 적어도 하나의 반경에 대응하도록 미리 설정된 그룹을 설명하기 위한 예시 도면들이다.
도 7a 및 도 7b는, 본 문서의 다양한 실시예들에 따른 트리거 제스처를 설명하기 위한 예시 도면들이다.
도 8은, 본 문서의 일 실시예에 따른 트리거 이벤트(예: 트리거 제스처를 검출)에 따라 글래스 타입 웨어러블 디바이스에 의해 특정한 기능이 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 9는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스에 의해, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 외부 전자 장치로부터의 통신 신호의 수신에 따라 적어도 하나의 상대방 디바이스와 통신을 수행(예: 문자 메시지의 전송)하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 10a, 도 10b 및 도 10c는, 도 9에서 설명된 기능 또는 동작을 본 문서의 다양한 실시예들에 따른 그래픽 사용자 인터페이스 관점에서 설명하기 위한 예시 도면들이다.
도 11은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스가 공유 제스처를 검출한 경우, 적어도 하나의 컨텐트를 적어도 하나의 상대방 디바이스와 공유하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 12a, 도 12b 및 도 12c는, 도 11에서 설명된 기능 또는 동작을 본 문서의 다양한 실시예들에 따른 그래픽 사용자 인터페이스 관점에서 설명하기 위한 예시 도면들이다.
도 13은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스가 그룹 생성 제스처를 검출한 경우, 적어도 하나의 상대방 디바이스를 특정한 반경에 대응하는 하나의 그룹으로 생성하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 14a, 도 14b, 도 14c 및 도 14d는, 도 13에서 설명된 기능 또는 동작을 본 문서의 다양한 실시예들에 따른 그래픽 사용자 인터페이스 관점에서 설명하기 위한 예시 도면들이다.
도 15는, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도면 전체에 걸쳐 동일한 구성 요소를 나타내기 위해 동일한 참조 번호가 사용된다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 본 문서의 다양한 실시예들의 포괄적인 이해를 돕기위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항들이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 다양한 실시예들의 다양한 변경들 및 수정들이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략될 수 있다.
하기 설명 및 청구범위에서 사용된 용어 및 단어는 서지적 의미에 제한되지 않으며, 본 문서의 명확하고 일관된 이해를 가능하게 하기 위해 단지 발명자에 의해 사용되는 것이다. 따라서, 본 문서의 다양한 실시예들에 대한 다음의 설명은 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 문서를 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 통상의 기술자에게 명백하다.
단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면(a component surface)"에 대한 참조는 그러한 표면들 중 하나 이상에 대한 참조를 포함한다.
도 1은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)를 설명하기 위한 예시 도면이다.
도 1을 참조하면, 본 문서에서는 글래스 타입 웨어러블 디바이스(100)를 예를 들어 설명하나 이에 한정되는 것은 아니다. 예컨대, 본 문서에서 설명되는 다양한 실시예들은 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head mounted device; HMD) 또는 머리 착용형 디스플레이 장치(head mounted display; HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나에 적용될 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 프로세서(120), power management integrated circuit(PMIC)(130), 배터리(135), 메모리(140), 디스플레이 모듈(150), 오디오 모듈(161), 음성 입력 장치(162), 음성 출력 장치(163), 통신 회로(170), 및 센서(180) 중 적어도 하나를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 제1 카메라(111)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식에 이용될 수 있다. 본 문서의 일 실시예에 따르면, 제1 카메라(111)는 GS(global shutter) 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 카메라(111)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 제1 카메라(111)는 6DoF를 위한 공간 인식을 수행할 수 있다. 본 문서의 일 실시예에 따른 제1 카메라(111)는, 제1 사용자에게 착용된 경우, 제1 사용자의 시선에 대응하는 실제 세계(real world)를 촬영하도록 설정될 수 있다.
본 문서의 일 실시예에 따르면, 제2 카메라(112)를 통하여 획득된 이미지는 사용자의 눈동자에 대한 검출 및 추적에 이용될 수 있다. 본 문서의 일 실시예에 따르면, 제2 카메라(112)는 GS 카메라를 포함할 수 있다. 제2 카메라(112)는 각각 좌안 및 우안에 대응될 수 있고, 제2 카메라(112)들의 성능은 서로 동일 또는 유사할 수 있다. 제2 카메라(112)는, 사용자의 표정에 대한 이미지를 획득하도록 설정될 수 있다. 적어도 하나의 프로세서(120)는, 제2 카메라(112)에 의하여 획득된 사용자의 표정에 대한 이미지를 기반으로 사용자의 표정 변화를 검출하도록 설정될 수 있다.
본 문서의 일 실시예에 따르면, 제3 카메라(113)는 제1 카메라(111) 및 제2 카메라(112) 보다 고해상도의 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제3 카메라(113)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정 기능을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 제3 카메라(113)는 GS 카메라를 포함하거나, RS(rolling shutter) 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따른 제1 카메라(111)는, 제1 사용자에게 착용된 경우, 제1 사용자의 시선에 대응하는 실제 세계를 촬영하도록 설정될 수 있다.
적어도 하나의 프로세서(120)는, 글래스 타입 웨어러블 디바이스(100)의 구성요소들, 예를 들어, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), PMIC(130), 메모리(140), 디스플레이 모듈(150), 오디오 모듈(161), 통신 회로(170), 및 센서(180)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 문서의 일 실시예에 따른 적어도 하나의 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 적어도 하나의 프로세서(120)에 연결된 글래스 타입 웨어러블 디바이스(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 적어도 하나의 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 본 문서의 일 실시예에 따르면, 적어도 하나의 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 글래스 타입 웨어러블 디바이스(100)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
본 문서의 일 실시예에 따른 PMIC(130)는 배터리(135)에 저장된 전력을 글래스 타입 웨어러블 디바이스(100)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 글래스 타입 웨어러블 디바이스(100)의 다른 구성요소들에 공급할 수 있다.
본 문서의 일 실시예에 따른 메모리(140)는, 글래스 타입 웨어러블 디바이스(100)의 적어도 하나의 구성요소(예: 적어도 하나의 프로세서(120) 또는 센서 모듈(180))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 본 문서의 일 실시예에 따른 메모리(140)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
본 문서의 일 실시예에 따른 디스플레이 모듈(150)은 사용자에게 제공할 화면을 표시할 수 있다. 본 문서의 일 실시예에 따른 디스플레이 모듈(150)은, 가상 객체(예: 증강현실 가이드)를 표현하기 위한 데이터(예: red green blue(RGB) 데이터)를 출력할 수 있다. 본 문서의 일 실시예에 따른 디스플레이 모듈(150)은 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재(253-1, 253-2), 하나 이상의 투명 부재(290-1, 290-2), 및 하나 이상의 화면 표시 부분(254-1, 254-2)을 포함할 수 있다.
본 문서의 일 실시예에 따른 오디오 모듈(161)은 음성 입력 장치(162) 및 음성 출력 장치(163)에 연결되어, 음성 입력 장치(162)를 통하여 입력된 데이터를 변환하고, 음성 출력 장치(163)에 출력할 데이터를 변환할 수 있다. 본 문서의 일 실시예에 따른 음성 입력 장치(162)는 적어도 하나의 마이크를 포함할 수 있으며, 음성 출력 장치(163)는 적어도 하나의 스피커 및 증폭기를 포함할 수 있다. 본 문서의 일 실시예에 따른 통신 회로(170)는 글래스 타입 웨어러블 디바이스(100)와 연결된 외부 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 본 문서의 일 실시예에 따른 센서(180)는 6축 센서(181), 자기 센서(182), 근접 센서(183), 및/또는 광 센서(184)를 포함할 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 예를 들면, 글래스 타입 웨어러블 디바이스(100)에 포함된 근접 센서를 통해, 사용자가 글래스 타입 웨어러블 디바이스(100)를 착용하고 있는지 여부를 식별할 수 있다. 또는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 글래스 타입 웨어러블 디바이스(100)의 힌지부에 구비된 각도 센서를 통해, 글래스 타입 웨어러블 디바이스(100)의 프레임이 펼쳐져 있는지(예: 펼쳐진 상태), 및 글래스 타입 웨어러블 디바이스(100)의 프레임이 펼쳐져 있는 동안에 사용자의 근접이 감지되는지 여부에 따라 글래스 타입 웨어러블 디바이스(100)가 사용자에게 착용되어 있는지 여부를 판단할 수 있다.
도 2a는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 구조를 설명하기 위한 예시 도면이다.
도 2a를 참조하면, 글래스 타입 웨어러블 디바이스(100)는 하나 이상의 발광 소자(214-1, 214-2)를 포함할 수 있다. 본 문서의 일 실시예에 따른 발광 소자(214-1, 214-2)는 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제2 카메라(212-1, 212-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 경우에 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 각각 LED를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 적외선 영역의 빛을 조사할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 글래스 타입 웨어러블 디바이스(100)의 프레임 주변에 부착될 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제1 카메라(211-1, 211-2) 주변에 위치하고, 글래스 타입 웨어러블 디바이스(100)가 어두운 환경에서 사용될 때 하나 이상의 제1 카메라(211-1, 211-2)에 의한 제스처 검출, 머리 추적, 및 공간 인식을 보조할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제3 카메라(213) 주변에 위치하고, 글래스 타입 웨어러블 디바이스(100)가 어두운 환경에서 사용될 때 하나 이상의 제3 카메라(213)에 의한 이미지 획득을 보조할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)는 배터리(235-1, 235-2)를 포함할 수 있다. 배터리(235-1, 235-2)는 글래스 타입 웨어러블 디바이스(100)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)는 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재(253-1, 253-2), 하나 이상의 투명 부재(290-1, 290-2), 및 하나 이상의 화면 표시 부분(254-1, 254-2)을 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 글래스 타입 웨어러블 디바이스(100)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)가 자체적으로 빛을 발생시킬 수 있는 경우(예컨대, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우), 글래스 타입 웨어러블 디바이스(100)는 별도의 광원을 포함하지 않더라도 사용자에게 상대적으로 양호한 품질의 가상 영상을 제공할 수 있다.
본 문서의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2)는 사용자가 글래스 타입 웨어러블 디바이스(100)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 본 문서의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 사용자는 글래스 타입 웨어러블 디바이스(100)를 착용하였을 때 하나 이상의 투명 부재(290-1, 290-2)를 통하여 외부 세계를 볼 수 있다. 본 문서의 일 실시예에 따르면, 하나 이상의 입력 광학 부재(253-1, 253-2)는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 본 문서의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2) 위의 하나 이상의 화면 표시 부분(254-1, 254-2) 위에 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(254-1, 254-2) 위에 맺힌 상을 볼 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)는 하나 이상의 광 도파로(미도시)를 포함할 수 있다. 본 문서의 일 실시예에 따른 광 도파로는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 글래스 타입 웨어러블 디바이스(100)는 좌안 및 우안에 대응하여 각각 하나씩의 광 도파로를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 광 도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 광 도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 광 도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광 도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 본 문서의 일 실시예에 따르면, 광 도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광 도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 본 문서의 일 실시예에 따르면, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)는 하나 이상의 음성 입력 장치(262-1, 262-2, 262-3) 및 하나 이상의 음성 출력 장치(263-1, 263-2)를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)는 제1 인쇄회로기판(PCB)(270-1) 및 제2 PCB(270-2)를 포함할 수 있다. 제1 PCB(270-1) 및 제2 PCB(270-2)는 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 디스플레이 모듈(150), 오디오 모듈(161), 및 센서(180)와 같은, 글래스 타입 웨어러블 디바이스(100)에 포함되는 구성 요소에 전기 신호를 전달하도록 설정될 수 있다. 본 문서의 일 실시예에 따르면, 제1 PCB(270-1) 및 제2 PCB(270-2)는 FPCB(flexible printed circuit board)를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 PCB(270-1) 및 제2 PCB(270-2)는 각각 제1 기판, 제2 기판, 및 제1 기판과 상기 제2 기판 사이에 배치된 인터포저를 포함할 수 있다.
도 2b 및 도 2c는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)의 연결 관계를 설명하기 위한 예시 도면들이다.
도 2b를 참조하면, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는 외부 전자 장치(210)(예: 상대방 디바이스(280))와 네트워크(200)를 통해 직접 연결될 수 있다. 네트워크(200)는, 제1 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(예: 레거시 셀룰러 네트워크, 5세대(5G) 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: local area network(LAN) 또는 wide area network(WAN))와 같은 원거리 통신 네트워크)를 포함할 수 있다. 또는, 도 2c를 참조하면, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는 상대방 디바이스(210)와 서버(220)를 통해 연결될 수도 있다. 본 문서의 일 실시예에 따른 서버(220)는, 기계 학습 및/또는 신경망을 이용한 지능형 서버를 포함할 수 있다. 도 2b 및 도 2c에서는 상대방 디바이스(280)의 예시로서 스마트 글래스가 도시되었으나, 상대방 디바이스(280)에 대한 실시예가 이에 의하여 제한되는 것은 아니다. 본 문서에서는, 외부 전자 장치의 예시로서 "상대방 디바이스(280)"라는 용어가 사용되나, 이것이 반드시 글래스 타입 웨어러블 디바이스(100)의 소유자와는 상이한 사용자에 의하여 소유된 디바이스만을 의미하는 것은 아니다. 본 문서의 다양한 실시예들에 따르면, "상대방 디바이스(280)"는 글래스 타입 웨어러블 디바이스(100)의 소유자에 의하여 소유되는 다양한 타입의 디바이스들을 포함할 수도 있다.
도 3은, 본 문서의 일 실시예에 따른 트리거 이벤트에 따라 글래스 타입 웨어러블 디바이스가 특정한 기능을 수행하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 3을 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 동작 310에서, 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c) 및 제4 그래픽 오브젝트(420))가 디스플레이 영역(400)에서 보여지도록 디스플레이 모듈(150)을 제어할 수 있다.
도 4는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스에 의해 보여지는 적어도 하나의 그래픽 오브젝트를 설명하기 위한 예시 도면이다.
도 4를 참조하면, 본 문서의 일 실시예에 따른 디스플레이 영역(400)은 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c) 및 제4 그래픽 오브젝트(420))가 가상 객체로서 디스플레이 되도록 설정된 영역을 의미할 수 있다. 본 문서의 일 실시예에 따르면, "글래스 타입 웨어러블 디바이스(100)의 시야각(field of view)" 및/또는 "디스플레이 모듈의 시야각"이라는 용어는, 디스플레이 영역(400) 자체의 크기(예: 디스플레이 영역(400)의 가로 및 세로의 길이, 또는 가로 및 세로의 각도 범위(예: 가로 50도, 세로 30도)) 또는 디스플레이 영역(400) 자체의 면적을 의미하는 용어로서 사용될 수 있다. 본 문서의 일 실시예에 따른 디스플레이 영역(400)에는, 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 적어도 하나의 상대방 디바이스(counterpart device)(280)와 대응하는 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))가 디스플레이 될 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 제1 네트워크, 제2 네트워크 및/또는 서버를 통해 상대방 디바이스(280)의 정보를 수신하도록 설정될 수 있다. 본 문서의 일 실시예에 따른 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))는, 예를 들면, 제1 사용자(예: 글래스 타입 웨어러블 디바이스(100)를 사용하는 사용자) 또는 제2 사용자(예: 상대방 디바이스(280)의 사용자)에 의하여 설정된 3차원 아바타(예: AR(augmented reality) 이모지), 영상 통화의 실행 화면, 콜 어플리케이션에 의하여 미리 설정된 음성 통화의 실행 화면 및/또는 메시지 어플리케이션 또는 특정한 어플리케이션(예: 컨퍼런스(conference)를 위한 어플리케이션)에 의하여 제공되는 형식에 따른, 텍스트 메시지를 포함하는 화면을 포함할 수 있다.
도 4를 참조하면, 특정한 어플리케이션(예: 컨퍼런스(conference)를 위한 어플리케이션)을 통하여 특정한 세션(예: 컨퍼런스)이 진행 중인 상태가 도시된다. 도 4에서는, 제1 그래픽 오브젝트(410a)는 영상 통화의 실행 화면으로, 제2 그래픽 오브젝트(410b)는, 상대방 디바이스(280)에 의해 설정된 3차원 아바타로, 제3 그래픽 오브젝트(410c)는 특정한 어플리케이션에 의하여 제공되는 형식에 따른, 텍스트 메시지를 포함하는 화면으로 디스플레이 되는 실시예가 도시된다. 본 문서의 일 실시예에 따른, 적어도 하나의 상대방 디바이스(280)와 대응하는 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))는 제2 사용자가 사용하는 디바이스에 의해 제공되는 디스플레이 형식에 따라 변형되어 디스플레이 될 수 있다. 예를 들어, 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스(280)가 2차원 평면 타입의 디스플레이를 구비한 스마트 폰인 경우, 적어도 하나의 그래픽 오브젝트(예: 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))는 분할 화면(예: 멀티 윈도우 화면)을 통하여 2차원으로 상대방 디바이스(280)에 디스플레이 될 수 있다. 또한, 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스(280)가 웨어러블 디바이스(예: 글래스 타입 웨어러블 디바이스(100))인 경우, 적어도 하나의 그래픽 오브젝트(예: 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))는 도 4에 도시된 바와 같이 3차원 공간에서 가상 객체로서 디스플레이 될 수 있다. 또한, 본 문서의 일 실시예에 따르면, 상대방 디바이스(280)가 2차원 평면 타입의 디스플레이를 구비한 스마트 폰인 경우에도 적어도 하나의 그래픽 오브젝트(예: 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))는 3차원 객체로 디스플레이 될 수 있다. 또한, 본 문서의 일 실시예에 따르면, 상대방 디바이스(280)가 웨어러블 디바이스(예: 글래스 타입 웨어러블 디바이스(100))인 경우에도 적어도 하나의 그래픽 오브젝트(예: 제2 그래픽 오브젝트(410b) 및 제3 그래픽 오브젝트(410c))는 2차원 객체로 디스플레이 될 수 있다. 적어도 하나의 그래픽 오브젝트(예: 제4 그래픽 오브젝트(420))는, 특정한 어플리케이션(예: 동영상 제공 어플리케이션)의 실행 화면을 포함할 수 있다.
도 4를 참조하면, 제4 그래픽 오브젝트(420)로서 하나의 동영상 제공 어플리케이션의 실행 화면이 도시되었으나, 복수 개의 동영상 제공 어플리케이션들의 실행 화면이 제4 그래픽 오브젝트(420)로서 디스플레이 될 수 있으며, 서로 상이한 타입의 어플리케이션들(예: 갤러리 어플리케이션과 동영상 제공 어플리케이션)의 실행 화면이 제4 그래픽 오브젝트(420)로서 디스플레이 영역(400)에 디스플레이 될 수 있다. 본 문서의 일 실시예에 따르면, 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c) 및 제4 그래픽 오브젝트(420))가 디스플레이 영역(400)에서 디스플레이 되는 위치 및/또는 순서는 미리 지정되어 있을 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제4 그래픽 오브젝트(420)가 디스플레이 영역(400)의 실질적인 중심에 디스플레이 되고, 글래스 타입 웨어러블 디바이스(100)와 연결된 순서대로 디스플레이 영역(400)의 좌측 상단부터 반시계 방향으로 디스플레이 될 수 있다.
글래스 타입 웨어러블 디바이스(100)는, 동작 320에서, 사용자(예: 제1 사용자)의 제1 신체 일부가 제1 영역(예: 제1 영역(510a) 또는 제1 반경(510))에 위치하는지 여부를 식별할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 미리 저장된 탬플릿과 글래스 타입 웨어러블 디바이스(100)에 의해 획득된 이미지를 비교하여 사용자의 신체 일부를 식별할 수 있다. 또는, 본 문서의 다른 실시예에 따르면, 인공지능 모델에 따라 학습된 결과를 기반으로 사용자의 신체 일부를 식별할 수 있다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다.
도 5a는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 기준으로 동일한 중심을 가지도록 설정된 적어도 하나의 반경 을 설명하기 위한 예시 도면이다.
도 5b는, 사용자의 제1 신체 일부가 적어도 하나의 반경 영역 내에 위치하는지 여부를 판단하기 위한 방법으로서, 디스플레이 영역 내에 설정된 적어도 하나의 영역을 설명하기 위한 예시 도면이다.
본 문서의 일 실시예에 따른 적어도 하나의 반경 영역(예: 제1 반경 영역(510), 제2 반경 영역(520) 및 제3 반경 영역(530))은 도 5a를 참조하면, 사용자의 제1 신체 일부(예: 사용자의 오른손)을 기준으로 특정한 각도를 가지도록 설정된 2차원 영역 또는 3차원 영역을 의미할 수 있다. 또한, 본 문서의 다른 실시예에 따르면, 적어도 하나의 반경 영역(예: 제1 반경 영역(510), 제2 반경 영역(520) 및 제3 반경 영역(530))은 디스플레이 모듈(160)의 시야각을 기준으로 복수 개의 영역으로 분할된 2차원 영역 또는 3차원 영역을 의미할 수 있다. 도시되지는 않았으나, 적어도 하나의 반경 영역(예: 제1 반경 영역(510) 및 제2 반경 영역(520))은, 서로 상이한 중심(예: 오른손 및 왼손)을 가지도록 각각 설정될 수도 있다. 다른 말로, 사용자의 제1 신체 일부가 오른손인지 또는 왼손인지 여부에 따라 적어도 하나의 반경 영역(예: 제1 반경 영역(510) 및 제2 반경 영역(520))의 중심이 변경될 수도 있다. 본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)가 사용자의 제1 신체 일부(예: 오른손)가 제1 영역(예: 제1 영역(510a) 또는 제1 반경 영역(510))에 위치하였는지 여부를 식별하기 위하여, 도 5b를 참조하면, 디스플레이 영역(400)에 대해 적어도 하나의 영역(예: 제1 영역(510a), 제2 영역(520a), 제3 영역(530a))이 미리 설정되어 있을 수 있다. 본 문서의 일 실시예에 따르면, 적어도 하나의 영역(예: 제1 영역(510a), 제2 영역(520a), 제3 영역(530a))은 사용자의 설정에 의해서 그 크기, 면적 또는 개수가 변경될 수도 있다. 본 문서의 일 실시예에 따르면, 적어도 하나의 영역(예: 제1 영역(510a), 제2 영역(520a), 제3 영역(530a))은 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c) 및 제4 그래픽 오브젝트(420))가 보여지는 위치 및/또는 개수에 기반하여 결정될 수도 있다. 예를 들어, 사용자의 위치를 기준으로, 왼쪽보다 오른쪽에 더 많은 그래픽 오브젝트가 보여지고 있는 경우, 적어도 하나의 영역(예: 제1 영역(510a), 제2 영역(520a), 제3 영역(530a))의 면적은 사용자를 기준으로 오른쪽에 설정된 반경 영역(예: 제3 반경 영역(530))이 다른 반경 영역보다 더 넓은 면적을 커버하도록 설정될 수도 있다.
적어도 하나의 영역(예: 제1 영역(510a), 제2 영역(520a), 제3 영역(530a))은 디스플레이 영역(400)의 좌표값을 기반으로 설정될 수 있다. 예를 들어, 디스플레이 영역(400)의 가로 좌표 값이 0에서 1000값을 가지도록 설정되어 있는 경우, 0 이상 200 이하까지는 제1 영역(510a)으로서, 200 초과부터 800이하까지는 제2 영역(510b)으로서, 800 초과부터 1000이하까지는 제3 영역(510c)으로서 지정될 수 있다. 이와 같이 지정된 적어도 하나의 영역(예: 제1 영역(510a), 제2 영역(520a), 제3 영역(530a))은 적어도 하나의 반경 영역(예: 제1 반경 영역(510), 제2 반경 영역(520) 및 제3 반경 영역(530))에 대응될 수 있다.
도 5c는, 본 문서의 일 실시예에 따른 제1 영역에 사용자의 제1 신체 일부가 위치함이 검출된 경우, 글래스 타입 웨어러블 디바이스에 의해 사용자의 제1 신체 일부가 제1 반경 영역에 위치하였다고 판단되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5c를 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 사용자의 제1 신체 일부(예: 오른손)가 제1 영역(510a)에 위치함이 검출된 경우, 사용자의 제1 신체 일부가 제1 반경 영역(510)에 위치하였다고 식별할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 사용자의 신체 일부가 미리 설정된 임계 면적 이상으로 특정한 영역(예: 제1 영역(510a))에 위치함을 검출한 경우, 사용자의 신체 일부가 특정한 영역(예: 제1 영역(510a))위치하였음을 검출할 수 있다. 예를 들어, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 사용자의 신체 일부(예: 오른손)가 제2 영역(520a) 및 제3 영역(530a))에 걸쳐있는 경우, 사용자의 신체 일부의 더 많은 면적을 포함하는 영역에 사용자의 신체 일부가 위치하였다고 검출(예: 판단)할 수 있다. 본 문서의 일 실시예에 따른 웨어러블 디바이스(100)는 적어도 하나의 카메라(예: 제1 카메라(111))를 이용하여 사용자의 제1 신체 일부를 식별할 수 있다.
도 5d 및 도 5e는, 본 문서의 다양한 실시예들에 따른 제1 영역을 기준으로 설정된 공간 내에 사용자의 제1 신체 일부가 위치하였음이 검출된 경우, 글래스 타입 웨어러블 디바이스에 의해 사용자의 제1 신체 일부가 제1 반경 영역에 위치하였다고 판단되는 기능 또는 동작을 설명하기 위한 예시 도면들이다.
도 5d 및 도 5e를 참조하면, 본 문서의 다른 실시예에 따르면, 제1 영역(510a)을 기준으로 미리 또는 사용자의 설정에 따라 설정된 공간(예: 제1 공간(512))에 사용자의 제1 신체 일부가 위치함이 검출된 경우, 웨어러블 디바이스(100)는 사용자의 제1 신체 일부가 적어도 하나의 반경 영역(예: 제1 반경 영역(510))에 위치하였다고 식별할 수 있다. 이 경우, 도 5e에 도시된 바와 같이, 사용자의 제1 신체 일부가 디스플레이 영역(400)상에 포함되지 않더라도 제1 반경 영역(510)에 위치하였다고 글래스 타입 웨어러블 디바이스(100)에 의해 식별될 수 있다.
도 5f는, 본 문서의 다른 실시예에 따라 적어도 하나의 반경 이 설정된 경우를 설명하기 위한 예시 도면이다.
도 5g 및 도 5h는, 본 문서의 다양한 실시예들에 따라 적어도 하나의 반경 이 설정된 경우, 글래스 타입 웨어러블 디바이스에 의해 적어도 하나의 반경 내에 사용자의 제1 신체 일부가 위치하였음이 검출되는 기능 또는 동작을 설명하기 위한 예시 도면들이다.
도 5f를 참조하면, 본 문서의 일 실시예에 따른 반경 영역(예: 제1 반경 영역(510), 제2 반경 영역(520) 및 제3 반경 영역(530))은, 사용자로부터 점점 멀어지는 형태로(예: 사용자의 위치를 기준으로 가로 방향으로) 설정될 수도 있다. 이 경우, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 사용자의 제2 신체 일부(예: 팔꿈치 또는 팔꿈치와 반대 방향으로서 팔이 접히는 부분)가 글래스 타입 웨어러블 디바이스(100)로부터 이격된 거리를 기반으로, 사용자의 제1 신체 일부(예: 오른손)가 특정한 반경 영역(예: 제1 반경 영역(510), 제2 반경 영역(520) 또는 제3 반경 영역(530))에 위치하는지 여부를 판단할 수 있다. 다른 말로, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 사용자의 팔을 뻗는 정도(예: 팔의 길이)에 따라 서로 상이한 반경 영역을 선택할 수 있다. 예를 들어, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 사용자의 제2 신체 일부(예: 팔꿈치)가 보이지 않는 범위 내에서는 사용자의 제1 신체 일부(예: 오른손)가 제1 반경 영역(510)에 포함되었다고 판단할 수 있다. 이에 따르면, 도 5g를 참조하면, 사용자의 신체 일부(예: 오른손)가 제1 반경 영역(510)에 포함되었다고 글래스 타입 웨어러블 디바이스(100)에 의해 식별될 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 사용자의 제2 신체 일부(예: 팔꿈치)가 검출되기 시작한 위치로부터 미리 지정된 거리만큼 팔꿈치가 이동된 거리 내에서 사용자의 신체 일부(예: 오른손)가 검출된 경우에는, 사용자의 신체 일부(예: 오른손)가 제2 반경 영역(520)에 포함되었다고 판단할 수 있다. 이에 따르면, 도 5h를 참조하면, 사용자의 제1 신체 일부(예: 오른손)가 제2 반경 영역(520)에 포함되었다고 글래스 타입 웨어러블 디바이스(100)에 의해 식별될 수 있다. 본 문서의 일 실시예에 따른 사용자의 제1 신체 일부(예: 사용자의 신체 일부가 반경 영역에 포함되었다고 식별되는 기준이 되는 신체 일부)와 사용자의 제2 신체 일부(예: 어느 반경 영역에 포함되었는지를 판단하기 위한 기준이 되는 신체 일부)는 미리 지정되어 있을 수 있다.
도 5i는, 본 문서의 일 실시예에 따라 적어도 하나의 반경이 설정되느 경우를 설명하기 위한 도면이다.
도 5i를 참조하면, 반경 영역(예: 제1 반경 영역(510) 및 제2 반경 영역(520))은, 서로 상이한 중심을 기준으로 설정될 수도 있다. 이 경우에도 본 문서의 일 실시예에 따른 반경 영역(예: 제1 반경 영역(510) 및 제2 반경 영역(520))에 대응하는 디스플레이 영역(400)의 특정한 영역(예: 제1 영역(510a) 및 제2 영역(520a))이 미리 설정되어 있을 수 있다. 또한, 도 5g 및 도 5h에 도시된, 특정한 영역이 선택되었음을 나타내기 위한 음영 효과는 사용자에게 보여지지 않을 수도 있다.
글래스 타입 웨어러블 디바이스(100)는, 동작 330에서, 사용자의 신체 일부(예: 오른손)가 제1 영역(예: 제1 영역(510a))에 위치함에 기반하여, 제1 영역(예: 제1 영역(510a))에 대응하는 그룹을 식별할 수 있다.
도 6a 및 도 6b는, 본 문서의 다양한 실시예들에 따른 적어도 하나의 반경 에 대응하도록 미리 설정된 그룹을 설명하기 위한 예시 도면들이다.
도 6a를 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스(280)와 제2 그래픽 오브젝트(410b)에 대응하는 상대방 디바이스(280)가 서로 동일한 그룹임을 식별할 수 있다. 그룹은, 적어도 하나의 반경 영역(예: 제1 반경 영역(510), 제2 반경 영역(520) 및/또는 제3 반경 영역(530))에 대응하도록 설정되어 있을 수 있다. 도 6a에서는, 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스(280)와 제2 그래픽 오브젝트(410b)에 대응하는 상대방 디바이스가 서로 동일한 그룹에 속하도록 사용자에 의하여 미리(예: 컨퍼런스 어플리케이션이 실행되기 전에) 설정되어 있는 실시예가 도시된다. 글래스 타입 웨어러블 디바이스(100)는, 사용자의 제1 신체 일부(예: 오른손)가 제1 반경 영역(510)내에 위치하였음을 검출한 경우, 제1 반경 영역(510)에 대응하여 설정된 제1 그룹에 속하는 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제2 그래픽 오브젝트(410b))주변에 시각적 효과(예: 테두리)를 디스플레이 할 수 있다. 다만, 글래스 타입 웨어러블 디바이스(100)는, 시각적 효과 이외에도/시각적 효과와 함께 청각적 효과(예: 미리 지정된 사운드) 및/또는 촉각적 효과(예: 미리 지정된 세기의 진동)를 글래스 타입 웨어러블 디바이스(100)를 통해 제공할 수 있다. 도 6a에서는, 제1 그래픽 오브젝트(410a) 및 제2 그래픽 오브젝트(410b)가 제1 반경 영역(510)에 대응하는 하나의 그룹으로 설정되어 있는 경우가 예시적으로 도시되며, 도 6b에서는, 제1 그래픽 오브젝트(410a)가 제1 반경 영역(510)에 대응하는 하나의 그룹으로 설정되어 있는 경우가 예시적으로 도시된다.
글래스 타입 웨어러블 디바이스(100)는, 동작 340에서, 사용자의 제1 신체 일부가 제1 영역(예: 제1 반경 영역(510))에 위치하는 동안에, 트리거 이벤트가 검출되는지 여부를 식별할 수 있다. 트리거 이벤트는, 사용자의 제1 신체 일부(예: 오른손)에 의한, 미리 지정된 제스처(예: 트리거 제스처)의 검출 또는 사용자의 음성 명령의 검출을 포함할 수 있다. 본 문서의 일 실시예에 따르면, 트리거 이벤트가 음성 명령의 검출을 포함하는 경우, 사용자의 제1 신체 일부의 위치는 제1 영역에 위치하고 있는 상태일 수 있다. 다만, 본 문서의 다른 실시예에 따르면, 사용자의 제1 신체 일부의 위치는 제1 영역에 위치하고 있지 않은 상태일 수도 있다.
도 7a 및 도 7b는, 본 문서의 다양한 실시예들에 따른 트리거 제스처를 설명하기 위한 예시 도면들이다.
도 7a를 참조하면, 하트 제스처가 트리거 제스처의 예시로서 도시된다.
도 7b를 참조하면, 엄지손가락을 치켜 세운 채로 상하로 손을 움직이는 제스처가 트리거 제스처의 예시로서 도시된다. 본 문서의 다른 실시예에 따르면, 트리거 이벤트는 사용자의 표정 변화 및/또는 눈동자의 움직임을 검출하는 이벤트를 포함할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 적어도 하나의 카메라(예: 제2 카메라(112))를 통하여 획득된 사용자의 얼굴 이미지를 이용하여 사용자의 표정 변화 및/또는 눈동자의 움직임을 검출할 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 350에서, 트리거 이벤트가 검출됨에 기반하여, 식별된 그룹에 포함되는 상대방 디바이스(280)에 대해, 트리거 이벤트에 대응하는 기능을 수행할 수 있다.
도 8은, 본 문서의 일 실시예에 따른 트리거 이벤트(예: 트리거 제스처를 검출)에 따라 글래스 타입 웨어러블 디바이스(100)에 의해 특정한 기능이 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 8을 참조하면, 트리거 제스처가 검출된 경우, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스에 의해, 특정한 그룹에 속하는 상대방 디바이스(280)로 검출된 트리거 제스처(예: 하트 제스처)에 대응하는 기능(예: 하트를 포함하는 메시지 전송)이 수행되는 실시예가 도시된다. 본 문서의 일 실시예에 따른 트리거 제스처에 대응하는 메시지는, 상대방 디바이스가 스마트 폰을 이용한 영상 통화를 통하여 해당 세션(예: 회의)에 참석하고 있는 경우, 영상 통화의 실행 화면에 디스플레이(예: 2차원으로 디스플레이) 될 수 있다. 또는, 본 문서의 일 실시예에 따른 트리거 제스처에 대응하는 메시지는, 도 8을 참조하면, 특정한 어플리케이션에서 제공되는 채팅 윈도우에서 이모티콘(810)의 형식으로 디스플레이(예: 3차원으로 디스플레이) 될 수도 있다. 또는, 본 문서의 일 실시예에 따른 트리거 제스처에 대응하는 메시지는, 상대방 디바이스(280)에 대해서 short message service(SMS) 메시지로 전송될 수도 있다. 도 8을 참조하여 설명하면, 본 문서의 일 실시예에 따른 트리거 제스처에 대응하는 메시지는, 제1 반경 영역(510)에 대응하는 그룹에 포함되는 상대방 디바이스(280)(예: 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스 및 제2 그래픽 오브젝트(410b)에 대응하는 상대방 디바이스) 모두에 대해 전송될 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 트리거 제스처에 대응하는 메시지를 상대방 디바이스(280)에 전송하기 위하여, 특정한 그룹에 속하는 상대방 디바이스(280)를 식별하는 기능 또는 동작을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 시각적 효과(610)가 표시된 이후에는, 사용자가 제1 신체 일부를 제1 영역(예: 제1 반경 영역(510))으로부터 벗어나도록 위치하여도 시각적 효과(610)의 디스플레이 상태는 유지될 수 있으며, 트리거 이벤트의 검출에 따른 특정한 기능이 제1 영역(예: 제1 반경 영역(510))에 대응하는 그룹에 포함되는 상대방 디바이스(280)(예: 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스 및 제2 그래픽 오브젝트(410b)에 대응하는 상대방 디바이스) 모두에 대해 수행될 수 있다. 또는, 시각적 효과(610)가 표시된 이후, 사용자가 제1 신체 일부를 제1 영역(예: 제1 반경 영역(510))으로부터 벗어나도록 위치한 경우에는, 시각적 효과(610)는 더 이상 디스플레이 되지 않을 수 있으며, 트리거 이벤트가 검출(예: 하트 제스처의 검출)되더라도 글래스 타입 웨어러블 디바이스(100)에 의해 특정한 기능이 수행되지 않도록 제어될 수 있다. 본 문서의 다른 실시예에 따르면, 사용자의 눈동자의 움직임이 미리 지정된 거리 이상으로 움직이거나, 사용자의 표정 변화가 제1 상태에서 제2 상태로 변경됨이 검출된 경우, 글래스 타입 웨어러블 디바이스(100)는, 특정한 기능을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)가 사용자의 표정 변화를 검출하기 위하여 메모리(140)에 저장된, 표정에 대한 탬플릿을 이용할 수 있다. 글래스 타입 웨어러블 디바이스(100)는 탬플릿과 획득된 이미지에서의 사용자의 표정을 비교하여 매칭 비율이 미리 지정된 비율 이상인 경우, 사용자의 표정이 특정한 상태(예: 웃는 상태)에 있다고 판단할 수 있다. 또는, 사용자의 표정을 판단히는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다.
도 9는, 글래스 타입 웨어러블 디바이스에 의해, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 외부 전자 장치로부터의 통신 신호의 수신에 따라 적어도 하나의 상대방 디바이스와 통신을 수행(예: 문자 메시지의 전송)하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 9를 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 동작 910에서, 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c) 및 제4 그래픽 오브젝트(420))가 디스플레이 영역(400)에서 보여지도록 디스플레이 모듈(150)을 제어할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 동작 920에서, 사용자(예: 제1 사용자)의 제1 신체 일부가 제1 영역(예: 제1 영역(510a) 또는 제1 반경(510))에 위치하는지 여부를 식별할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 동작 930에서, 사용자의 신체 일부(예: 오른손)가 제1 영역(예: 제1 영역(510a))에 위치함에 기반하여, 제1 영역(예: 제1 영역(510a))에 대응하는 그룹을 식별할 수 있다. 본 문서의 일 실시예에 따른 동작 910 내지 930에 대해서는, 상술한 동작 310 내지 330에 대한 설명이 동일하게 적용될 수 있으므로, 상세한 설명을 생략하기로 한다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 940에서, 외부 전자 장치(예: 스마트 폰)(1000)로부터, 식별된 그룹(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))에 속하는 상대방 디바이스(280)와 통신을 수행(예: 스마트 폰에 입력된 문자 메시지의 전송)하기 위한 요청을 수신할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 950에서, 수신된 요청에 기반하여, 상대방 디바이스와 통신을 수행할 수 있다.
도 10a, 도 10b 및 도 10c는, 도 9에서 설명된 기능 또는 동작을 그래픽 사용자 인터페이스 관점에서 설명하기 위한 본 문서의 다양한 실시예들에 따른 도면들이다.
도 10a, 도 10b 및 도 10c를 참조하면, 본 문서의 일 실시예에 따른 외부 전자 장치(예: 스마트 폰)는, 유선 통신 또는 무선 통신을 통하여 글래스 타입 웨어러블 디바이스(100)와 동작 가능하도록 연결되어 있을 수 있다. 도 10b를 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 외부 전자 장치(예: 스마트 폰)로부터 외부 전자 장치의 "전송(send)" 버튼(1020)이 선택되었음을 나타내는 신호를 수신한 경우, 외부 전자 장치로부터 입력된 텍스트에 관한 정보를 전송 받아 식별된 그룹(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))에 속하는 상대방 디바이스(280)로 문자 메시지를 전송할 수 있다. 도 10c를 참조하면, 문자 메시지가 전송된 후, 전송된 텍스트(1030)를 어플리케이션(예: 문자 메시지 어플리케이션)의 실행 화면(1010) 상에 디스플레이 할 수 있다. 본 문서의 다른 실시예에 따르면, 외부 전자 장치(예: 스마트 폰)로부터 도 10b에 도시된 바와 같이 외부 전자 장치(1000)의 "전송(send)" 버튼(1020)이 선택되었음을 나타내는 신호를 수신한 경우, 외부 전자 장치(1000)를 제어하여 입력된 텍스트(예: Hello)를 포함하는 문자 메시지가 식별된 상대방 디바이스(280)로 전송되도록 외부 전자 장치(1000)를 제어할 수도 있다. 본 문서의 일 실시예에 따르면, 동작 940 및 동작 950이 수행되는 동안에, 사용자의 제1 신체 일부(예: 오른손)의 위치는 제1 영역(예: 제1 반경 영역(510))에서 유지되지 않을 수 있다. 도 10a, 도 10b 및 도 10c를 참조하면, 사용자의 제1 신체 일부(예: 오른손)의 검출에 따라 특정한 그룹이 식별된 후, 사용자의 제1 신체 일부(예: 오른손)의 위치가 제1 영역(예: 제1 반경 영역(510))에서 유지되지 않는 실시예가 예시적으로 도시된다. 그러나, 본 문서의 다른 실시예에 따르면, 동작 940 및 동작 950은, 동작 930이 수행되는 시점으로부터 사용자의 제1 신체 일부(예: 오른손)의 위치가 제1 영역(예: 제1 반경 영역(510))에서 유지되어야 수행될 수도 있다.
도 11은, 본 문서의 일 실시예에 따라 글래스 타입 웨어러블 디바이스가 공유 제스처를 검출한 경우, 적어도 하나의 컨텐트를 적어도 하나의 상대방 디바이스(280)와 공유하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 12a, 도 12b 및 도 12c는, 본 문서의 다양한 실시예들에 따라 도 11에서 설명된 기능 또는 동작을 그래픽 사용자 인터페이스 관점에서 설명하기 위한 예시 도면들이다.
도 11을 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 동작 1110에서, 적어도 하나의 컨텐트(예: 제5 컨텐트(1225))를 공유하기 위한 요청을 수신할 수 있다. 본 문서의 일 실시예에 따른, 적어도 하나의 컨텐트(예: 제5 컨텐트(1225))를 공유하기 위한 요청은 예를 들어, 디스플레이 영역(400)에 디스플레이 된 복수의 아이템들(예: 제1 아이템(1212), 제2 아이템(1214), 제3 아이템(1216)) 중 어느 하나의 아이템(예: 제2 아이템(1214))에 대한 가상 터치 입력(1210)을 포함할 수 있다. 글래스 타입 웨어러블 디바이스는, 적어도 하나의 카메라(예: 제1 카메라(111))를 이용하여 획득된 사용자의 신체 일부(예: 오른손)에 대한 이미지가 복수의 아이템들(예: 제1 아이템(1212), 제2 아이템(1214), 제3 아이템(1216)) 중 어느 하나의 아이템(예: 제2 아이템(1214))과 오버랩 되었다고 판단된 경우, 또는, 오버랩 된 상태에서 어느 하나의 아이템(예: 제2 아이템(1214))을 선택하는 손가락의 움직임이 검출된 경우, 어느 하나의 아이템(예: 제2 아이템(1214))에 대한 가상 터치 입력이 수신되었다고 판단할 수 있다. 본 문서의 다른 실시예에 따르면, 가상 터치를 판단하기 위한 별도의 장치(예: 사용자의 손에 구비된 센서)를 통해 가상 터치가 입력되었는지 여부를 판단할 수 있다. 본 문서의 또 다른 실시예에 따르면, 복수 개의 카메라들을 이용하여 사용자의 손 끝이 위치하는 공간 상의 좌표를 인식하고, 인식된 공간 상의 좌표가 어느 하나의 아이템(예: 제2 아이템(1214))이 디스플레이 된 공간 상의 좌표와 매칭되는지 여부에 따라 가상 터치가 입력되었는지 여부를 판단할 수 있다. 이 밖에도, 가상 터치가 수행되었음을 판단하는 다양한 알고리즘들(예: 인공지능 모델 알고리즘)이 적용될 수 있다.
글래스 타입 웨어러블 디바이스(100)는, 동작 1120에서, 적어도 하나의 컨텐트(예: 제5 컨텐트(1225))에 대한 선택 입력(예: 가상 터치 입력)을 수신할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 동작 1110에 따라 적어도 하나의 컨텐트(예: 제5 컨텐트(1225))를 공유하기 위한 요청을 수신한 경우, 공유 대상이 되는 복수 개의 컨텐츠를 디스플레이 영역(400)에 디스플레이 할 수 있다. 도 12b에서는, 적어도 하나의 컨텐트(예: 제5 컨텐트(1225))를 공유하기 위한 요청에 따라 복수 개의 이미지들(예: 제1 컨텐트(1221), 제2 컨텐트(1222) 제3 컨텐트(1223), 제4 컨텐트(1224), 제5 컨텐트(1225), 제6 컨텐트(1226))를 포함하는 갤러리 어플리케이션의 실행 화면(1220)이 디스플레이 되는 실시예가 예시적으로 도시된다. 글래스 타입 웨어러블 디바이스(100)는, 복수 개의 이미지들(예: 제1 컨텐트(1221), 제2 컨텐트(1222) 제3 컨텐트(1223), 제4 컨텐트(1224), 제5 컨텐트(1225), 제6 컨텐트(1226)) 중 어느 하나의 이미지(예: 제5 컨텐트(1225))에 대한 가상 터치 입력을 수신(예: 식별)할 수 있다. 다만 가상 터치 입력은, 선택 입력에 대한 일 실시예로서, 다양한 디바이스들(예: 글래스 타입 웨어러블 디바이스(100)에 구비된 터치 패널 또는 센서)을 통해 동작 1120이 수행될 수도 있다.
글래스 타입 웨어러블 디바이스(100)는, 동작 1130에서, 사용자의 신체 일부가 위치한 영역(예: 제1 반경 영역(510))에 대해 설정된 그룹에 대응하는 그래픽 오브젝트를 식별할 수 있다. 도 12c를 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 선택된 컨텐트(예: 제5 컨텐트(1225))를 특정한 영역(예: 제1 반경 영역(510))으로 이동하는 제스처(예: 가상의 드래그 제스처)를 검출할 수 있다. 이 경우, 선택된 컨텐트(예: 제5 컨텐트(1225))는 사용자의 제스처가 종료될 때까지 도 12c에 도시된 바와 같이 썸네일 이미지로서 디스플레이 영역(400)에서 디스플레이 될 수 있다. 도 12c에서는, 제1 그래픽 오브젝트(410a)와 제2 그래픽 오브젝트(410b)가 제1 영역(예: 제1 반경 영역(510))에 대응하는 그래픽 오브젝트로서 결정되어 있는 실시예가 도시된다. 사용자의 신체 일부가 제1 영역(예: 제1 반경 영역(510))으로 진입하였음이 검출되면, 글래스 타입 웨어러블 디바이스(100)는, 시각적 효과(610)를 제1 그래픽 오브젝트(410a)와 제2 그래픽 오브젝트(410b) 주변에 디스플레이 할 수 있다.
글래스 타입 웨어러블 디바이스(100)는, 동작 1140에서, 공유 제스처를 검출할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 동작 1150에서, 공유 제스처의 검출에 따라, 식별된 그래픽 오브젝트에 대응하는 상대방 디바이스(280)로 적어도 하나의 컨텐트(예: 제5 컨텐트(1225))를 전송할 수 있다. 본 문서의 일 실시예에 따른 공유 제스처는 디스플레이 된 썸네일 이미지를 드롭하는 가상의 드롭 제스처를 포함할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 썸네일 이미지를 드롭하는 제스처를 판단하기 위하여, 상술한 가상의 터치 입력을 판단하는 기능 또는 동작 중 적어도 일부, 또는 글래스 타입 웨어러블 디바이스(100)에 미리 저장된 탬플릿(예: 드롭 제스처와 대응하는 탬플릿)을 이용하여 사용자의 제스처가 썸네일 이미지를 드롭하는 제스처인지 여부를 판단할 수 있다. 글래스 타입 웨어러블 디바이스(100)는, 공유 제스처가 검출되면, 글래스 타입 웨어러블 디바이스(100)에 저장된 적어도 하나의 컨텐트(예: 제5 컨텐트)에 관한 데이터를 상대방 디바이스(280)(예: 제1 그래픽 오브젝트(410a)에 대응하는 상대방 디바이스(280) 및 제2 그래픽 오브젝트(410b)에 대응하는 상대방 디바이스(280))로 전송할 수 있다.
도 13은, 본 문서의 일 실시예에 따라 글래스 타입 웨어러블 디바이스가 그룹 생성 제스처를 검출한 경우, 적어도 하나의 상대방 디바이스를 특정한 반경에 대응하는 하나의 그룹으로 생성하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 14a, 도 14b, 도 14c 및 도 14d는, 본 문서의 다양한 실시예들에 따라 도 13에서 설명된 기능 또는 동작을 그래픽 사용자 인터페이스 관점에서 설명하기 위한 예시 도면들이다.
도 13을 참조하면, 글래스 타입 웨어러블 디바이스(100)는, 동작 1310에서, 그룹을 생성하기 위한 요청을 수신할 수 있다. 본 문서의 일 실시예에 따른 그룹을 생성하기 위한 요청은, 도 14a를 참조하면, 디스플레이 영역(400)에 디스플레이 된 복수의 아이템들(예: 제1 아이템(1212), 제2 아이템(1214), 제3 아이템(1216)) 중 어느 하나의 아이템(예: 제1 아이템(1212))에 대한 가상 터치 입력을 포함할 수 있다.
글래스 타입 웨어러블 디바이스(100)는, 동작 1320에서, 동일한 그룹에 속하게 될 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))에 대한 선택 입력을 수신할 수 있다. 본 문서의 일 실시예에 따르면, 동작 1320에 따른 선택 입력은, 도 14b를 참조하면, 특정한 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))에 대한 가상의 터치 입력을 포함할 수 있다. 다만, 본 문서의 일 실시예에 따른 가상 터치 입력은, 선택 입력에 대한 일 실시예로서, 다양한 디바이스들(예: 글래스 타입 웨어러블 디바이스(100)에 구비된 터치 패널 또는 센서)을 통해 동작 1320이 수행될 수도 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 1330에서, 그룹 생성 제스처(예: 드래그 앤 드롭)를 검출할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 1340에서, 그룹 생성 제스처에 따라, 선택된 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))를 동일한 그룹으로 결정할 수 있다.
도 14c 및 도 14d를 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 선택된 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))에 대한 썸네일 이미지를 제1 영역(예: 제1 반경 영역(510)) 또는 제2 영역(예: 제2 반경 영역(520))으로 이동하는 제스처를 검출할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 적어도 하나의 카메라(예: 제1 카메라(111))에 의하여 획득된 이미지를 이용하여, 사용자의 신체 일부(예: 사용자의 손가락 끝 부분)가 제1 영역(예: 제1 반경 영역(510)) 또는 제2 영역(예: 제2 반경 영역(520))에 위치하는지 여부를 식별할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 선택된 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))에 대응하는 썸네일 이미지를 특정한 영역(예: 제1 영역(예: 제1 반경 영역(510)) 또는 제2 영역(예: 제2 반경 영역(520))에 드롭하는 가상의 드롭 제스처를 검출하면, 선택된 적어도 하나의 그래픽 오브젝트(예: 제1 그래픽 오브젝트(410a) 및 제3 그래픽 오브젝트(410c))를 특정한 영역(예: 제1 영역(예: 제1 반경 영역(510)) 또는 제2 영역(예: 제2 반경 영역(520))에 대응하는 하나의 그룹으로서 생성할 수 있다.
본 문서의 일 실시예에 따른 웨어러블 디바이스(예: 글래스 타입 웨어러블 디바이스(100))는, 디스플레이 모듈(예: 도 1의 디스플레이 모듈(150)), 및 적어도 하나의 프로세서(예: 도 1의 적어도 하나의 프로세서(120))를 포함하고, 적어도 하나의 프로세서는, 적어도 하나의 그래픽 오브젝트(예: 도 4의 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c))가 디스플레이 영역(예: 도 4의 디스플레이 영역(400))에서 보여지도록 디스플레이 모듈을 제어하고, 사용자의 신체 일부가 제1 영역(예: 제1 반경 영역(510) 및/또는 제1 영역(510a))에 위치하는지 여부를 식별하고, 사용자의 신체 일부가 제1 영역에 위치함에 기반하여, 제1 영역에 대응하는 그룹을 식별하고, 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하고, 트리거 이벤트가 검출됨에 기반하여, 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스에 대해 트리거 이벤트에 대응하는 기능을 수행하도록 설정될 수 있다.
본 문서의 일 실시예에 따른 웨어러블 디바이스(예: 글래스 타입 웨어러블 디바이스(100))를 제어하는 방법은, 적어도 하나의 그래픽 오브젝트(예: 도 4의 제1 그래픽 오브젝트(410a), 제2 그래픽 오브젝트(410b), 제3 그래픽 오브젝트(410c))가 디스플레이 영역에서 보여지도록 상기 웨어러블 디바이스의 디스플레이 모듈을 제어하는 동작과, 사용자의 신체 일부가 제1 영역에 위치하는지 여부를 식별하는 동작과, 상기 사용자의 신체 일부가 상기 제1 영역에 위치함에 기반하여, 상기 제1 영역에 대응하는 그룹을 식별하는 동작과, 상기 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 상기 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하는 동작과, 상기 트리거 이벤트가 검출됨에 기반하여, 상기 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스(counterpart device)에 대해 상기 트리거 이벤트에 대응하는 기능을 수행하는 동작을 포함할 수 있다.
도 15는, 다양한 실시예들에 따른, 네트워크 환경(1500) 내의 전자 장치(1501)의 블록도이다.
도 15를 참조하면, 네트워크 환경(1500)에서 전자 장치(1501)는 제 1 네트워크(1598)(예: 근거리 무선 통신 네트워크)를 통하여 외부 전자 장치(1502)와 통신하거나, 또는 제 2 네트워크(1599)(예: 원거리 무선 통신 네트워크)를 통하여 외부 전자 장치(1504) 또는 서버(1508) 중 적어도 하나와 통신할 수 있다. 본 문서의 일 실시예에 따르면, 전자 장치(1501)는 서버(1508)를 통하여 외부 전자 장치(1504)와 통신할 수 있다. 본 문서의 일 실시예에 따르면, 전자 장치(1501)는 프로세서(1520), 메모리(1530), 입력 모듈(1550), 음향 출력 모듈(1555), 디스플레이 모듈(1560), 오디오 모듈(1570), 센서 모듈(1576), 인터페이스(1577), 연결 단자(1578), 햅틱 모듈(1579), 카메라 모듈(1580), 전력 관리 모듈(1588), 배터리(1589), 통신 모듈(1590), 가입자 식별 모듈(1596), 또는 안테나 모듈(1597)을 포함할 수 있다. 본 문서의 어떤 실시예에서는, 전자 장치(1501)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1578))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1576), 카메라 모듈(1580), 또는 안테나 모듈(1597))은 하나의 구성요소(예: 디스플레이 모듈(1560))로 통합될 수 있다.
프로세서(1520)는, 예를 들면, 소프트웨어(예: 프로그램(1540))를 실행하여 프로세서(1520)에 연결된 전자 장치(1501)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1520)는 다른 구성요소(예: 센서 모듈(1576) 또는 통신 모듈(1590))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1532)에 저장하고, 휘발성 메모리(1532)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1534)에 저장할 수 있다. 본 문서의 일 실시예에 따르면, 프로세서(1520)는 메인 프로세서(1521)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1523)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1501)가 메인 프로세서(1521) 및 보조 프로세서(1523)를 포함하는 경우, 보조 프로세서(1523)는 메인 프로세서(1521)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1523)는 메인 프로세서(1521)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1523)는, 예를 들면, 메인 프로세서(1521)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1521)를 대신하여, 또는 메인 프로세서(1521)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1521)와 함께, 전자 장치(1501)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1560), 센서 모듈(1576), 또는 통신 모듈(1590))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 본 문서의 일 실시예에 따르면, 보조 프로세서(1523)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1580) 또는 통신 모듈(1590))의 일부로서 구현될 수 있다. 본 문서의 일 실시예에 따르면, 보조 프로세서(1523)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(1501) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1508))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1530)는, 전자 장치(1501)의 적어도 하나의 구성요소(예: 프로세서(1520) 또는 센서 모듈(1576))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1540)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1530)는, 휘발성 메모리(1532) 또는 비휘발성 메모리(1534)를 포함할 수 있다.
프로그램(1540)은 메모리(1530)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1542), 미들 웨어(1544) 또는 어플리케이션(1546)을 포함할 수 있다.
입력 모듈(1550)은, 전자 장치(1501)의 구성요소(예: 프로세서(1520))에 사용될 명령 또는 데이터를 전자 장치(1501)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1550)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1555)은 음향 신호를 전자 장치(1501)의 외부로 출력할 수 있다. 음향 출력 모듈(1555)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 본 문서의 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1560)은 전자 장치(1501)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1560)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 디스플레이 모듈(1560)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1570)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 본 문서의 일 실시예에 따르면, 오디오 모듈(1570)은, 입력 모듈(1550)을 통해 소리를 획득하거나, 음향 출력 모듈(1555), 또는 외부 전자 장치(1501)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 외부 전자 장치(1502))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1576)은 전자 장치(1501)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 본 문서의 일 실시예에 따르면, 센서 모듈(1576)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1577)는 전자 장치(1501)가 외부 전자 장치(예: 외부 전자 장치(1502))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 본 문서의 일 실시예에 따르면, 인터페이스(1577)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1578)는, 그를 통해서 전자 장치(1501)가 외부 전자 장치(예: 전자 장치(1502))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1578)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1579)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 본 문서의 일 실시예에 따르면, 햅틱 모듈(1579)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1580)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1580)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1588)은 전자 장치(1501)에 공급되는 전력을 관리할 수 있다. 본 문서의 일 실시예에 따르면, 전력 관리 모듈(1588)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1589)는 전자 장치(1501)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 본 문서의 일 실시예에 따르면, 배터리(1589)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1590)은 전자 장치(1501)와 외부 전자 장치(예: 외부 전자 장치(1502), 외부 전자 장치(1504), 또는 서버(1508)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1590)은 프로세서(1520)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1590)은 무선 통신 모듈(1592)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1594)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1598)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1599)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1504)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1592)은 가입자 식별 모듈(1596)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1598) 또는 제 2 네트워크(1599)와 같은 통신 네트워크 내에서 전자 장치(1501)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1592)은 4세대(4G) 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1592)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: 밀리미터 웨이브(mmWave) 대역)을 지원할 수 있다. 무선 통신 모듈(1592)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1592)은 전자 장치(1501), 외부 전자 장치(예: 외부 전자 장치(1504)) 또는 네트워크 시스템(예: 제 2 네트워크(1599))에 규정되는 다양한 요구사항을 지원할 수 있다. 본 문서의 일 실시예에 따르면, 무선 통신 모듈(1592)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1597)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 본 문서의 일 실시예에 따르면, 안테나 모듈(1597)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 안테나 모듈(1597)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(1598) 또는 제 2 네트워크(1599)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1590)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1590)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1597)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(1597)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1599)에 연결된 서버(1508)를 통해서 전자 장치(1501)와 외부의 전자 장치(1504)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1502, 또는 1504) 각각은 전자 장치(1501)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1501)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1502, 1504, 또는 1508) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1501)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1501)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1501)로 전달할 수 있다. 전자 장치(1501)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1501)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(1504)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1508)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(1504) 또는 서버(1508)는 제 2 네트워크(1599) 내에 포함될 수 있다. 전자 장치(1501)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 본 문서의 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1501)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1536) 또는 외장 메모리(1538))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1540))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1501))의 프로세서(예: 프로세서(1520))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 문서의 일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시 내용이 그의 다양한 실시양태들을 참조하여 도시되고 설명되었지만, 첨부된 클레임들 및 그의 균등물들에 의해 정의되는 본 문서의 사상 및 범위를 벗어나지 않으면서 형태 및 세부 사항의 다양한 변경이 이루어질 수 있다는 것이 통상의 기술자에 의하여 이해될 수 있을 것이다.

Claims (15)

  1. 웨어러블 디바이스에 있어서,
    디스플레이 모듈, 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    적어도 하나의 그래픽 오브젝트(object)가 디스플레이 영역에서 보여지도록 상기 디스플레이 모듈을 제어하고,
    사용자의 신체 일부가 제1 영역에 위치하는지 여부를 식별하고,
    상기 사용자의 신체 일부가 상기 제1 영역에 위치함에 기반하여, 상기 제1 영역에 대응하는 그룹을 식별하고,
    상기 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 상기 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하고,
    상기 트리거 이벤트가 검출됨에 기반하여, 상기 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스(counterpart device)에 대해 상기 트리거 이벤트에 대응하는 기능을 수행하도록 설정되고,
    상기 기능은, 상기 적어도 하나의 상대방 디바이스에 대해 공통적으로 수행되는 기능인 것을 특징으로 하는, 웨어러블 디바이스.
  2. 제1항에 있어서,
    상기 그룹은, 상기 제1 영역에 대응하도록 미리 지정된 그룹인 것을 포함하는 것을 특징으로 하는, 웨어러블 디바이스.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 사용자의 신체 일부가 상기 제1 영역에 위치함이 검출된 경우, 동일한 그룹에 속하는 상기 적어도 하나의 그래픽 오브젝트의 주변에 미리 지정된 시각적 효과를 제공하도록 더 설정된 것을 특징으로 하는, 웨어러블 디바이스.
  4. 제1항에 있어서,
    상기 제1 영역은, 상기 디스플레이 영역에서 미리 지정된 디스플레이 영역이고,
    상기 적어도 하나의 프로세서는, 상기 사용자의 신체 일부가 상기 미리 지정된 디스플레이 영역 내에 위치하는지 여부를 식별함으로써 상기 사용자의 신체 일부가 상기 제1 영역에 위치하는지 여부를 식별하도록 더 설정된 것을 특징으로 하는, 웨어러블 디바이스.
  5. 제1항에 있어서,
    상기 트리거 이벤트는, 상기 사용자의 신체 일부에 의한 제스처 또는 상기 사용자의 표정 변화를 포함하는 것을 특징으로 하는, 웨어러블 디바이스.
  6. 제1항에 있어서,
    상기 웨어러블 디바이스는, 외부 전자 장치와 연결되도록 설정된 통신 회로를 더 포함하고,
    상기 트리거 이벤트는, 상기 통신 모듈을 통해 상기 외부 전자 장치로부터 수신된 메시지 전송 신호 또는 콜 발신 신호를 포함하는 것을 특징으로 하는, 웨어러블 디바이스.
  7. 제6항에 있어서,
    상기 기능은, 동일한 그룹에 속하는 상기 적어도 하나의 상대방 디바이스에 대한 메시지 전송 기능 또는 콜 발신 기능을 포함하는 것을 특징으로 하는, 웨어러블 디바이스.
  8. 제1항에 있어서,
    상기 웨어러블 디바이스는, 적어도 하나의 메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 메모리에 저장된 컨텐트를 동일한 그룹에 속하는 상기 적어도 하나의 상대방 디바이스와 공유하기 위한 요청을 수신하도록 더 설정된 것을 특징으로 하는, 웨어러블 디바이스.
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 사용자로부터의 공유 제스처의 수신에 따라 상기 적어도 하나의 컨텐츠를 상기 동일한 그룹에 속하는 상기 적어도 하나의 상대방 디바이스로 전송하도록 더 설정된 것을 특징으로 하는, 웨어러블 디바이스.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 사용자로부터의 그룹 생성 제스처에 따라 상기 적어도 하나의 그래픽 오브젝트를 상기 제1 영역에 대응하는 그룹으로 결정하도록 더 설정된 것을 특징으로 하는, 웨어러블 디바이스.
  11. 웨어러블 디바이스를 제어하는 방법에 있어서,
    적어도 하나의 그래픽 오브젝트(object)가 디스플레이 영역에서 보여지도록 상기 웨어러블 디바이스의 디스플레이 모듈을 제어하는 동작과,
    사용자의 신체 일부가 제1 영역에 위치하는지 여부를 식별하는 동작과,
    상기 사용자의 신체 일부가 상기 제1 영역에 위치함에 기반하여, 상기 제1 영역에 대응하는 그룹을 식별하는 동작과,
    상기 사용자의 신체 일부가 상기 제1 영역에 위치하는 동안에, 상기 사용자에 의한 트리거 이벤트가 검출되는지 여부를 식별하는 동작과,
    상기 트리거 이벤트가 검출됨에 기반하여, 상기 식별된 그룹에 포함되는 적어도 하나의 상대방 디바이스(counterpart device)에 대해 상기 트리거 이벤트에 대응하는 기능을 수행하는 동작을 포함하고,
    상기 기능은, 상기 적어도 하나의 상대방 디바이스에 대해 공통적으로 수행되는 기능인 것을 특징으로 하는, 웨어러블 디바이스의 제어 방법.
  12. 제11항에 있어서,
    상기 그룹은, 상기 제1 영역에 대응하도록 미리 지정된 그룹인 것을 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 제어하는 방법.
  13. 제11항에 있어서,
    상기 웨어러블 디바이스를 제어하는 방법은, 상기 사용자의 신체 일부가 상기 제1 영역에 위치함이 검출된 경우, 동일한 그룹에 속하는 상기 적어도 하나의 그래픽 오브젝트의 주변에 미리 지정된 시각적 효과를 제공하는 동작을 더 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 제어하는 방법.
  14. 제11항에 있어서,
    상기 제1 영역은, 상기 디스플레이 영역에서 미리 지정된 디스플레이 영역이고,
    상기 웨어러블 디바이스를 제어하는 방법은, 상기 사용자의 신체 일부가 상기 미리 지정된 디스플레이 영역 내에 위치하는지 여부를 식별함으로써 상기 사용자의 신체 일부가 상기 제1 영역에 위치하는지 여부를 식별하는 동작을 더 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 제어하는 방법.
  15. 제11항에 있어서,
    상기 트리거 이벤트는, 상기 사용자의 신체 일부에 의한 제스처 또는 상기 사용자의 표정 변화를 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 제어하는 방법.
PCT/KR2022/017746 2021-11-15 2022-11-11 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법 WO2023085847A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/987,365 US20230152899A1 (en) 2021-11-15 2022-11-15 Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210156598 2021-11-15
KR10-2021-0156598 2021-11-15
KR10-2021-0175632 2021-12-09
KR1020210175632A KR20230070990A (ko) 2021-11-15 2021-12-09 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/987,365 Continuation US20230152899A1 (en) 2021-11-15 2022-11-15 Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor

Publications (1)

Publication Number Publication Date
WO2023085847A1 true WO2023085847A1 (ko) 2023-05-19

Family

ID=86336254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/017746 WO2023085847A1 (ko) 2021-11-15 2022-11-11 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2023085847A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101712350B1 (ko) * 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
KR20180064748A (ko) * 2016-12-06 2018-06-15 한국과학기술연구원 공간적 관계 정보를 이용하여 겹쳐 있는 가상 객체를 선택하기 위한 방법, 프로그램 및 장치
KR101933289B1 (ko) * 2014-04-01 2018-12-27 애플 인크. 링 컴퓨팅 디바이스를 위한 디바이스 및 방법
WO2020130688A1 (ko) * 2018-12-19 2020-06-25 삼성전자 주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
US20210191526A1 (en) * 2018-09-07 2021-06-24 Samsung Electronics Co., Ltd. User intention-based gesture recognition method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933289B1 (ko) * 2014-04-01 2018-12-27 애플 인크. 링 컴퓨팅 디바이스를 위한 디바이스 및 방법
KR101712350B1 (ko) * 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
KR20180064748A (ko) * 2016-12-06 2018-06-15 한국과학기술연구원 공간적 관계 정보를 이용하여 겹쳐 있는 가상 객체를 선택하기 위한 방법, 프로그램 및 장치
US20210191526A1 (en) * 2018-09-07 2021-06-24 Samsung Electronics Co., Ltd. User intention-based gesture recognition method and apparatus
WO2020130688A1 (ko) * 2018-12-19 2020-06-25 삼성전자 주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2022145956A1 (ko) 방열 구조를 포함하는 전자 장치
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2022220659A1 (ko) 전자 장치 및 전자 장치에서 외부 전자 장치를 이용하여 정보를 입력하는 방법
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2023085847A1 (ko) 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법
WO2022177334A1 (ko) 웨어러블 전자 장치
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2022154417A1 (ko) 감정 상태를 식별하는 전자 장치 및 그 운용 방법
WO2023090846A1 (ko) 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
WO2023210961A1 (ko) 웨어러블 디바이스의 착용 상태에 따라 상이한 피드백을 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2024106995A1 (ko) 가상 현실 공간 상에 가상 객체를 제공하기 위한 전자 장치 및 방법
WO2024034811A1 (ko) 시선 방향을 식별하는 전자 장치 및 그 작동 방법
WO2022231162A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024117452A1 (ko) 사용자의 움직임에 대한 트래킹 정보에 기반하여 렌더링을 하기 위한 전자 장치 및 방법
WO2022177209A1 (ko) 시선 추적 방법 및 전자 장치
WO2023054877A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2023191554A1 (ko) 투명 디스플레이를 구비한 웨어러블 장치 및 그 동작 방법
WO2022098134A1 (ko) 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2023027276A1 (ko) 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법
WO2023043022A1 (ko) 모바일 장치의 확장 화면을 표시하는 장치 및 방법
WO2024096485A1 (ko) 외부 광원의 조도에 따라 광투과율을 조정하는 웨어러블 장치 및 그 제어 방법
WO2024080770A1 (ko) 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법
WO2022114535A1 (ko) 카메라를 포함하는 증강 현실 웨어러블 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22893266

Country of ref document: EP

Kind code of ref document: A1