WO2024101676A1 - 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법 - Google Patents

외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법 Download PDF

Info

Publication number
WO2024101676A1
WO2024101676A1 PCT/KR2023/015658 KR2023015658W WO2024101676A1 WO 2024101676 A1 WO2024101676 A1 WO 2024101676A1 KR 2023015658 W KR2023015658 W KR 2023015658W WO 2024101676 A1 WO2024101676 A1 WO 2024101676A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
external object
display
shape
items
Prior art date
Application number
PCT/KR2023/015658
Other languages
English (en)
French (fr)
Inventor
김대희
김성오
염동현
김범수
김주영
우현택
이보영
조용일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220182140A external-priority patent/KR20240067764A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024101676A1 publication Critical patent/WO2024101676A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • Various embodiments relate to an electronic device and method for providing information about an item included in an external object based on the type of the external object.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a camera, a display, memory, and a processor.
  • the processor may use the camera to identify an external object, including a storage compartment, contained within a display area of the display.
  • the processor may obtain information related to the external object based on identifying the external object.
  • the processor may use the camera to identify the shape of the external object among a first shape in which the storage is open or a second shape different from the first shape.
  • the processor may obtain a designated motion for moving one or more items located in the storage using the camera, based on identifying the shape of the external object corresponding to the first shape.
  • the processor may change the information representing the list of the one or more items located in the storage based on the obtained specified motion.
  • the method may include identifying an external object including a storage compartment included in a display area of a display using a camera.
  • the method may include, based on identifying the external object, setting a designated type corresponding to the external object using type information for distinguishing the external object stored in memory. You can.
  • the method may include obtaining item information related to one or more items included in the storage that correspond to the established specified type.
  • the method may include controlling the display to display a visual object representing the item information, based on obtaining the item information.
  • a wearable device may include a camera, a display, memory, and a processor.
  • the processor may use the camera to identify an external object, including a storage compartment, contained within a display area of the display. Based on identifying the external object, the processor may set a designated type corresponding to the external object using type information for distinguishing the external object stored in the memory.
  • the processor may obtain item information related to one or more items included in the storage corresponding to the set specified type.
  • the processor may control the display to display a visual object representing the item information based on obtaining the item information.
  • the method may include identifying an external object including a storage compartment included in a display area of a display using a camera.
  • the method may include obtaining information related to the external object based on identifying the external object.
  • the method may include an operation of identifying the shape of the external object, using the camera, among a first shape in which the storage is open or a second shape different from the first shape.
  • the method may include obtaining a designated motion for moving one or more items located in the storage using the camera, based on identifying the shape of the external object corresponding to the first shape. there is.
  • the method may include changing the information indicating the list of the one or more items located in the storage based on the obtained specified motion.
  • FIG. 1 illustrates an example of an operation in which a wearable device displays a visual object corresponding to an external object, according to an embodiment.
  • FIG. 2A shows an example of a perspective view of a wearable device, according to one embodiment.
  • FIG. 2B illustrates an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • 3A to 3B show an example of the appearance of a wearable device, according to an embodiment.
  • Figure 4 shows an example block diagram of a wearable device according to one embodiment.
  • FIGS. 5A, 5B, and 5C illustrate an example of an operation in which a wearable device displays a visual object corresponding to a type of an external object, according to an embodiment.
  • FIG. 6 shows an example flowchart illustrating the operation of a wearable device according to an embodiment.
  • FIG. 7 illustrates an example of an operation in which a wearable device identifies the state of an external object, according to an embodiment.
  • FIG. 8 illustrates an example flowchart of an operation in which a wearable device identifies a change in one or more items based on the state of an external object, according to an embodiment.
  • FIG. 9 illustrates an example of an operation in which a wearable device identifies a change in one or more items, according to an embodiment.
  • Figure 10 shows an example flowchart showing the operation of a wearable device according to an embodiment.
  • FIG. 11 illustrates an example of an operation in which a wearable device displays a visual object indicating control of an external object, according to an embodiment.
  • FIG. 12 illustrates an example interaction between a wearable device and an external electronic device according to an embodiment.
  • FIG. 13 illustrates an example of an operation in which a wearable device provides the location of at least one item in response to at least one input, according to an embodiment.
  • Figure 14 shows an example flowchart showing the operation of a wearable device according to an embodiment.
  • 15 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • Figure 16 is an example diagram of a network environment in which metaverse services are provided through a server.
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 illustrates an example of an operation in which a wearable device displays a visual object corresponding to an external object, according to an embodiment.
  • the wearable device 101 may have the form of glasses that can be worn on a user's body part (eg, head).
  • the wearable device 101 may include a head-mounted display (HMD).
  • the housing of the wearable device 101 may be made of a flexible material such as rubber and/or silicone that is shaped to fit closely to a portion of the user's head (e.g., a portion of the face surrounding both eyes). may include.
  • the housing of wearable device 101 may include one or more straps capable of being twined around the user's head, and/or one or more temples attachable to the ears of the head. ) may include.
  • a description of one or more components included in the wearable device 101 will be provided later with reference to FIGS. 2A and 2B.
  • the wearable device 101 may identify external objects 115 visible within the display area 110 of the display using the camera of the wearable device 101.
  • the wearable device 101 may identify external objects 115 based on identifying the gaze of the user wearing the wearable device 101.
  • the wearable device 101 may identify the type of each identified external object 115.
  • the wearable device 101 may identify each type of external objects 115 using at least one data stored in the memory of the wearable device 101. There may be one or more types corresponding to each of the external objects 115. A description of the above types will be provided later with reference to FIG. 4 .
  • the wearable device 101 may obtain information indicating one or more items included in the external objects 115 based on identifying the external objects 115 .
  • the external objects 115 may include at least one storage compartment.
  • External objects 115 may store at least one item using the at least one storage.
  • the wearable device 101 may obtain item information included in the external object 115-1 based on identifying the type of the external object 115-1.
  • the wearable device 101 may identify a change in at least one item that can be stored in the external object 115-1 using the camera of the wearable device 101.
  • the wearable device 101 may identify a change in the at least one item based on execution of an image analysis application stored in the memory of the wearable device 101.
  • the wearable device 101 may update item information based on identifying a change in the at least one item. The operation of the wearable device 101 to update item information will be described later with reference to FIG. 9 .
  • the wearable device 101 uses item information to determine the type of item included in the external object 115-1, the item name, the number of items, and whether the item is included in the external object 115-1.
  • Stored time information e.g., storage date
  • time information for which the item was available e.g., expiration date, or use by date
  • the wearable device 101 uses the item information to control the display of a visual object 116 indicating items included in the external object 115-1 to display it within the display area 110 of the display. You can.
  • the wearable device 101 may provide the user of the wearable device 101 with information about at least one item included in the external object 115-1 by displaying the visual object 116.
  • the information about the at least one item is a recorded image based on the wearable device 101 identifying the shape of the external object 115-1 with an open storage using a camera. It can be updated using: For example, the wearable device 101 may identify a designated motion indicating a change of the at least one item based on dividing the image to correspond to the at least one item. Based on identifying the designated motion, the wearable device 101 may update information about the at least one item. The operation of the wearable device 101 updating information about the at least one item will be described later with reference to FIG. 9 .
  • the wearable device 101 may obtain the state of the external object 115-2 based on identifying the external object 115-2. For example, the wearable device 101 may identify whether the external object 115-2 stores at least one item. The wearable device 101 may display the visual object 117 in the display area 110 of the display based on obtaining the state of the external object 115-2. The wearable device 101 may display the visual object 117 to remind the user of the user's memory of using the external object 115-2. For example, the wearable device 101 may display a visual object indicating control of the external object 115-2 based on the distance between the wearable device 101 and the external object 115-2. The operation of the wearable device 101 to display the visual object based on the distance will be described later with reference to FIG. 11 .
  • the wearable device 101 can identify external objects 115 using a camera. Based on identifying the external objects 115, the wearable device 101 can set the type corresponding to each of the external objects 115 using type information stored in the memory of the wearable device. there is. Based on the set type, the wearable device 101 displays visual objects 116 and 117 representing one or more items included in each of the external objects 115 in the display area of the display using item information stored in the memory. It can be displayed within (110). The wearable device 101 may control the display to display item information corresponding to the type of external object, thereby providing the user with the location where at least one item is stored.
  • FIG. 2A shows an example of a perspective view of a wearable device, according to one embodiment.
  • FIG. 2B illustrates an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • the wearable device 101 of FIGS. 2A and 2B may be an example of the wearable device 101 of FIG. 1 .
  • the wearable device 101 according to one embodiment may include at least one display 250 and a frame 200 supporting the at least one display 250.
  • the wearable device 101 may be worn on a part of the user's body.
  • the wearable device 101 may provide augmented reality (AR), virtual reality (VR), or mixed reality (MR) that combines augmented reality and virtual reality to a user wearing the wearable device 101.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • the wearable device 101 may, in response to a user's designated gesture obtained through the motion recognition cameras 260 - 2 and 264 of FIG. 2B , perform a motion at least one optical device 282 and 284 of FIG. 2B .
  • the provided virtual reality image may be displayed on at least one display 250.
  • At least one display 250 may provide visual information to the user.
  • at least one display 250 may include a transparent or translucent lens.
  • At least one display 250 may include a first display 250-1 and/or a second display 250-2 spaced apart from the first display 250-1.
  • the first display 250-1 and the second display 250-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • At least one display 250 provides visual information transmitted from external light to the user through a lens included in the at least one display 250, and other visual information distinct from the visual information. can do.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • at least one display 250 may include a first surface 231 and a second surface 232 opposite to the first surface 231 .
  • a display area may be formed on the second side 232 of at least one display 250.
  • At least one display 250 displays an augmented reality image in which a virtual reality image provided by at least one optical device 282 or 284 is combined with a real screen transmitted through external light, and a second display. It can be displayed in a display area formed on the surface 232.
  • the at least one display 250 includes at least one waveguide 233, 234 that diffracts light emitted from the at least one optical device 282, 284 and transmits it to the user.
  • At least one waveguide 233 or 234 may be formed based on at least one of glass, plastic, or polymer.
  • a nanopattern may be formed on the outside or at least a portion of the inside of at least one waveguide (233, 234).
  • the nanopattern may be formed based on a polygonal and/or curved grating structure. Light incident on one end of the at least one waveguide (233, 234) may propagate to the other end of the at least one waveguide (233, 234) by the nanopattern.
  • At least one waveguide 233 or 234 may include at least one of a diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)), or a reflective element (e.g., a reflective mirror).
  • a diffractive element e.g., a diffractive optical element (DOE), a holographic optical element (HOE)
  • a reflective element e.g., a reflective mirror.
  • at least one waveguide 233 or 234 may be disposed within the wearable device 101 to guide the screen displayed by the at least one display 250 to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) generated within at least one waveguide (233, 234).
  • TIR total internal reflection
  • the wearable device 101 analyzes external objects included in real images collected through the shooting camera 245, and selects a virtual object corresponding to the external object that is the target of providing augmented reality among the analyzed external objects.
  • Objects virtual objects
  • the virtual object may include at least one of text and images for various information related to external objects included in the real image.
  • the wearable device 101 can analyze external objects based on multi-cameras, such as stereo cameras. For the object analysis, the wearable device 101 may perform simultaneous localization and mapping (SLAM) using multi-cameras and/or time-of-flight (ToF).
  • SLAM simultaneous localization and mapping
  • ToF time-of-flight
  • the frame 200 may be made of a physical structure that allows the wearable device 101 to be worn on the user's body. According to one embodiment, the frame 200 is configured so that when the user wears the wearable device 101, the first display 250-1 and the second display 250-2 correspond to the user's left eye and right eye. It can be configured so that it can be located.
  • the frame 200 may support at least one display 250. For example, the frame 200 may support the first display 250-1 and the second display 250-2 to be positioned at positions corresponding to the user's left eye and right eye.
  • the frame 200 may include an area 220 at least partially in contact with a portion of the user's body.
  • the area 220 of the frame 200 that is in contact with a part of the user's body is a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 101 touches.
  • the frame 200 may include a nose pad 210 that contacts a part of the user's body. When the wearable device 101 is worn by a user, the nose pad 210 may be in contact with a portion of the user's nose.
  • the frame 200 may include a first temple 204 and a second temple 205 that are in contact with another part of the user's body that is distinct from the part of the user's body.
  • the frame 200 includes a first rim 201 surrounding at least a portion of the first display 250-1 and a second rim 201 surrounding at least a portion of the second display 250-2. 202), a bridge 203 disposed between the first rim 201 and the second rim 202, a first bridge 203 disposed along a portion of the edge of the first rim 201 from one end of the bridge 203 Pad 211, a second pad 212 disposed along a portion of the edge of the second rim 202 from the other end of the bridge 203, and a first pad that extends from the first rim 201 and is fixed to a portion of the wearer's ear.
  • the temple 204 and a second temple 205 may include a temple 204 and a second temple 205 that extends from the second rim 202 and is fixed to a portion of the ear opposite the ear.
  • the first pad 211 and the second pad 212 may be in contact with a portion of the user's nose, and the first temple 204 and the second temple 205 may be in contact with a portion of the user's face and a portion of the ear. may come into contact with.
  • the temples 204 and 205 may be rotatably connected to the rim through the hinge units 206 and 207 of FIG. 2B.
  • the first temple 204 may be rotatably connected to the first rim 201 through a first hinge unit 206 disposed between the first rim 201 and the first temple 204. .
  • the second temple 205 may be rotatably connected to the second rim 202 through a second hinge unit 207 disposed between the second rim 202 and the second temple 205.
  • the wearable device 101 detects an external object that touches the frame 200 using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of the surface of the frame 200. Gestures performed by, for example, a user's fingertip, and/or the external object may be identified.
  • the wearable device 101 may include hardware (eg, hardware to be described later based on the block diagram of FIG. 4) that performs various functions.
  • the hardware includes a battery module 270, an antenna module 275, at least one optical device 282, 284, speakers (e.g., speakers 255-1, 255-2), and a microphone. (e.g., microphones 265-1, 265-2, 265-3), a light emitting module (not shown), and/or a printed circuit board (PCB) 290 (e.g., a printed circuit board).
  • PCB printed circuit board
  • Various hardware may be placed within frame 200.
  • a microphone e.g., microphones 265-1, 265-2, and 265-3) of the wearable device 101 is disposed in at least a portion of the frame 200 to acquire a sound signal.
  • 265-3 is shown in FIG. 2B, the number and placement of microphones 265 are not limited to the one embodiment of FIG. 2B.
  • the wearable device 101 uses a plurality of microphones disposed on different parts of the frame 200 to determine the direction of the sound signal. can be identified.
  • At least one optical device 282 or 284 may project a virtual object on at least one display 250 in order to provide various image information to the user.
  • at least one optical device 282, 284 may be a projector.
  • the at least one optical device 282 or 284 may be disposed adjacent to the at least one display 250 or may be included within the at least one display 250 as part of the at least one display 250 .
  • the wearable device 101 includes a first optical device 282 corresponding to the first display 250-1 and a second optical device (282) corresponding to the second display 250-2. 284) may be included.
  • the at least one optical device 282, 284 may include a first optical device 282 disposed at an edge of the first display 250-1 and an edge of the second display 250-2. It may include a second optical device 284.
  • the first optical device 282 may transmit light to the first waveguide 233 disposed on the first display 250-1
  • the second optical device 284 may transmit light to the second display 250-1.
  • -2) Light can be transmitted to the second waveguide 234 disposed on the top.
  • the camera 260 may include an imaging camera 245, an eye tracking camera (ET CAM) 260-1, and/or a motion recognition camera 260-2. .
  • the shooting camera 245, the eye tracking camera 260-1, and the motion recognition cameras 260-2 and 264 may be placed at different positions on the frame 200 and perform different functions.
  • the gaze tracking camera 260-1 may output data representing the gaze of the user wearing the wearable device 101.
  • the wearable device 101 may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera 260-1.
  • An example in which the gaze tracking camera 260-1 is positioned toward the user's right eye is shown in FIG. 2B, but the embodiment is not limited thereto, and the gaze tracking camera 260-1 is positioned solely toward the user's left eye. It may be placed towards, or towards both eyes.
  • the capturing camera 245 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera 245 can capture an image of a specific object that exists at a location where the user is looking and provide the image to at least one display 250.
  • At least one display 250 displays information about an actual image or background including an image of the specific object obtained using a photographing camera 245 and information provided through at least one optical device 282 or 284.
  • a single image with overlapping virtual images can be displayed.
  • the imaging camera 245 may be placed on the bridge 203 disposed between the first rim 201 and the second rim 202.
  • the gaze tracking camera 260-1 tracks the gaze of a user wearing the wearable device 101, thereby tracking the user's gaze and visual information provided to at least one display 250. By matching them, a more realistic augmented reality can be realized. For example, when the user looks forward, the wearable device 101 may naturally display environmental information related to the user's front view on at least one display 250 at the location where the user is located.
  • the gaze tracking camera 260-1 may be configured to capture an image of the user's pupil in order to determine the user's gaze. For example, the gaze tracking camera 260-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 260-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 260-1 may be placed within the first rim 201 and/or the second rim 202 to face the direction in which the user wearing the wearable device 101 is located. You can.
  • the motion recognition cameras 260-2 and 264 recognize the movement of the entire or part of the user's body, such as the user's torso, hands, or face, and display information on the screen provided on at least one display 250. Specific events can be provided.
  • the gesture recognition cameras 260-2 and 264 may recognize the user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 250. there is.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition cameras 260 - 2 and 264 may be disposed on the first rim 201 and/or the second rim 202 .
  • the camera 260 included in the wearable device 101 is not limited to the eye tracking camera 260-1 and the motion recognition cameras 260-2 and 264 described above.
  • the wearable device 101 may use the camera 260 disposed toward the user's FoV to identify external objects included within the FoV. Identification of an external object by the wearable device 101 is performed based on a sensor for identifying the distance between the wearable device 101 and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. It can be.
  • the camera 260 disposed toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device 101 includes a camera 260 (e.g., a face tracking (FT) camera) disposed toward the face of a user wearing the wearable device 101 to obtain an image including the face. ) may include.
  • FT face tracking
  • the wearable device 101 radiates light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) captured using the camera 260. It may further include a light source (eg, LED).
  • the light source may include an LED with an infrared wavelength.
  • the light source may be disposed in at least one of the frame 200 and the hinge units 206 and 207.
  • the battery module 270 may supply power to electronic components of the wearable device 101.
  • the battery module 270 may be disposed within the first temple 204 and/or the second temple 205.
  • the battery module 270 may be a plurality of battery modules 270 .
  • a plurality of battery modules 270 may be disposed on each of the first temple 204 and the second temple 205.
  • the battery module 270 may be disposed at an end of the first temple 204 and/or the second temple 205.
  • the antenna module 275 may transmit a signal or power to the outside of the wearable device 101, or may receive a signal or power from the outside.
  • the antenna module 275 may be disposed within the first temple 204 and/or the second temple 205.
  • the antenna module 275 may be placed close to one surface of the first temple 204 and/or the second temple 205.
  • the speaker 255 may output an audio signal to the outside of the wearable device 101.
  • the sound output module may be referred to as a speaker.
  • the speaker 255 may be placed within the first temple 204 and/or the second temple 205 to be placed adjacent to the ear of the user wearing the wearable device 101.
  • the speaker 255 is disposed within the first temple 204 and thus adjacent to the user's left ear
  • the second speaker 255-2 is disposed within the second temple 205 to be adjacent to the user's right ear. It may include a first speaker 255-1, which is disposed adjacent to the ear.
  • a light emitting module may include at least one light emitting device.
  • the light emitting module may emit light in a color corresponding to a specific state or emit light in an operation corresponding to the specific state. For example, when the wearable device 101 requires charging, it may emit red light at regular intervals.
  • the light emitting module may be disposed on the first rim 201 and/or the second rim 202.
  • the wearable device 101 may include a printed circuit board (PCB) 290.
  • the PCB 290 may be included in at least one of the first temple 204 or the second temple 205.
  • the PCB 290 may include an interposer disposed between at least two sub-PCBs.
  • one or more hardware included in the wearable device 101 eg, hardware shown by different blocks in FIG. 4
  • the wearable device 101 may include a flexible PCB (FPCB) for interconnecting the hardware.
  • FPCB flexible PCB
  • the wearable device 101 includes a gyro sensor for detecting the posture of the wearable device 101 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 101, It may include at least one of a gravity sensor and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • the wearable device 101 may identify a user's motion and/or gesture performed to execute or stop a specific function of the wearable device 101 based on the IMU.
  • FIGS. 3A and 3B show an example of the appearance of a wearable device, according to an embodiment.
  • the wearable device 101 of FIGS. 3A and 3B may be an example of the wearable device 101 of FIG. 1 .
  • An example of the appearance of the first side 310 of the housing of the wearable device 101, according to one embodiment, is shown in FIG. 3A, with a second side 320 opposite to the first side 310. ) can be shown in Figure 3b.
  • the first surface 310 of the wearable device 101 may have a form attachable to a user's body part (e.g., the user's face).
  • the wearable device 101 may include a strap for securing on a part of the user's body, and/or one or more temples (e.g., the first temple 204 of FIGS. 2A-2B , and/or the first temple 204 of FIGS. 2A-2B It may further include 2 temples (205).
  • a first display 250-1 for outputting an image to the left eye of the user's eyes, and a second display 250-2 for outputting an image to the right eye of the user's eyes, have a first surface 310.
  • the wearable device 101 is formed on the first surface 310 and emits light (e.g., external light (e.g., external light) different from the light emitted from the first display 250-1 and the second display 250-2. Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • light e.g., external light (e.g., external light) different from the light emitted from the first display 250-1 and the second display 250-2.
  • Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • the wearable device 101 includes a camera for photographing and/or tracking both eyes of a user adjacent to each of the first display 250-1 and the second display 250-2. It may include (260-3, 260-4). The cameras 260-3 and 260-4 may be referred to as ET cameras. According to one embodiment, the wearable device 101 may include cameras 260-5 and 260-6 for photographing and/or recognizing the user's face. The cameras 260-5 and 260-6 may be referred to as FT cameras.
  • a camera e.g., cameras 260 for acquiring information related to the external environment of the wearable device 101 -7, 260-8, 260-9, 260-10, 260-11, 260-12
  • sensors e.g., depth sensor 330
  • cameras 260-7, 260-8, 260-9, and 260-10 may be placed on the second surface 320 to recognize external objects.
  • the wearable device 101 may obtain an image and/or video to be transmitted to each of the user's eyes.
  • the camera 260-11 will be disposed on the second side 320 of the wearable device 101 to acquire an image to be displayed through the second display 250-2 corresponding to the right eye among the two eyes. You can.
  • the camera 260-12 will be disposed on the second side 320 of the wearable device 101 to acquire an image to be displayed through the first display 250-1 corresponding to the left eye among the two eyes. You can.
  • the wearable device 101 may include a depth sensor 330 disposed on the second surface 320 to identify the distance between the wearable device 101 and an external object. Using the depth sensor 330, the wearable device 101 acquires spatial information (e.g., depth map) about at least a portion of the FoV of the user wearing the wearable device 101. can do.
  • spatial information e.g., depth map
  • a microphone for acquiring sound output from an external object may be disposed on the second surface 320 of the wearable device 101.
  • the number of microphones may be one or more depending on the embodiment.
  • the wearable device 101 includes hardware (e.g., cameras 260-7, 260-8, 260-9, 260- 10), and/or a depth sensor 330).
  • the wearable device 101 can identify gestures that appear due to motion of body parts based on images acquired using hardware.
  • the wearable device 101 may provide a UI based on the identified gesture to a user wearing the wearable device 101.
  • the UI may display information about one or more items included in an external object.
  • the wearable device 101 may segment the image acquired using a camera to more accurately identify the gesture.
  • FIG. 4 shows an example block diagram of a wearable device according to one embodiment.
  • the wearable device 101 of FIG. 4 may be an example of the wearable device 101 of FIG. 1 and the wearable device 101 of FIGS. 2A to 3B.
  • a wired network may include a network such as the Internet, a local area network (LAN), a wide area network (WAN), or a combination thereof.
  • LAN local area network
  • WAN wide area network
  • the wireless network includes long term evolution (LTE), 5g new radio (NR), wireless fidelity (WiFi), Zigbee, near field communication (NFC), Bluetooth, bluetooth low-energy (BLE), or a combination thereof. May include networks.
  • LTE long term evolution
  • NR 5g new radio
  • WiFi wireless fidelity
  • NFC near field communication
  • BLE bluetooth low-energy
  • the wearable device 101 and the external electronic device 410 are shown as being directly connected, the wearable device 101 and the external electronic device 410 are connected to one or more routers and/or access points (APs). It can be indirectly connected through a point.
  • APs access points
  • the wearable device 101 includes a processor 420, a memory 430, a camera 440, a display 450, a microphone 460, or a communication circuit 470. It can contain at least one.
  • Processor 420, memory 430, camera 440, display 450, microphone 460, and communication circuit 470 are electrically and/or operationally connected to each other by a communication bus. Can be connected (electronically and/or operably coupled with each other).
  • hardware components are operatively combined so that a second hardware component is controlled by a first hardware component among the hardware components, such that a direct connection or an indirect connection between the hardware components is made by wire or wirelessly. It can mean established.
  • the embodiment is not limited thereto, and some of the hardware components shown in FIG. 4 (e.g., at least a portion of the processor 420, memory 430, and communication circuit 470) are SoC. It may be included in a single integrated circuit, such as a system on a chip.
  • the type and/or number of hardware components included in the wearable device 101 are not limited to those shown in FIG. 4 .
  • wearable device 101 may include only some of the hardware components shown in FIG. 4 .
  • the processor 420 of the wearable device 101 may include a hardware component for processing data based on one or more instructions.
  • Hardware components for processing data may include, for example, a central processing unit (CPU), graphics processing unit (GPU), digital signal processing (DSP), and/or neural processing unit (NPU).
  • the number of processors 420 may be one or more.
  • the processor 420 may have the structure of a multi-core processor such as dual core, quad core, or hexa core.
  • the memory 430 of the wearable device 101 includes hardware components for storing data and/or instructions input to and/or output from the processor 420. can do.
  • the memory 430 may include, for example, volatile memory such as random-access memory (RAM), and/or non-volatile memory such as read-only memory (ROM). You can.
  • the volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • the non-volatile memory includes, for example, at least one of programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, and embedded multi media card (eMMC). can do.
  • the camera 440 of the wearable device 101 is an optical sensor (e.g., a charged coupled device (CCD) sensor, a complementary metal sensor (CMOS) that generates an electrical signal representing the color and/or brightness of light. It may include one or more oxide semiconductor sensors).
  • a plurality of optical sensors included in the camera 440 may be arranged in the form of a 2-dimensional grid (2 dimensional array).
  • the camera 440 acquires electrical signals from each of the plurality of optical sensors substantially simultaneously, corresponds to the light reaching the optical sensors of the two-dimensional grid, and generates an image including a plurality of pixels arranged in two dimensions. can do.
  • photo data captured using the camera 440 may mean one image acquired from the camera 440.
  • video data captured using the camera 440 may mean a sequence of a plurality of images acquired from the camera 440 according to a designated frame rate.
  • the wearable device 101 may be arranged to face a direction in which the camera 440 receives light, and may further include a flash light for outputting light in this direction.
  • the number of cameras 440 included in the wearable device 101 may be one or more, as described above with reference to FIGS. 2A to 2B and/or 3A to 3B.
  • the wearable device 101 may identify external objects (eg, external objects 150 in FIG. 1) using the camera 440.
  • the wearable device 101 can set the type of the identified external object using the type information 431.
  • the wearable device 101 may use the camera 440 to identify a designated motion indicating a change in at least one item that can be stored within an external object, based on the execution of the image analysis application 435. there is.
  • the wearable device 101 may update item information 432 based on identifying the specified motion. The operation of the wearable device 101 to identify the specified motion will be described later with reference to FIG. 9 .
  • the display 450 of the wearable device 101 may output visualized information to the user.
  • the number of displays 450 included in the wearable device 101 may be one or more.
  • the display 450 may be controlled by the processor 420 and/or a graphic processing unit (GPU) (not shown) to output visualized information to the user.
  • the display 450 may include a flat panel display (FPD).
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), a digital mirror device (DMD), one or more light emitting diodes (LEDs), and/or micro LED.
  • the LED may include an organic LED (OLED).
  • transmission of light may occur in at least a portion of display 450.
  • the wearable device 101 can provide a user experience related to augmented reality by providing a combination of light output through the display 450 and light passing through the display 450.
  • the display 450 of the wearable device 101 is worn on a part of the user's body, such as the head. Within the state, it may have a structure to cover the entire user's field-of-view (FoV), or to radiate light toward the FoV.
  • the wearable device 101 may include other output means for outputting information in forms other than visual and auditory forms.
  • the wearable device 101 may include at least one speaker for outputting an audio signal, and/or a motor (or actuator) for providing haptic feedback based on vibration.
  • the microphone 460 of the wearable device 101 may receive audio data (eg, a user's voice).
  • the wearable device 101 may include one or more microphones.
  • the microphone 460 may be placed in a portion of the housing of the wearable device 101.
  • the microphone 460 may be referred to as a feedback microphone in that it is placed adjacent to a speaker (not shown).
  • the microphone 460 may be placed in a portion of the housing that includes the sensor (not shown) of the wearable device 101.
  • the microphone 460 may be referred to as a feedforward microphone in that it is disposed toward the outside of the wearable device 101. However, it is not limited to this.
  • the communication circuit 470 of the wearable device 101 includes hardware to support transmission and/or reception of electrical signals between the wearable device 101 and an external electronic device 410. can do.
  • the communication circuit 470 may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • the communication circuit 470 is based on various types of communication means such as Ethernet, Bluetooth, BLE (bluetooth low energy), ZigBee, LTE (long term evolution), and 5G NR (new radio), and receives electrical signals. May support transmission and/or reception.
  • one or more instructions indicating operations and/or operations to be performed on data by the processor 420 may be stored.
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • the wearable device 101 and/or the processor 420 executes a set of a plurality of instructions distributed in the form of an operating system, firmware, driver, and/or application. , at least one of the operations of FIG. 6, FIG. 8, FIG. 10, or FIG. 14 may be performed.
  • ) may mean stored in an executable format (e.g., a file with an extension specified by the operating system of the wearable device 101) by the processor 420.
  • a library may include a plurality of compiled data sets that are used to perform the functions of one or more programs stored in the wearable device 101.
  • the wearable device 101 can identify an external object using the camera 440.
  • the external object may include a storage compartment for storing at least one item.
  • the wearable device 101 may set the type of the external object using type information 431 for distinguishing the external object.
  • the type of external object may be divided into a first type (eg, simple storage type), a second type (eg, expiration date type), and/or a third type (eg, manual explanation type).
  • the first type may refer to a type of external object for storing one or more items included in the external object that can be used independently of time.
  • the second type may refer to a type of external object for storing one or more items included in the external object that can be used during a specified time.
  • the third type may refer to a type of external object for storing one or more items included in the external object based on the function of the external object (eg, laundry, cooking, and/or dehumidification). However, it is not limited to this.
  • the wearable device 101 may set types corresponding to various external objects.
  • the wearable device 101 may request metadata about an external object from at least one server.
  • the wearable device 101 may identify the type of external object using metadata received from at least one server.
  • the wearable device 101 may identify the type of the external object using the type information 431 according to the characteristics of the external object.
  • the wearable device 101 may set the type of the external object using the type information 431 according to the characteristics of items stored within the external object.
  • external objects corresponding to the first type may include a wardrobe, a closet drawer, a cabinet, and/or a safe. Items stored in an external object corresponding to the first type may be stored for a relatively longer period of time than items stored in an external object corresponding to the second type.
  • the external object corresponding to the second type may include a refrigerator, a coolbox, a first-aid kit, and/or a freezer.
  • the external object corresponding to the third type may mean another electronic device (eg, washing machine, dehumidifier, microwave) that is different from the external electronic device 410. However, it is not limited to the above-described embodiment.
  • the wearable device 101 may identify a designated motion indicating a change in one or more items using the camera 440 while the image analysis application 435 is running.
  • the wearable device 101 may identify a designated motion corresponding to each of the one or more items using image information corresponding to each of the one or more items. Based on identifying the designated motion, the wearable device 101 may identify whether the one or more items are stored within an external object.
  • the wearable device may update item information 432 based on identifying whether the one or more items are stored.
  • the wearable device 101 displays a visual object in the display 450 using item information 432 according to the type of the external object, based on identifying the external object using the camera 440. You can.
  • the image analysis application 435 may include at least one program in the memory 430 based on a format such as an application, library, and/or service.
  • the wearable device 101 sets the type corresponding to the external object using the type information 431 based on identifying the external object using the camera 440. You can.
  • the wearable device 101 may display a visual object indicating at least one item included in an external object using the item information 432 based on the set type.
  • the wearable device 101 may display a visual object on the display 450 to improve the user's memory for the at least one item.
  • FIGS. 5A to 5C illustrate an example of an operation in which a wearable device displays a visual object corresponding to a type of an external object, according to an embodiment.
  • the wearable device 101 of FIGS. 5A to 5C may include the wearable device 101 of FIGS. 1 to 4 .
  • the wearable device 101 displays at least one item included in the external object within the display area 510 of the display, based on the type of the external object. States 500, 501, and 502 displaying visual objects indicating information about the states 500, 501, and 502 are shown.
  • the wearable device 101 may identify an external object 511 using a camera.
  • the wearable device 101 may identify an external object 511 included in the user's field-of-view (FoV).
  • the wearable device 101 may identify the external object 511 based on acquiring the user's gaze using the gaze tracking camera 260-1 of FIG. 2A.
  • the wearable device 101 may identify the external object 511 based on identifying the hand of the user 505 pointing in a specified direction.
  • the wearable device 101 may identify the external object 511 using at least one controller. However, it is not limited to this.
  • the wearable device 101 determines the type of the external object 511 using type information (e.g., type information 431 in FIG. 4) based on identifying the external object 511. It can be identified or set. For example, when type information about the external object 511 is stored in the memory, the wearable device 101 may refrain from setting the type of the external object 511. However, it is not limited to this.
  • the wearable device 101 uses the item information 432 of FIG. 4 based on identifying the type of the external object 511 (e.g., the first type of FIG. 4) to identify the external object 511.
  • One or more items stored within 511 may be identified.
  • the wearable device 101 may display a visual object 515 indicating one or more items corresponding to the type of the external object 511 within the display area 510 .
  • visual object 515 may include information about the one or more items.
  • the visual object 515 includes information 515-1 indicating the type of item for each of the one or more items, information 515-2 indicating the item name, and information 515-2 indicating the type of item for each of the one or more items.
  • Information 515-3 indicating the number, and/or within the visual object 515 may include a visual object 515-4 for sorting a list of one or more items.
  • the wearable device 101 may sort a list of one or more items based on the number of uses in response to an input for the visual object 515-4.
  • the wearable device 101 in response to an input about the visual object 515-4, sorts a list of one or more items based on the order in which one or more items are used. can do. However, it is not limited to this.
  • the wearable device 101 may display the visual object 512 within the display area 510 independently of displaying the visual object 515.
  • the visual object 512 may include information indicating the internal state of the external object 511.
  • the visual object 512 may include visual objects representing each of one or more items stored within the external object 511 . However, it is not limited to this.
  • the wearable device 101 may display a visual object 512 by overlapping a portion of the display area 510 where the external object 511 is visible.
  • the wearable device 101 may display a visual object 512 using the item information 432 of FIG. 4 .
  • the wearable device 101 may acquire an image including the internal state of the external object 511 using a camera. Using the image, the wearable device 101 can create a visual object 512.
  • the operation of the wearable device 101 to acquire an image including the internal state of the external object 511 will be described later with reference to FIG. 9 .
  • the wearable device 101 uses a camera to detect a type different from the type of the external object 511 in FIG. 5A (e.g., the second object in FIG. 4).
  • the external object 521 corresponding to the type) can be identified.
  • the wearable device 101 Based on identifying the external object 521, the wearable device 101 identifies the type corresponding to the external object 521 using type information (e.g., type information 431 in FIG. 4), or Or you can set it.
  • type information e.g., type information 431 in FIG. 4
  • the wearable device 101 controls the display of a visual object 525 corresponding to the type of the external object 521 using item information (e.g., item information 431 in FIG. 4). , can be displayed in the display area 510.
  • Visual object 525 is associated with one or more items corresponding to one or more information (e.g., information 515-1, 515-2, 515-3) included in visual object 515 of FIG. 5A. May include information (525-1).
  • the visual object 525 may include temporal information 525-2 and 525-3 related to one or more items.
  • Time information 525-2 may refer to information indicating the time (or date) at which each of one or more items was stored in the external object 521.
  • Time information 525-3 (e.g., use by date, or shelf life) may refer to information indicating the available time (or date) of each of one or more items.
  • Visual object 525-4 may be referenced to visual object 515-4 in FIG. 5A.
  • the wearable device 101 may sort a list of one or more items based on time information 525-2 and 525-3 in response to an input for the visual object 525-4.
  • Visual object 522 may be referenced to visual object 512 in FIG. 5A.
  • the wearable device 101 in state 502, is different from the type of external object 511 in FIG. 5A and/or the type of external object 521 in FIG. 5B.
  • the external object 531 may be identified based on its type (eg, the third type in FIG. 4).
  • the wearable device 101 may identify or set the type of the external object 531 based on identifying the external object 531 .
  • the wearable device 101 may display a visual object 532 indicating the state of the external object 531 within the display area 510 based on identifying the type of the external object 531 .
  • the state of the external object 531 may indicate whether the external object 531 stores at least one item.
  • the state of the external object 531 may include information indicating the time at least one item was stored.
  • the state of the external object 531 may include a state in which the external object 531 has performed at least one operation.
  • wearable device 101 displays visual object 532 based on identifying a distance between external object 531 and wearable device 101 (or user 505) that is greater than or equal to a specified distance. It can be displayed. Based on the wearable device 101 identifying the distance between the wearable device 101 and the external object 531 that is less than the specified distance, the display controls the display of a visual object for controlling the external object 531, and displays the display area ( The operation displayed within 510) will be described later with reference to FIG. 11.
  • the wearable device 101 can control the display to display visual objects containing different information in the display area 510 according to the type of external object.
  • the wearable device 101 may provide information indicating at least one item included in an external object based on displaying a visual object.
  • the wearable device 101 can improve user convenience for using at least one item based on providing the information.
  • FIG. 6 shows an example flowchart illustrating the operation of a wearable device according to an embodiment. At least one of the operations in FIG. 6 may be performed by the wearable device 101 in FIG. 4 and/or the processor 420 in FIG. 4 . Each of the operations in FIG. 6 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the wearable device may identify an external object including a storage bin included in the display area of the display using a camera.
  • a state in which the wearable device identifies an external object using a camera may be referred to states 501, 502, and 503 of FIGS. 5A to 5C.
  • the wearable device determines a designated type corresponding to the external object using type information for distinguishing the external object stored in the memory, based on identifying the external object. You can set it.
  • the wearable device can use the type information 431 of FIG. 4 to identify or set a designated type corresponding to an external object.
  • the wearable device may set the designated type in response to a user's input for setting the designated type corresponding to the external object.
  • the wearable device When the wearable device identifies the type corresponding to the external object in its memory, it may temporarily refrain from setting the specified type corresponding to the external object. If the wearable device fails to identify the type corresponding to the external object in memory, it may set a designated type corresponding to the external object.
  • the wearable device may obtain item information related to one or more items included in the storage corresponding to the specified type.
  • the wearable device may obtain information on one or more items included in the external object using the item information 432 of FIG. 4 .
  • the wearable device may generate a visual object representing information on the one or more items based on the type of external object.
  • the wearable device may receive item information related to one or more items included in an external object from at least one server. The operation of a wearable device receiving the item information from at least one server will be described later with reference to FIG. 12 .
  • the wearable device may control the display to display a visual object representing item information based on obtaining item information.
  • a wearable device may display a visual object including text information in a display area (display area 510 in FIG. 5A) of the display.
  • a wearable device may display a visual object representing at least one item within a display area of a display.
  • a visual object representing item information may include the visual objects 512, 515, 522, 525, and 532 of FIGS. 5A to 5C.
  • FIG. 7 illustrates an example of an operation in which a wearable device identifies the state of an external object, according to an embodiment.
  • the wearable device 101 of FIG. 7 may include the wearable device 101 of FIGS. 1 to 6 .
  • states 700 and 705 in which the wearable device 101 identifies the shape of an external object 710 are shown.
  • the wearable device 101 may identify the shape of the external object 710, either a first shape in which the storage 715 is open, or a second shape different from the first shape.
  • the external object 710 may be referenced to at least one of the external objects 511, 521, and 531 of FIGS. 5A to 5C.
  • the wearable device 101 may identify the shape of the external object 710 on which the storage 715 is visible within the display area 510 of the display.
  • the external object 710 may include a cover (or door) to mask the interior of the external object 710 (eg, storage 715).
  • the external object 710 may include a hinge that can open and shut the cover.
  • the external object 710 may include a hinged door or a sliding door.
  • state 700 may include a type of external object 710 that corresponds to a first type of storage 715 .
  • state 700 may include the form of an external object 710 in which storage 715 is visible to user 505 .
  • State 700 may refer to a state in which the cover of an external object 710 is open.
  • State 700 may mean a state in which the external object 710 is open. However, it is not limited to this.
  • the wearable device 101 may identify the storage 715 included in the external object 710 using a camera.
  • the wearable device 101 may identify one or more items included in the storage 715 using a camera while the storage 715 has been identified.
  • the wearable device 101 may acquire images using a camera to identify the one or more items. The operation of the wearable device 101 to acquire the image will be described later with reference to FIG. 9 .
  • the wearable device 101 may use the item information 432 of FIG. 4 based on identifying one or more items included in the storage 715 to identify whether the one or more items have changed. For example, when one or more items included in the storage 715 are changed, the wearable device 101 may display a visual object indicating the arrangement of the one or more items in the display area 510. .
  • the wearable device 101 may guide the user on whether to change one or more items by displaying a visual object indicating the arrangement of one or more items.
  • the wearable device 101 may identify a designated motion that indicates alignment of the one or more items by the user based on the guide.
  • the wearable device may update information about the one or more items based on the specified motion.
  • the wearable device 101 uses an image acquired using a camera to create a designated motion indicating a change in the one or more items, It can be obtained. Based on acquiring the specified motion, the wearable device 101 may update information representing one or more items included in the external object 710 (eg, item information 432 in FIG. 4).
  • the wearable device 101 may identify the shape of the external object 710 in state 705.
  • the shape of the external object 710 may mean the shape of the external object 710 corresponding to the second shape of the storage 715.
  • State 705 may refer to a state in which the cover of the external object 710 is closed.
  • the wearable device 101 may include type information (e.g., type information 431 in FIG. 4) and/or item information (e.g., item information 432 in FIG. 4) corresponding to the external object 710.
  • the display can be controlled to display visual objects (eg, visual objects 512, 515, 522, 525, and 532 of FIGS. 5A to 5C) within the display area 510.
  • the wearable device 101 may initiate an operation to generate an image based on identifying the shape of the external object 710 included in the state 700 using a camera.
  • the operation to generate the image may mean the operation of the wearable device 101 to record the image using a camera.
  • the wearable device 101 may temporarily stop generating the image based on identifying the shape of the external object 710 included in the state 705.
  • the wearable device 101 may divide the generated image, based on execution of the image analysis application 435 of FIG. 4, corresponding to each of one or more items included in the image. there is.
  • the wearable device 101 can identify a designated motion that indicates a change in each of the one or more items.
  • the wearable device 101 may update item information.
  • the wearable device 101 may store at least one frame included in the generated image. Using the at least one frame, the wearable device 101 can identify whether one or more items have changed. However, it is not limited to this.
  • the wearable device 101 may identify the storage 715 included in the external object 710 using a camera while the at least one frame is stored.
  • the wearable device 101 may identify one or more items included in the storage 715 using a camera while the storage 715 has been identified.
  • the wearable device 101 may use the at least one frame to identify whether the one or more items have changed.
  • the wearable device 101 can use a camera to identify whether an external object is open.
  • the wearable device 101 may identify whether one or more items included in the external object 710 have changed within the state 700 .
  • the wearable device 101 may guide the user to a change in the internal state of the external object 710 by displaying a visual object indicating a change in one or more items in the display area 510 .
  • the wearable device 101 may use a camera to generate an image including a designated motion indicating a change in one or more items.
  • the wearable device 101 may temporarily stop generating the image based on identifying the shape of the external object 710 within the state 705.
  • the wearable device 101 may update information indicating one or more items included in the external object 710 using the generated image.
  • the wearable device 101 may update information about one or more items included in the storage 715 by identifying whether the one or more items have changed based on the shape of the external object 710. Based on updating information about the one or more items, the wearable device 101 provides information to the user 505 wearing the wearable device 101 about the location and/or number of the one or more items stored. We can provide the latest information.
  • FIG. 8 illustrates an example flowchart of an operation in which a wearable device identifies a change in one or more items based on the state of an external object, according to an embodiment. At least one of the operations in FIG. 8 may be performed by the wearable device 101 in FIG. 4 and/or the processor 420 in FIG. 4 . Each of the operations in FIG. 8 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • FIG. 9 illustrates an example of an operation in which a wearable device identifies a change in one or more items, according to an embodiment.
  • the wearable device 101 of FIG. 9 may include the wearable device 101 of FIGS. 1 to 8 .
  • a storage e.g., storage 715 in FIG. 7
  • the wearable device in operation 810, can use a camera to identify the shape of an external object corresponding to the first shape among the first shape or the second shape in which the storage is open. there is.
  • the state in which the wearable device identifies the form of the external object corresponding to the first form in which the storage is opened may be referred to state 700 of FIG. 7 .
  • the state in which the wearable device identifies the shape of the external object corresponding to the second shape in which the storage is hidden may be referred to state 705 of FIG. 7 .
  • a wearable device may acquire a first image including a designated motion for changing one or more items.
  • the wearable device may use a camera to start recording the first image based on identifying the shape of the external object corresponding to the first shape in which the storage is opened.
  • the wearable device identifies the shape of the external object (e.g., the shape of the external object 710 included in state 705 of FIG. 7) corresponding to the second shape in which the storage bin is occluded. Based on this, recording of the first video can be temporarily stopped.
  • the wearable device may temporarily store the first image in the memory by temporarily stopping recording of the first image. However, it is not limited to this.
  • the wearable device in operation 830, generates one or more second images corresponding to one or more items using the first image based on execution of the image analysis application. You can.
  • the wearable device 101 may, based on execution of the image analysis application 435 of FIG. 4, display one or more items 910 and 915 included in the first image. can be identified. For example, the wearable device 101 may segment the first image corresponding to each of one or more items 910 and 915 included in the first image. For example, the wearable device 101 may identify a designated motion corresponding to each of one or more items 910 and 915. The wearable device 101 may segment the first image based on identifying a designated motion corresponding to each of one or more items 910 and 915. The wearable device 101 may obtain one or more second images including frames 900 and 910 based on segmenting the first image. For example, the number of one or more second images may correspond to the number of one or more items included in the first image.
  • the wearable device may identify a change in each of one or more items included in each of one or more second images.
  • the wearable device may identify a change in each of the one or more items based on obtaining a designated motion for each of the one or more items.
  • the designated motion may refer to a motion for changing at least one of the number or location of one or more items included in the storage of the external object.
  • the wearable device 101 may identify frames 900 corresponding to the first item 910 among one or more second images. For example, the wearable device 101 may obtain a first designated motion indicating a change in the first item 910 using the frames 900 . The first designated motion may be an example of a motion for putting the first item 910 into the external object 710 .
  • the wearable device 101 may identify frames 910 corresponding to the second item 915 among one or more second images.
  • the wearable device 101 may identify a second designated motion indicating a change in the second item 915 using the frames 910 .
  • the second designated motion may be an example of a motion for removing the second item 915 from the external object 710 .
  • the wearable device 101 may identify a third designated motion for changing the position (or relocation) of at least one item within the external object 710 . However, it is not limited to this.
  • the wearable device may update item information based on identifying a change in each of one or more items.
  • the wearable device may change item information (e.g., item information 435 in FIG. 4) based on identifying the shape of the external object corresponding to the second shape in which the storage of the external object is obscured. there is.
  • the wearable device 101 based on obtaining the first designated motion for the first item 910 using the frames 900, creates an external object 710.
  • Item information e.g., item information 435 in FIG. 4
  • the wearable device 101 based on obtaining a second designated motion for the second item 915 using frames 910, creates an external object 710. You can update the corresponding item information.
  • the wearable device 101 determines the number of first items 910 and/or second items 915 based on identifying the first designated motion and/or the second designated motion. The information displayed can be changed.
  • the wearable device 101 updates the item information corresponding to the external object 710 by updating the frame included in the first images representing the state (e.g., the state 700 of FIG. 7).
  • the wearable device 101 may store at least one frame in the memory, using the at least one frame to create at least one visual object (eg, visual objects 512 of FIGS. 5A and 5B). 522), the wearable device 101 may identify a state in which the storage of the external object 710 is opened (e.g., state 700 in FIG. 7) using the at least one frame.
  • the user 505 of the wearable device 101 may be guided on whether to change one or more items included in the external object 710.
  • the wearable device 101 uses a communication circuit (e.g., the communication circuit 470 of FIG. 4), based on updating item information corresponding to the external object 710, to at least one
  • the item information may be transmitted to a server (eg, external electronic device 410).
  • a server eg, external electronic device 410.
  • the operation of the wearable device 101 transmitting the item information to at least one server will be described later with reference to FIG. 12 .
  • the wearable device 101 may record an image including a designated motion indicating a change in each of one or more items using a camera.
  • the wearable device 101 may segment the recorded video to correspond to one or more items, based on execution of the video analysis application 435 of FIG. 4 .
  • the wearable device 101 may update information representing one or more items included in the external object 710.
  • the wearable device 101 may improve the accuracy of the information by updating the information using the one or more divided images.
  • Figure 10 shows an example flowchart showing the operation of a wearable device according to an embodiment. At least one of the operations of FIG. 10 may be performed by the wearable device 101 of FIG. 4 and/or the processor 420 of FIG. 4 . Each of the operations in FIG. 10 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the wearable device may identify an external object including a storage bin included in the display area of the display using a camera.
  • the operation performed by the wearable device may be related to at least a portion of operation 610 of FIG. 6.
  • a wearable device may obtain information related to an external object based on identifying the external object.
  • Information related to external objects may be referred to type information 431 of FIG. 4.
  • a wearable device can identify the type of external object using information related to the external object.
  • the wearable device may display visual objects (e.g., visual objects 512, 515, 522, 525, and 532 of FIGS. 5A to 5C) based on the type of external object set within the display area of the display.
  • the wearable device may identify the shape of the external object among the first shape or the second shape in which the storage is open using a camera.
  • the state in which the wearable device identifies the form of the external object corresponding to the first form in which the storage is opened may be referred to state 700 of FIG. 7 .
  • a state in which the wearable device identifies a shape of an external object corresponding to a second shape different from the first shape (eg, a shape in which the storage is not open) may be referred to state 705 of FIG. 7 .
  • the wearable device moves one or more items located in the storage using a camera based on identifying the shape of an external object corresponding to the first shape.
  • the designated motion may be an example of a motion to change the location and/or number of the one or more items within an external object (or storage).
  • a wearable device may acquire first frames using a camera.
  • the wearable device may use the first frames to obtain second frames corresponding to one or more items.
  • the wearable device may use the second frames to identify a designated motion corresponding to each of the one or more items.
  • the wearable device may record first frames using a camera based on identifying the shape of the external object corresponding to the first shape of the storage.
  • the wearable device may temporarily suspend recording based on identifying the type of external object that corresponds to the second type of storage.
  • the wearable device may acquire second frames using the first frames based on temporarily stopping recording.
  • the wearable device may change information indicating a list of one or more items located in the storage based on the obtained specified motion.
  • the wearable device may identify a change in the location and/or number of each of the one or more items based on obtaining a designated motion indicating a change in each of the one or more items.
  • the wearable device may update the item information 432 of FIG. 4 corresponding to the external object using the changed information.
  • the wearable device 101 may store at least one frame among the first frames including the form of an external object corresponding to the first form of the storage in the memory based on the updated information.
  • the wearable device may generate a visual object (eg, visual objects 512 and 522 of FIGS. 5A and 5B). However, it is not limited to this.
  • FIG. 11 illustrates an example of an operation in which a wearable device displays a visual object indicating control of an external object, according to an embodiment.
  • the wearable device 101 of FIG. 11 may include the wearable device 101 of FIGS. 1 to 10 .
  • a state 1100 is shown in which the wearable device 101 according to an embodiment displays a visual object 1110 for controlling an external object within the display area 510 of the display.
  • the wearable device 101 may identify an external object 710 within the state 1100 using a camera.
  • the wearable device 101 may identify the type of the external object 710 based on identifying the external object 710 .
  • the external object 710 of FIG. 11 may be referenced to the external object 531 of FIG. 5C.
  • wearable device 101 may identify, within state 502 of FIG. 5C, a distance between wearable device 101 and external object 710 that is less than a specified threshold.
  • the wearable device 101 may display a visual object 1110 for controlling an external object 710 and/or a visual object 1120 within the display area 510 based on identifying the distance. .
  • the visual object 1110 may include text information to provide the user 505 with instructions for using the external object 710 .
  • the wearable device 101 may, independently of identifying the distance, display a visual object ( 1110) can be displayed.
  • Buttons 1115 may be used to receive input indicating control of an external object 710.
  • the wearable device 101 uses text information included in the visual object 1110, independently of displaying the visual object 1110, to guide the specified motion of the user 505.
  • Object 1120 may be displayed.
  • the wearable device 101 may display visual objects 1120 based on the order corresponding to the text information.
  • the wearable device 101 may identify a designated motion of the user 505 corresponding to the visual object 1120 using a camera.
  • the wearable device 101 may display a visual object different from the visual object 1120 corresponding to the order in the display area 510 based on identifying the specified motion.
  • the wearable device 101 identifies the buttons 1115 of the external object 710, or identifies the button 1115 between the external object 710 and the wearable device 101 below a specified threshold. Based on identifying the distance, visual objects 1110 and 1120 containing information for controlling the external object 710 may be displayed. The wearable device 101 may provide a guide for controlling the external object 710 to the user 505 by displaying the visual objects 1110 and 1120 in the display area 510 .
  • the wearable device 101 of FIG. 12 may include the wearable device 101 of FIGS. 1 to 11 .
  • states 1200 and 1210 in which at least one communication link is established with the wearable device 101, the external electronic device 1201, and/or the external electronic device 410 are shown.
  • State 1200 is a state in which the wearable device 101 identifies a change in at least one item (e.g., the first item 910 in FIG. 9) in the frames 900 of FIG. 9. Can be referenced.
  • the wearable device 101 may transmit information indicating the at least one change to the external electronic device 410 using a communication circuit.
  • the external electronic device 410 may be referenced to at least one server.
  • the external electronic device 410 may store the received information in the memory of the external electronic device 410.
  • the external electronic device 1201 is displayed within the display area 1210 of the display of the external electronic device 1201 by the user 1205 wearing the external electronic device 1201.
  • Specified motion can be identified.
  • the designated motion may be an example of a motion for adjusting the position and/or number of the first item 910 in the external object 710.
  • the external electronic device 1201 may transmit information indicating adjustment of the location and/or number of the first item 910 to the external electronic device 410.
  • the external electronic device 410 may update item information corresponding to the external object 710 using the above information.
  • the wearable device 101 may receive at least one signal from the external electronic device 410 using a communication circuit. For example, the wearable device 101 may request the at least one signal from the external electronic device 410 based on identifying an external object 710 whose storage is open. At least one signal may include information about one or more items included in the external object 710. For example, the wearable device 101 may display a visual object 1215 based on receiving the at least one signal. For example, the wearable device 101 uses the received information and/or item information (e.g., item information 432 in FIG. 4) corresponding to the external object 710 stored in the memory 130. , a visual object 1215 can be displayed.
  • item information e.g., item information 432 in FIG.
  • the wearable device 101 independently of receiving at least one signal from the external electronic device 410, uses a camera to display a storage area within the display area 510 of the display.
  • the shape of the open external object 710 can be identified.
  • the wearable device 101 may identify the internal state of the external object 710 based on identifying the shape of the external object 710.
  • the wearable device 101 may identify whether one or more items have changed using at least one frame among the frames 900 of FIG. 9 based on identifying the internal state of the external object 710. .
  • the wearable device 101 may display a visual object 1215 indicating a change in the internal state of the external object 710 within the display area 510. there is.
  • the wearable device 101 may establish a communication link with at least one server (eg, external electronic device 410) using a communication circuit.
  • the at least one server may include information about one or more external objects, and/or information about one or more items included in each of the one or more external objects.
  • the at least one server may establish a plurality of communication links with a plurality of electronic devices.
  • the wearable device 101 may receive information about external objects using at least one server. Based on receiving information about the external object, the wearable device 101 may provide the user with information indicating the location and/or number of one or more items included in the external object.
  • the wearable device 101 uses at least one server to detect external objects (e.g., the user 505 wearing the wearable device 101 and other users (e.g., the user 1205)). , changes in one or more items included in the external object 710 can be identified. The wearable device 101 may provide the user 505 with changes to the one or more identified items. The wearable device 101 uses at least one server to collect information about a plurality of external electronic devices, including the external electronic device 1201, and external objects used by a plurality of users of the plurality of external electronic devices. An augmented reality network can be provided for sharing.
  • external objects e.g., the user 505 wearing the wearable device 101 and other users (e.g., the user 1205).
  • changes in one or more items included in the external object 710 can be identified.
  • the wearable device 101 may provide the user 505 with changes to the one or more identified items.
  • the wearable device 101 uses at least one server to collect information about a plurality of external electronic devices, including the external electronic device 1201, and
  • FIG. 13 illustrates an example of an operation in which a wearable device provides the location of at least one item in response to at least one input, according to an embodiment.
  • the wearable device 101 of FIG. 13 may include the wearable device 101 of FIGS. 1 to 12 .
  • a state 1300 is shown in which the wearable device 101 according to an embodiment receives at least one audio signal from the user 505 of the wearable device 101.
  • Wearable device 101 in state 1300, receives an audio signal 1320 containing information representing at least one item from a user 505 using the microphone 460 of FIG. 4. ) can be received.
  • the wearable device 101 may identify information representing the at least one item included in the audio signal 1320 based on receiving the audio signal 1320. Based on the identified information, the wearable device 101 may identify an external object including the at least one item using the item information 432 of FIG. 4 .
  • the wearable device 101 may identify the location of at least one item. However, it is not limited to this.
  • the wearable device 101 may request information about the location of the at least one item from the external electronic device 410 of FIG. 12 .
  • the wearable device 101 may provide the user 505 with information about at least one item indicated by the audio signal 1320, based on receiving the audio signal 1320. .
  • the wearable device 101 may display a visual object 1310 indicating the location and/or number of the at least one item in the display area 510 of the display.
  • the visual object 1310 may include information about an external object that includes the at least one item.
  • the wearable device 101 may guide the user 505 to the location of the at least one item using at least one speaker (not shown).
  • the wearable device 101 may receive voice input from the user 505 using a microphone indicating at least one item.
  • the wearable device 101 may identify information about the at least one item using item information stored in memory.
  • the wearable device 101 may provide the user 505 with the location and/or number of the at least one item included in the information about the at least one item.
  • the wearable device 101 can improve user convenience by responding to a voice input (or audio signal) from the user 505 and providing the user with information about at least one item indicated by the voice input. .
  • Figure 14 shows an example flowchart showing the operation of a wearable device according to an embodiment. At least some of the operations of FIG. 14 may be performed by the wearable device 101 of FIG. 4 and/or the processor 420 of FIG. 4 . Each of the operations in FIG. 10 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel. For example, at least some of the operations of Figure 14 may be related to at least one of the operations of Figures 6, 8, and 10.
  • the wearable device may identify an external object including a storage unit using a camera in operation 1410.
  • An operation in which a wearable device identifies an external object including a storage unit using a camera may be referred to operation 610 of FIG. 6 .
  • the wearable device may set a type corresponding to an external object using type information stored in the memory.
  • a type corresponding to an external object using the type information may be referred to operation 620 of FIG. 6 .
  • the external object may include the external objects 511, 521, and 531 of FIGS. 5A to 5C.
  • the wearable device may display a visual object representing information about an external object within the display area of the display according to the set type.
  • the wearable device may determine whether the storage has identified the shape of an open external object.
  • a wearable device can identify the shape of an external object included in an image acquired using a camera.
  • the external object may include an openable cover.
  • the wearable device may identify the shape of the external object based on identifying whether the cover included in the external object is open or closed. For example, a state in which the wearable device identifies the form of an external object whose storage is open may be referred to state 700 of FIG. 7 .
  • the wearable device may perform operation 1410.
  • the wearable device when the wearable device according to one embodiment identifies the form of an external object whose storage is open (operation 1430 - Yes), in operation 1440, it determines whether the status of one or more items included in the storage has changed. can be identified.
  • the wearable device may identify whether the status of the one or more items has changed using at least one frame stored in the memory.
  • the at least one frame may mean at least one of frames recorded by a wearable device based on the shape of an external object using a camera.
  • the wearable device receives a signal including the at least one frame from at least one server (e.g., the external electronic device 410 of FIG. 4) while establishing a connection with at least one server using a communication circuit. You can receive it.
  • the wearable device may receive a signal indicating whether the status of the one or more items has changed from at least one server.
  • a signal indicating whether the status of the one or more items has changed from at least one server.
  • the wearable device may display a visual object indicating the change in state in operation 1470.
  • the visual object may be referenced to visual object 1215 of FIG. 12 .
  • a designated motion indicating a change in the one or more items is performed. can be identified.
  • the wearable device can record an image including the specified motion using a camera.
  • the wearable device may temporarily stop recording the image based on identifying the shape of the external object corresponding to a state different from the open state of the storage (e.g., occluded state).
  • the wearable device may acquire a plurality of images corresponding to each of one or more items included in the image based on temporarily stopping recording of the image.
  • the wearable device may identify, from each of the plurality of images, a designated motion for each of one or more items included in each of the plurality of images.
  • the plurality of images that the wearable device uses to identify the specified motion may be referenced to frames 900 and 910 of FIG. 9 .
  • the wearable device may change item information indicating one or more items based on identifying a designated motion. For example, the wearable device may identify changes in the location and/or number of each of one or more items based on identifying the specified motion. The wearable device may update item information corresponding to the external object based on identifying a change in the location and number of each of one or more items. As an example, the wearable device may transmit the updated information to at least one server (eg, the external electronic device 410 of FIG. 4). For example, the wearable device may store at least one frame from the recorded video in memory based on the updated information.
  • the wearable device may store at least one frame from the recorded video in memory based on the updated information.
  • the wearable device uses images corresponding to each of the one or more items to update information about each of the one or more items, thereby detecting the external object including all of the one or more items obtained using the camera. Rather than obtaining information about the one or more items using an image representing an internal state, the accuracy of information about each of the one or more items can be improved.
  • Figure 15 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • the electronic device 1501 communicates with the electronic device 1502 through a first network 1598 (e.g., a short-range wireless communication network) or a second network 1599. It is possible to communicate with at least one of the electronic device 1504 or the server 1508 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 1501 may communicate with the electronic device 1504 through the server 1508.
  • a first network 1598 e.g., a short-range wireless communication network
  • a second network 1599 e.g., a second network 1599.
  • the electronic device 1504 may communicate with the electronic device 1504 through the server 1508.
  • the electronic device 1501 includes a processor 1520, a memory 1530, an input module 1550, an audio output module 1555, a display module 1560, an audio module 1570, and a sensor module ( 1576), interface (1577), connection terminal (1578), haptic module (1579), camera module (1580), power management module (1588), battery (1589), communication module (1590), subscriber identification module (1596) , or may include an antenna module 1597.
  • a sensor module 1576
  • interface e.g, connection terminal 1578
  • haptic module (1579
  • camera module (1580
  • power management module (1588
  • battery 1589
  • communication module e.g., subscriber identification module (1596)
  • the electronic device 1501 includes a processor 1520, a memory 1530, an input module 1550, an audio output module 1555, a display module 1560, an audio module 1570, and a sensor module ( 1576), interface (1577), connection terminal (1578), haptic module (1579), camera module (1580), power management module (1588), battery (15
  • the processor 1520 executes software (e.g., program 1540) to operate at least one other component (e.g., hardware or software component) of the electronic device 1501 connected to the processor 1520. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 1520 stores commands or data received from another component (e.g., sensor module 1576 or communication module 1590) in volatile memory 1532. The commands or data stored in the volatile memory 1532 can be processed, and the resulting data can be stored in the non-volatile memory 1534.
  • software e.g., program 1540
  • the processor 1520 stores commands or data received from another component (e.g., sensor module 1576 or communication module 1590) in volatile memory 1532.
  • the commands or data stored in the volatile memory 1532 can be processed, and the resulting data can be stored in the non-volatile memory 1534.
  • the processor 1520 may include a main processor 1521 (e.g., a central processing unit or an application processor) or an auxiliary processor 1523 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1521 e.g., a central processing unit or an application processor
  • auxiliary processor 1523 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 1501 includes a main processor 1521 and a auxiliary processor 1523
  • the auxiliary processor 1523 may be set to use lower power than the main processor 1521 or be specialized for a designated function. You can.
  • the auxiliary processor 1523 may be implemented separately from the main processor 1521 or as part of it.
  • the auxiliary processor 1523 may, for example, act on behalf of the main processor 1521 while the main processor 1521 is in an inactive (e.g., sleep) state, or while the main processor 1521 is in an active (e.g., application execution) state. ), together with the main processor 1521, at least one of the components of the electronic device 1501 (e.g., the display module 1560, the sensor module 1576, or the communication module 1590) At least some of the functions or states related to can be controlled.
  • coprocessor 1523 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 1580 or communication module 1590. there is.
  • the auxiliary processor 1523 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. This learning may be performed, for example, in the electronic device 1501 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 1508). Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 1530 may store various data used by at least one component (eg, the processor 1520 or the sensor module 1576) of the electronic device 1501. Data may include, for example, input data or output data for software (e.g., program 1540) and instructions related thereto.
  • Memory 1530 may include volatile memory 1532 or non-volatile memory 1534.
  • the program 1540 may be stored as software in the memory 1530 and may include, for example, an operating system 1542, middleware 1544, or an application 1546.
  • the input module 1550 may receive commands or data to be used in a component of the electronic device 1501 (e.g., the processor 1520) from outside the electronic device 1501 (e.g., a user).
  • the input module 1550 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 1555 may output sound signals to the outside of the electronic device 1501.
  • the sound output module 1555 may include, for example, a speaker or receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 1560 can visually provide information to the outside of the electronic device 1501 (eg, a user).
  • the display module 1560 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 1560 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 1570 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 1570 acquires sound through the input module 1550, the sound output module 1555, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 1501). Sound may be output through an electronic device 1502 (e.g., speaker or headphone).
  • an electronic device 1502 e.g., speaker or headphone
  • the sensor module 1576 detects the operating state (e.g., power or temperature) of the electronic device 1501 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 1576 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 1577 may support one or more designated protocols that can be used to connect the electronic device 1501 directly or wirelessly with an external electronic device (e.g., the electronic device 1502).
  • the interface 1577 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1578 may include a connector through which the electronic device 1501 can be physically connected to an external electronic device (eg, the electronic device 1502).
  • the connection terminal 1578 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1579 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 1579 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1580 can capture still images and moving images.
  • the camera module 1580 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1588 can manage power supplied to the electronic device 1501.
  • the power management module 1588 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1589 may supply power to at least one component of the electronic device 1501.
  • the battery 1589 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • Communication module 1590 provides a direct (e.g., wired) communication channel or wireless communication channel between the electronic device 1501 and an external electronic device (e.g., electronic device 1502, electronic device 1504, or server 1508). It can support establishment and communication through established communication channels.
  • the communication module 1590 operates independently of the processor 1520 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module 1590 may be a wireless communication module 1592 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1594 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 1592 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • a wired communication module 1594 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 1598 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1599 (e.g., legacy It may communicate with an external electronic device 1504 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 1592 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1596 to communicate within a communication network such as the first network 1598 or the second network 1599.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 1592 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access to multiple terminals (massive machine type communications (mMTC)), or ultra-reliable and low-latency (URLLC). -latency communications)) can be supported.
  • the wireless communication module 1592 may support high frequency bands (e.g., mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 1592 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive MIMO (multiple-input and multiple-output), and full-dimensional multiplexing.
  • the wireless communication module 1592 may support various requirements specified in the electronic device 1501, an external electronic device (e.g., electronic device 1504), or a network system (e.g., second network 1599). According to one embodiment, the wireless communication module 1592 supports peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 1597 may transmit or receive signals or power to or from the outside (e.g., an external electronic device).
  • the antenna module 1597 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 1597 may include a plurality of antennas (eg, an array antenna).
  • at least one antenna suitable for the communication method used in the communication network such as the first network 1598 or the second network 1599, is connected to the plurality of antennas by, for example, the communication module 1590.
  • the communication module 1590 can be selected Signals or power may be transmitted or received between the communication module 1590 and an external electronic device through the selected at least one antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 1597.
  • RFIC radio frequency integrated circuit
  • antenna module 1597 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 1501 and the external electronic device 1504 through the server 1508 connected to the second network 1599.
  • Each of the external electronic devices 1502 or 1504 may be of the same or different type as the electronic device 1501.
  • all or part of the operations performed in the electronic device 1501 may be executed in one or more of the external electronic devices 1502, 1504, or 1508.
  • the electronic device 1501 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 1501.
  • the electronic device 1501 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 1501 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1504 may include an Internet of Things (IoT) device.
  • Server 1508 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1504 or server 1508 may be included in the second network 1599.
  • the electronic device 1501 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to those components in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.” Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 1536 or external memory 1538) that can be read by a machine (e.g., electronic device 1501). It may be implemented as software (e.g., program 1540) including these.
  • a processor e.g., processor 1520 of a device (e.g., electronic device 1501) may call at least one command among one or more commands stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called.
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • the electronic device 1501 of FIG. 15 may be an example of the wearable device 101 of FIGS. 1 to 14 .
  • FIG. 16 is an example diagram of a network environment 1601 in which metaverse services are provided through the server 1610.
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a combination of social, economic and cultural activities similar to the real world. It refers to a three-dimensional virtual world. Metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to experience life-like experiences in a virtual world created on a computer), and is a concept that uses avatars to simply enjoy games or virtual reality. Not only that, it has the characteristic of being able to engage in social and cultural activities similar to actual reality.
  • the Metaverse service is based on augmented reality (AR), virtual reality environment (VR), mixed reality (MR), and/or extended reality (XR), and creates the virtual world. Media content can be provided to enhance immersion.
  • media content provided by the metaverse service may include social interaction content including avatar-based games, concerts, parties, and/or meetings.
  • the media content may include advertisements, user created content, and/or information for economic activities such as selling products and/or shopping. Ownership of the user-generated content may be proven by a blockchain-based non-fungible token (NFT).
  • NFT non-fungible token
  • Metaverse services can support economic activities based on real currency and/or cryptocurrency. Through the metaverse service, virtual content linked to the real world, such as digital twin or life logging, can be provided.
  • the network environment 1601 includes a server 1610, a user terminal 1620 (e.g., a first terminal 1620-1 and a second terminal 1620-2), and a server 1610. It may include a network connecting the user terminal 1620.
  • the server 1610 may provide a metaverse service to the user terminal 1620.
  • the network may be formed by at least one intermediate node 1630 including an access point (AP) and/or a base station.
  • the user terminal 1620 may connect to the server 1620 through a network and output a user interface (UI) related to the metaverse service to the user of the user terminal 1620. Based on the UI, the user terminal 1620 can obtain information to be input to the metaverse service from the user, or output information (eg, multimedia content) related to the metaverse service to the user.
  • UI user interface
  • the server 1610 provides a virtual space so that the user terminal 1620 can perform activities in the virtual space.
  • the user terminal 1620 installs a S/W agent to access the virtual space provided by the server 1610 to express information provided by the server 1610 to the user, or to express information that the user wishes to express in the virtual space. Transmit information to the server.
  • the S/W agent can be provided directly through the server 1610, downloaded from a public server, or embedded when purchasing a terminal.
  • the metaverse service may be provided to the user terminal 1620 and/or the user using the server 1610.
  • the embodiment is not limited to this, and the metaverse service may be provided through individual contact between users.
  • the metaverse service can be provided by a direct connection between the first terminal 1620-1 and the second terminal 1620-2, independently of the server 1610. there is.
  • the first terminal 1620-1 and the second terminal 1620-2 may be connected to each other through a network formed by at least one intermediate node 1630.
  • one of the first terminal 1620-1 and the second terminal 1620-2 is: It can perform the role of server 1610.
  • a metaverse environment can be formed solely by device-to-device connection (e.g., peer-to-peer (P2P) connection).
  • P2P peer-to-peer
  • the user terminal 1620 may be made in various form factors and may provide images to the user. or/and an output device for providing sound and an input device for inputting information into the metaverse service.
  • various form factors of the user terminal 1620 include a smartphone (e.g., the second terminal (1620-2)), an AR device (e.g., the first terminal (1620-1)), a VR device, an MR device, and a VST ( It may include a Video See Through (Video See Through) device, an OST (Optical See Through) device, a smart lens, a smart mirror, and a TV or projector capable of input/output.
  • the network of the present invention (e.g., a network formed by at least one intermediate node 1630) includes various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi, BT, etc. (e.g., the first terminal 1620 -1), and a wired network or wireless network directly connecting the second terminal (1620-2).
  • various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi, BT, etc. (e.g., the first terminal 1620 -1), and a wired network or wireless network directly connecting the second terminal (1620-2).
  • the wearable device may display information about one or more items included in the external object on the display based on identifying the external object using a camera. A method for improving the accuracy of information about one or more items included in an external object is required.
  • the wearable device 101 may include a camera 440, a display 450, a memory 430, and a processor 420.
  • the processor may use the camera to identify an external object (511; 521; 531; 710) including a storage compartment (715) included within the display area (110; 550) of the display. .
  • the processor may obtain information related to the external object based on identifying the external object.
  • the processor may use the camera to identify the shape of the external object among a first shape in which the storage is open or a second shape different from the first shape.
  • the processor obtains a designated motion to move one or more items 910, 915 located within the storage using the camera, based on identifying the shape of the external object corresponding to the first shape. can do.
  • the processor may change the information representing the list of the one or more items located in the storage based on the obtained specified motion.
  • the processor may acquire an image including the one or more items using the camera, based on identifying the shape of the external object corresponding to the first shape.
  • the processor may obtain the designated motion based on the acquired image.
  • the processor may use the camera to identify a shape of the external object corresponding to the second shape that is different from the first shape.
  • the processor may change the information based on identifying the shape of the external object corresponding to the second shape.
  • the processor corresponds to each of the one or more items using the image, which is a first image, based on identifying the shape of the external object corresponding to the second shape using the camera.
  • Second images 900 and 910 may be generated.
  • the processor may identify the designated motion to change at least one of the number or location of the one or more items included in the storage.
  • the processor may set a designated type of the external object based on obtaining information related to the external object.
  • the processor may control the display to display visual objects 512; 515; 522; 525; 532; 1110; 1120 representing the one or more items corresponding to the specified type.
  • the processor may control the display to display the visual object representing a list of the one or more items based on setting a first type among the designated types.
  • the processor may control the display to display the visual object including time information related to the one or more items, based on setting a second type among the designated types.
  • the processor may control the display based on setting a third type among the designated types to display the visual object for controlling the external object.
  • the wearable device may include a communication circuit 470.
  • the processor may establish a communication link with at least one server 410 using the communication circuit.
  • the processor may transmit a signal indicating the changed information while the communication link is established.
  • the method uses the camera 440 to detect a storage compartment (storage compartment) contained within the display area 110; 550 of the display 450. It may include an operation of identifying external objects 511; 521; 531; 710) including 715).
  • the method sets a designated type corresponding to the external object using type information 431 for distinguishing the external object stored in the memory 430, based on identifying the external object.
  • the method may include obtaining item information 432 related to one or more items included in the storage corresponding to the established specified type.
  • the method may include controlling the display to display a visual object (512; 515; 522; 525; 532; 1110; 1120) representing the item information, based on obtaining the item information. You can.
  • the method may include using the camera to identify the shape of the external object, either a first shape in which the storage is open, or a second shape different from the first shape.
  • the method may include, based on identifying the shape of the external object corresponding to the first shape, using the camera to obtain a designated motion to change the one or more items contained in the storage. You can.
  • the method may include an operation of changing the item information based on obtaining the specified motion.
  • the method may include displaying the visual object 515 representing the number 515-3 of the one or more items based on setting a first type among the specified types. .
  • the method may include, based on setting a second type of the specified type, the visual display indicating time information 525-2; 525-3 indicating the time the one or more items were included in the storage. It may include an operation to display the object 525.
  • the method may include an operation of displaying the visual object 1110; 1120 for controlling the external object based on setting a third type among the designated types.
  • the wearable device 101 may include a camera 440, a display 450, a memory 430, and a processor 420.
  • the processor may use the camera to identify an external object (511; 521; 531; 710) including a storage compartment (715) included within the display area (110; 550) of the display. .
  • the processor based on identifying the external object, sets a designated type corresponding to the external object using type information 431 for distinguishing the external object stored in the memory. You can.
  • the processor may obtain item information 432 related to one or more items included in the storage corresponding to the set specified type.
  • the processor may control the display to display visual objects 512; 515; 522; 525; 532; 1110; 1120 representing the item information, based on obtaining the item information.
  • the method of claim 16 wherein the processor, using the camera, can identify the shape of the external object among a first shape in which the storage is open or a second shape different from the first shape. there is.
  • the processor may obtain a designated motion for changing the one or more items included in the storage using the camera, based on identifying the shape of the external object corresponding to the first shape.
  • the processor may change the item information based on obtaining the specified motion.
  • the processor may display the visual object 515 indicating the number 515-3 of the one or more items based on setting the first type among the designated types.
  • the processor may, based on setting a second type of the specified type, display the visual information indicating time information 525-2; 525-3 indicating the time the one or more items were included in the storage.
  • An object 525 may be displayed.
  • the processor may display the visual object 1110; 1120 for controlling the external object based on setting the third type among the designated types.
  • the method uses the camera 440 to store a storage included in the display area 110; 550 of the display 450. It may include an operation of identifying an external object (511; 521; 531; 710) including a compartment (715).
  • the method may include obtaining information related to the external object based on identifying the external object.
  • the method may include an operation of identifying the shape of the external object, using the camera, among a first shape in which the storage is open or a second shape different from the first shape.
  • the method obtains a designated motion for moving one or more items 910, 915 located in the storage using the camera, based on identifying the shape of the external object corresponding to the first shape. It may include actions such as:
  • the method may include changing the information representing the list of the one or more items located in the storage based on the obtained specified motion.
  • the method may include acquiring an image including the one or more items using the camera, based on identifying the shape of the external object corresponding to the first shape.
  • the method may include an operation of acquiring the specified motion based on the acquired image.
  • the method may include, based on obtaining the specified motion, using the camera to identify a shape of the external object corresponding to the second shape that is different from the first shape. there is.
  • the method may include an operation of changing the information based on identifying the shape of the external object corresponding to the second shape.
  • the method corresponds to each of the one or more items by using the image, which is a first image, based on identifying the shape of the external object corresponding to the second shape using the camera. It may include an operation of generating second images 900 and 910 that do the following.
  • the method may include identifying the designated motion to change at least one of the number or location of the one or more items included in the storage.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 웨어러블 장치의 프로세서는, 카메라를 이용하여, 디스플레이의 표시 영역 내에 포함된 저장고를 포함하는 외부 객체를 식별할 수 있다. 상기 프로세서는, 상기 저장고가 개방된 제1 형태 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 위치하는 하나 이상의 아이템들을 이동하기 위한 지정된 모션을 획득할 수 있다. 상기 프로세서는, 상기 획득된 지정된 모션에 기반하여, 상기 저장고 내에 위치하는 상기 하나 이상의 아이템들의 리스트를 나타내는 정보를 변경할 수 있다. 본 문서는, 실제 객체 및 가상 객체 사이의 상호연결성을 강화하기 위한 메타버스 서비스와 관련될 수 있다. 예를 들면, 상기 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.

Description

외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법
다양한 실시예들은, 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 전자 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예에 따른 웨어러블 장치는 카메라, 디스플레이, 메모리, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 디스플레이의 표시 영역 내에 포함된 저장고(storage compartment)를 포함하는 외부 객체를 식별할 수 있다. 상기 프로세서는, 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 관련된 정보를 획득할 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별할 수 있다. 상기 프로세서는, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 위치하는 하나 이상의 아이템들을 이동하기 위한 지정된 모션을 획득할 수 있다. 상기 프로세서는, 상기 획득된 지정된 모션에 기반하여, 상기 저장고 내에 위치하는 상기 하나 이상의 아이템들의 리스트를 나타내는 상기 정보를 변경할 수 있다.
일 실시예에 따른 웨어러블 장치의 방법에 있어서, 상기 방법은, 카메라를 이용하여, 디스플레이의 표시 영역 내에 포함된 저장고(storage compartment)를 포함하는 외부 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 외부 객체를 식별한 것에 기반하여, 메모리 내에 저장된 상기 외부 객체를 구분하기 위한 유형(type) 정보를 이용하여 상기 외부 객체에 대응하는 지정된 유형을 설정(set)하는 동작을 포함할 수 있다. 상기 방법은, 설정된 상기 지정된 유형에 대응하는 상기 저장고 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 아이템 정보를 획득한 것에 기반하여, 상기 아이템 정보를 나타내는 시각적 객체를, 상기 디스플레이를 제어하여, 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 웨어러블 장치는, 카메라, 디스플레이, 메모리, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 디스플레이의 표시 영역 내에 포함된 저장고(storage compartment)를 포함하는 외부 객체를 식별할 수 있다. 상기 프로세서는, 상기 외부 객체를 식별한 것에 기반하여, 상기 메모리 내에 저장된 상기 외부 객체를 구분하기 위한 유형(type) 정보를 이용하여 상기 외부 객체에 대응하는 지정된 유형을 설정(set)할 수 있다. 상기 프로세서는, 설정된 상기 지정된 유형에 대응하는 상기 저장고 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보를 획득할 수 있다. 상기 프로세서는, 상기 아이템 정보를 획득한 것에 기반하여, 상기 아이템 정보를 나타내는 시각적 객체를, 상기 디스플레이를 제어하여, 표시할 수 있다.
일 실시예에 따른 웨어러블 장치의 방법에 있어서, 상기 방법은, 카메라를 이용하여, 디스플레이의 표시 영역 내에 포함된 저장고(storage compartment)를 포함하는 외부 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 관련된 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 위치하는 하나 이상의 아이템들을 이동하기 위한 지정된 모션을 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 획득된 지정된 모션에 기반하여, 상기 저장고 내에 위치하는 상기 하나 이상의 아이템들의 리스트를 나타내는(indicating) 상기 정보를 변경하는 동작을 포함할 수 있다.
도 1은, 일 실시예에 따른(according to an embodiment), 웨어러블 장치가 외부 객체에 대응하는 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 2a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다.
도 2b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 3a 내지 도 3b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 4는, 일 실시예에 따른 웨어러블 장치의 예시적인 블록도를 도시한다.
도 5a, 도 5b, 및 도 5c는, 일 실시예에 따른 웨어러블 장치가 외부 객체의 유형에 대응하는 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 6은, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도를 도시한다.
도 7은, 일 실시예에 따른 웨어러블 장치가 외부 객체의 상태를 식별하는 동작의 일 예를 도시한다.
도 8은, 일 실시예에 따른 웨어러블 장치가 외부 객체의 상태에 기반하여, 하나 이상의 아이템들의 변경을 식별하는 동작의 예시적인 흐름도를 도시한다.
도 9는, 일 실시예에 따른 웨어러블 장치가 하나 이상의 아이템들의 변경을 식별하는 동작의 일 예를 도시한다.
도 10은, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도를 도시한다.
도 11은, 일 실시예에 따른 웨어러블 장치가, 외부 객체의 제어를 나타내는 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 12는, 일 실시예에 따른 웨어러블 장치 및 외부 전자 장치 사이의 예시적인 상호작용을 도시한다.
도 13은, 일 실시예에 따른 웨어러블 장치가 적어도 하나의 입력에 응답하여, 적어도 하나의 아이템의 위치를 제공하는 동작의 일 예를 도시한다.
도 14는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도를 도시한다.
도 15는, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 16은, 서버를 통해 메타버스 서비스를 제공받는 네트워크 환경에 대한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나”, "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어” 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 일 실시예에 따른(according to an embodiment), 웨어러블 장치가 외부 객체에 대응하는 시각적 객체를 표시하는 동작의 일 예를 도시한다. 일 실시예에 따른, 웨어러블 장치(101)는, 사용자의 신체 부위(예, 머리) 상에 착용 가능한(wearable on), 안경의 형태를 가질 수 있다. 웨어러블 장치(101)는, HMD(head-mounted display)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)의 하우징은 사용자의 머리의 일부분(예를 들어, 두 눈을 감싸는 얼굴의 일부분)에 밀착되는 형태를 가지는 고무, 및/또는 실리콘과 같은 유연성 소재(flexible material)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)의 하우징은 사용자의 머리에 감길 수 있는(able to be twined around) 하나 이상의 스트랩들, 및/또는 상기 머리의 귀로 탈착 가능한(attachable to) 하나 이상의 템플들(temples)을 포함할 수 있다. 웨어러블 장치(101) 내에 포함된 하나 이상의 구성들에 대한 설명은 도 2a 내지 도 2b에서 후술한다.
도 1을 참고하면, 일 실시예에 따른 웨어러블 장치(101)가 디스플레이의 표시 영역(110) 내에, 외부 객체들(115) 각각에 대응하는 시각적 객체(116, 117)를 표시하는 상태(100)가 도시된다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)의 카메라를 이용하여, 디스플레이의 표시 영역(110) 내에 보여지는, 외부 객체들(115)을 식별할 수 있다. 일 예로, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 시선(gaze)을 식별한 것에 기반하여, 외부 객체들(115)을 식별할 수 있다. 다만 이에 제한되는 것은 아니다. 웨어러블 장치(101)는, 식별한 외부 객체들(115) 각각의 유형(type)을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 웨어러블 장치(101)의 메모리 내에 저장된 적어도 하나의 데이터를 이용하여, 외부 객체들(115) 각각의 유형을 식별할 수 있다. 외부 객체들(115) 각각에 대응하는 유형은 하나 이상일 수 있다. 상기 유형에 대한 설명은 도 4에서 후술한다.
일 실시예에 따른 웨어러블 장치(101)는, 외부 객체들(115)을 식별한 것에 기반하여, 외부 객체들(115) 내에 포함된 하나 이상의 아이템을 지시하는 정보를 획득할 수 있다. 예를 들어, 외부 객체들(115)은, 적어도 하나의 저장고(storage compartment)를 포함할 수 있다. 외부 객체들(115)은, 상기 적어도 하나의 저장고를 이용하여, 적어도 하나의 아이템을 보관할 수 있다. 외부 객체들(115) 각각의 유형에 따라, 보관 가능한 적어도 하나의 아이템들의 개수, 및/또는 종류(kind)는 상이할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 객체(115-1)의 유형을 식별한 것에 기반하여, 외부 객체(115-1) 내에 포함된 아이템 정보를 획득할 수 있다.
예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)의 카메라를 이용하여, 외부 객체(115-1) 내에 보관 가능한 적어도 하나의 아이템의 변경을 식별할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)의 메모리 내에 저장된 영상 분석 어플리케이션의 실행에 기반하여, 상기 적어도 하나의 아이템의 변경을 식별할 수 있다. 웨어러블 장치(101)는 상기 적어도 하나의 아이템의 변경을 식별한 것에 기반하여, 아이템 정보를 업데이트할 수 있다. 웨어러블 장치(101)가 아이템 정보를 업데이트 하는 동작은 도 9에서 후술한다.
예를 들어, 웨어러블 장치(101)는, 아이템 정보를 이용하여, 외부 객체(115-1) 내에 포함된 아이템의 종류, 아이템 명(name), 아이템 개수, 아이템이 외부 객체(115-1) 내에 보관된 시간 정보(예, 보관 날짜), 아이템이 이용가능한 시간 정보(예, 유통 기한, 또는 소비 기한)을 식별할 수 있다. 웨어러블 장치(101)는, 상기 아이템 정보를 이용하여, 외부 객체(115-1) 내에 포함된 아이템들을 지시하는 시각적 객체(116)를 디스플레이를 제어하여, 디스플레이의 표시 영역(110) 내에, 표시할 수 있다. 웨어러블 장치(101)는, 시각적 객체(116)를 표시함으로써, 웨어러블 장치(101)의 사용자에게, 외부 객체(115-1) 내에 포함된 적어도 하나의 아이템에 대한 정보를 제공할 수 있다.
예를 들어, 상기 적어도 하나의 아이템에 대한 정보는, 웨어러블 장치(101)가, 카메라를 이용하여, 저장고가 개방된 외부 객체(115-1)의 형태를 식별한 것에 기반하여, 레코딩한 영상을 이용하여, 업데이트될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 영상을, 상기 적어도 하나의 아이템에 대응하여 분할하는 것에 기반하여, 상기 적어도 하나의 아이템의 변경을 지시하는 지정된 모션을 식별할 수 있다. 상기 지정된 모션을 식별한 것에 기반하여, 웨어러블 장치(101)는, 상기 적어도 하나의 아이템에 대한 정보를 업데이트할 수 있다. 웨어러블 장치(101)가 상기 적어도 하나의 아이템에 대한 정보를 업데이트 하는 동작은 도 9에서 후술한다.
예를 들어, 웨어러블 장치(101)는, 외부 객체(115-2)를 식별한 것에 기반하여, 외부 객체(115-2)의 상태를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는, 외부 객체(115-2)가 적어도 하나의 아이템을 보관하고 있는 지 여부를 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체(115-2)의 상태를 획득한 것에 기반하여, 시각적 객체(117)를, 디스플레이의 표시 영역(110) 내에 표시할 수 있다. 웨어러블 장치(101)는, 시각적 객체(117)를 표시함으로써, 사용자에게, 외부 객체(115-2)를 사용하는 사용자의 기억을 상기(remind)시킬 수 있다. 예를 들어, 웨어러블 장치(101)는 웨어러블 장치(101) 및 외부 객체(115-2) 사이의 거리에 기반하여, 외부 객체(115-2)의 제어를 지시하는 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)가 상기 거리에 기반하여 상기 시각적 객체를 표시하는 동작은, 도 11에서 후술한다.
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(101)는, 카메라를 이용하여, 외부 객체들(115)을 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체들(115)을 식별한 것에 기반하여, 웨어러블 장치의 메모리 내에 저장된 유형 정보를 이용하여, 외부 객체들(115) 각각에 대응하는 유형을 설정(set)할 수 있다. 웨어러블 장치(101)는, 상기 설정된 유형에 기반하여, 메모리 내에 저장된 아이템 정보를 이용하여, 외부 객체들(115) 각각에 포함된 하나 이상의 아이템들을 나타내는 시각적 객체(116, 117)를 디스플레이의 표시 영역(110) 내에 표시할 수 있다. 웨어러블 장치(101)는, 외부 객체의 유형에 대응하는 아이템 정보를 디스플레이를 제어하여 표시함으로써, 사용자에게, 적어도 하나의 아이템이 보관된 위치를 제공할 수 있다.
도 2a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다. 도 2b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 2a 내지 도 2b의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101)의 일 예일 수 있다. 도 2a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 적어도 하나의 디스플레이(250), 및 적어도 하나의 디스플레이(250)를 지지하는 프레임(200)을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자에게, 증강 현실(AR), 가상 현실(VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(101)는, 도 2b의 동작 인식 카메라(260-2, 264)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 도 2b의 적어도 하나의 광학 장치(282, 284)에서 제공되는 가상 현실 영상을 적어도 하나의 디스플레이(250)에 표시할 수 있다.
일 실시예에 따르면, 적어도 하나의 디스플레이(250)는, 사용자에게 시각 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(250)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(250)는, 제1 디스플레이(250-1) 및/또는 제1 디스플레이(250-1)로부터 이격된 제2 디스플레이(250-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(250-1), 및 제2 디스플레이(250-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 2b를 참조하면, 적어도 하나의 디스플레이(250)는, 적어도 하나의 디스플레이(250)에 포함되는 렌즈를 통해 사용자에게 외부 광으로부터 전달되는 시각적 정보와, 상기 시각적 정보와 구별되는 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 예를 들면, 적어도 하나의 디스플레이(250)는, 제1 면(surface)(231), 및 제1 면(231)에 반대인 제2 면(232)을 포함할 수 있다. 적어도 하나의 디스플레이(250)의 제2 면(232) 상에, 표시 영역이 형성될 수 있다. 사용자가 웨어러블 장치(101)를 착용하였을 때, 외부 광은 제1 면(231)으로 입사되고, 제2 면(232)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(250)는, 외부 광을 통해 전달되는 현실 화면에, 적어도 하나의 광학 장치(282, 284)에서 제공되는 가상 현실 영상이 결합된 증강 현실 영상을, 제2 면(232) 상에 형성된 표시 영역에 표시할 수 있다.
일 실시예에서, 적어도 하나의 디스플레이(250)는, 적어도 하나의 광학 장치(282, 284)에서 송출된 광을 회절시켜, 사용자에게 전달하는, 적어도 하나의 웨이브가이드(waveguide)(233, 234)를 포함할 수 있다. 적어도 하나의 웨이브가이드(233, 234)는, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 웨이브가이드(233, 234)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 적어도 하나의 웨이브가이드(233, 234)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 적어도 하나의 웨이브가이드(233, 234)의 타 단으로 전파될 수 있다. 적어도 하나의 웨이브가이드(233, 234)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 적어도 하나의 웨이브가이드(233, 234)는, 적어도 하나의 디스플레이(250)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(101) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 적어도 하나의 웨이브가이드(233, 234) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 촬영 카메라(245)를 통해 수집된 현실 영상에 포함된 외부 객체를 분석하고, 분석된 외부 객체 중에서 증강 현실 제공의 대상이 되는 외부 객체에 대응되는 가상 객체(virtual object)(또는, 시각적 객체)를 결합하여, 적어도 하나의 디스플레이(250)에 표시할 수 있다. 가상 객체는, 현실 영상에 포함된 외부 객체에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(101)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 외부 객체를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(101)는 멀티-카메라, 및/또는, ToF(time-of-flight)를 이용하여, SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(101)를 착용한 사용자는, 적어도 하나의 디스플레이(250)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임(200)은, 웨어러블 장치(101)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임(200)은, 사용자가 웨어러블 장치(101)를 착용하였을 때, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임(200)은, 적어도 하나의 디스플레이(250)를 지지할 수 있다. 예를 들면, 프레임(200)은, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 2a를 참조하면, 프레임(200)은, 사용자가 웨어러블 장치(101)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(220)을 포함할 수 있다. 예를 들면, 프레임(200)의 사용자의 신체의 일부분과 접촉되는 영역(220)은, 웨어러블 장치(101)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임(200)은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(210)를 포함할 수 있다. 웨어러블 장치(101)가 사용자에 의해 착용될 시, 노즈 패드(210)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임(200)은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(204) 및 제2 템플(205)을 포함할 수 있다.
예를 들면, 프레임(200)은, 제1 디스플레이(250-1)의 적어도 일부를 감싸는 제1 림(rim)(201), 제2 디스플레이(250-2)의 적어도 일부를 감싸는 제2 림(202), 제1 림(201)과 제2 림(202) 사이에 배치되는 브릿지(bridge)(203), 브릿지(203)의 일단으로부터 제1 림(201)의 가장자리 일부를 따라 배치되는 제1 패드(211), 브릿지(203)의 타단으로부터 제2 림(202)의 가장자리 일부를 따라 배치되는 제2 패드(212), 제1 림(201)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(204), 및 제2 림(202)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(205)을 포함할 수 있다. 제1 패드(211), 및 제2 패드(212)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(204) 및 제2 템플(205)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플(204, 205)은, 도 2b의 힌지 유닛들(206, 207)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(204)은, 제1 림(201)과 제1 템플(204)의 사이에 배치된 제1 힌지 유닛(206)을 통해, 제1 림(201)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(205)은, 제2 림(202)과 제2 템플(205)의 사이에 배치된 제2 힌지 유닛(207)을 통해 제2 림(202)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 프레임(200)의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임(200)을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스처를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(101)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 4의 블록도에 기반하여 후술될 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(270), 안테나 모듈(275), 적어도 하나의 광학 장치(282, 284), 스피커들(예, 스피커들(255-1, 255-2)), 마이크(예, 마이크들(265-1, 265-2, 265-3)), 발광 모듈(미도시), 및/또는 PCB(printed circuit board)(290)(예, 인쇄 회로 기판)을 포함할 수 있다. 다양한 하드웨어들은, 프레임(200) 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 마이크(예, 마이크들(265-1, 265-2, 265-3))는, 프레임(200)의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 브릿지(203) 상에 배치된 제1 마이크(265-1), 제2 림(202) 상에 배치된 제2 마이크(265-2), 및 제1 림(201) 상에 배치된 제3 마이크(265-3)가 도 2b 내에 도시되지만, 마이크(265)의 개수, 및 배치가 도 2b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(101) 내에 포함된 마이크(265)의 개수가 두 개 이상인 경우, 웨어러블 장치(101)는 프레임(200)의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 적어도 하나의 광학 장치(282, 284)는, 다양한 이미지 정보를 사용자에게 제공하기 위하여, 적어도 하나의 디스플레이(250)에 가상 오브젝트를 투영할 수 있다. 예를 들면, 적어도 하나의 광학 장치(282, 284)는, 프로젝터일 수 있다. 적어도 하나의 광학 장치(282, 284)는, 적어도 하나의 디스플레이(250)에 인접하여 배치되거나, 적어도 하나의 디스플레이(250)의 일부로써, 적어도 하나의 디스플레이(250) 내에 포함될 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는, 제1 디스플레이(250-1)에 대응되는, 제1 광학 장치(282) 및 제2 디스플레이(250-2)에 대응되는, 제2 광학 장치(284)를 포함할 수 있다. 예를 들면, 적어도 하나의 광학 장치(282, 284)는, 제1 디스플레이(250-1)의 가장자리에 배치되는 제1 광학 장치(282) 및 제2 디스플레이(250-2)의 가장자리에 배치되는 제2 광학 장치(284)를 포함할 수 있다. 제1 광학 장치(282)는, 제1 디스플레이(250-1) 상에 배치된 제1 웨이브가이드(233)로 광을 송출할 수 있고, 제2 광학 장치(284)는, 제2 디스플레이(250-2) 상에 배치된 제2 웨이브가이드(234)로 광을 송출할 수 있다.
일 실시예에서, 카메라(260)는, 촬영 카메라(245), 시선 추적 카메라(eye tracking camera, ET CAM)(260-1), 및/또는 동작 인식 카메라(260-2)를 포함할 수 있다. 촬영 카메라(245), 시선 추적 카메라(260-1) 및 동작 인식 카메라(260-2, 264)는, 프레임(200) 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 시선 추적 카메라(260-1)는, 웨어러블 장치(101)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(101)는 시선 추적 카메라(260-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(260-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 2b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(260-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(245)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라(245)는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(250)로 제공할 수 있다. 적어도 하나의 디스플레이(250)는, 촬영 카메라(245)를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 적어도 하나의 광학 장치(282, 284)를 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라(245)는, 제1 림(201) 및 제2 림(202) 사이에 배치되는 브릿지(203) 상에 배치될 수 있다.
일 실시예에 따른 시선 추적 카메라(260-1)는, 웨어러블 장치(101)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(250)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(250)에 표시할 수 있다. 시선 추적 카메라(260-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐 하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(260-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(260-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(260-1)는, 제1 림(201) 및/또는 제2 림(202) 내에서, 웨어러블 장치(101)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에 따른 동작 인식 카메라(260-2, 264)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(250)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(260-2, 264)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(250)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(260-2, 264)는, 제1 림(201) 및/또는 제2 림(202)상에 배치될 수 있다.
일 실시예에 따른 웨어러블 장치(101) 내에 포함된 카메라(260)는, 상술된 시선 추적 카메라(260-1), 동작 인식 카메라(260-2, 264)에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 사용자의 FoV를 향하여 배치된 카메라(260)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(101)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(101), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(260)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(260)(예, FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는, 카메라(260)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임(200), 힌지 유닛들(206, 207) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(270)은, 웨어러블 장치(101)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(270)은, 제1 템플(204) 및/또는 제2 템플(205) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(270)은, 복수의 배터리 모듈(270)들일 수 있다. 복수의 배터리 모듈(270)들은, 각각 제1 템플(204)과 제2 템플(205) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(270)은 제1 템플(204) 및/또는 제2 템플(205)의 단부에 배치될 수 있다.
일 실시예에 따른 안테나 모듈(275)은, 신호 또는 전력을 웨어러블 장치(101)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 일 실시예에서, 안테나 모듈(275)은, 제1 템플(204) 및/또는 제2 템플(205) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(275)은, 제1 템플(204), 및/또는 제2 템플(205)의 일면에 가깝게 배치될 수 있다.
일 실시예에 따른 스피커(255)는, 음향 신호를 웨어러블 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커(255)는, 웨어러블 장치(101)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(204), 및/또는 제2 템플(205) 내에 배치될 수 있다. 예를 들면, 스피커(255)는, 제1 템플(204) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(255-2), 및 제2 템플(205) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(255-1)를 포함할 수 있다.
일 실시예에 따른 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(101)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(101)가, 충전이 필요한 경우, 적색 광의 빛을 일정한 주기로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(201) 및/또는 제2 림(202) 상에 배치될 수 있다.
도 2b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 PCB(printed circuit board)(290)을 포함할 수 있다. PCB(290)는, 제1 템플(204), 또는 제2 템플(205) 중 적어도 하나에 포함될 수 있다. PCB(290)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(290) 상에서, 웨어러블 장치(101)에 포함된 하나 이상의 하드웨어들(예, 도 4의 상이한 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(101)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)의 자세, 및/또는 웨어러블 장치(101)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 IMU에 기반하여 웨어러블 장치(101)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스처를 식별할 수 있다.
도 3a 내지 도 3b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101)의 일 예일 수 있다. 일 실시예에 따른, 웨어러블 장치(101)의 하우징의 제1 면(310)의 외관의 일 예가 도 3a에 도시되고, 상기 제1 면(310)의 반대되는(opposite to) 제2 면(320)의 외관의 일 예가 도 3b에 도시될 수 있다.
도 3a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)의 제1 면(310)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(101)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 2a 내지 도 2b의 제1 템플(204), 및/또는 제2 템플(205))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(250-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(250-2)가 제1 면(310) 상에 배치될 수 있다. 웨어러블 장치(101)는 제1 면(310) 상에 형성되고, 상기 제1 디스플레이(250-1), 및 상기 제2 디스플레이(250-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 상기 제1 디스플레이(250-1), 및 상기 제2 디스플레이(250-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(260-3, 260-4)을 포함할 수 있다. 상기 카메라들(260-3, 260-4)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(260-5, 260-6)을 포함할 수 있다. 상기 카메라들(260-5, 260-6)은, FT 카메라로 참조될 수 있다.
도 3b를 참고하면, 도 3a의 제1 면(310)과 반대되는 제2 면(320) 상에, 웨어러블 장치(101)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(260-7, 260-8, 260-9, 260-10, 260-11, 260-12)), 및/또는 센서(예, 깊이 센서(330))가 배치될 수 있다. 예를 들어, 카메라들(260-7, 260-8, 260-9, 260-10)은, 외부 객체를 인식하기 위하여, 제2 면(320) 상에 배치될 수 있다. 예를 들어, 카메라들(260-11, 260-12)을 이용하여, 웨어러블 장치(101)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 비디오를 획득할 수 있다. 카메라(260-11)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(250-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(101)의 제2 면(320) 상에 배치될 수 있다. 카메라(260-12)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(250-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(101)의 제2 면(320) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(320) 상에 배치된 깊이 센서(330)를 포함할 수 있다. 깊이 센서(330)를 이용하여, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
비록 도시되지 않았지만, 웨어러블 장치(101)의 제2 면(320) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 사용자의 손을 포함하는 신체 부위를 식별하기 위한 하드웨어(예, 카메라들(260-7, 260-8, 260-9, 260-10), 및/또는 깊이 센서(330))를 포함할 수 있다. 웨어러블 장치(101)는 하드웨어를 이용하여 획득한 영상에 기반하여, 신체 부위의 모션에 의해 나타나는 제스처를 식별할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자에게, 상기 식별된 제스처에 기반하는 UI를 제공할 수 있다. 상기 UI는, 외부 객체 내에 포함된 하나 이상의 아이템들에 대한 정보를 나타낼 수 있다. 웨어러블 장치(101)는 상기 제스처를 보다 정확하게 식별하기 위하여, 카메라를 이용하여 획득한 영상을 분할할 수 있다.
도 4는, 일 실시예에 따른 웨어러블 장치의 예시적인 블록도를 도시한다. 도 4의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101), 도 2a 내지 도 3b의 웨어러블 장치(101)의 일 예일 수 있다. 도 4를 참고하면, 웨어러블 장치(101), 및 외부 전자 장치(410)가 유선 네트워크, 및/또는 무선 네트워크에 기반하여 서로 연결된 예시적인 상황이 도시된다. 상기 유선 네트워크는, 인터넷, LAN(local area network), WAN(wide area network), 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 상기 무선 네트워크는, LTE(long term evolution), 5g NR(new radio), WiFi(wireless fidelity), Zigbee, NFC(near field communication), Bluetooth, BLE(bluetooth low-energy), 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 비록, 웨어러블 장치(101), 및 외부 전자 장치(410)가 직접적으로 연결된(directly connected) 것으로 도시되었으나, 웨어러블 장치(101), 및 외부 전자 장치(410)는 하나 이상의 라우터 및/또는 AP(access point)를 통해 간접적으로 연결될 수 있다.
도 4를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 프로세서(420), 메모리(430), 카메라(440), 디스플레이(450), 마이크(460), 또는 통신 회로(470) 중 적어도 하나를 포함할 수 있다. 프로세서(420), 메모리(430), 카메라(440), 디스플레이(450), 마이크(460), 및 통신 회로(470)는 통신 버스(a communication bus)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어 컴포넌트들이 작동적으로 결합된 것은, 하드웨어 컴포넌트들 중 제1 하드웨어 컴포넌트에 의해 제2 하드웨어 컴포넌트가 제어되도록, 하드웨어 컴포넌트들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 4에 도시된 하드웨어 컴포넌트 중 일부분(예, 프로세서(420), 메모리(430) 및 통신 회로(470)의 적어도 일부분)이 SoC(system on a chip)와 같은 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101)에 포함된 하드웨어 컴포넌트의 타입 및/또는 개수는 도 4에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 도 4에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 프로세서(420)는 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, CPU(central processing unit), GPU(graphics processing unit), DSP(digital signal processing), 및/또는 NPU(neural processing unit)를 포함할 수 있다. 프로세서(420)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(420)는 듀얼 코어(dual core), 쿼드 코어(quad core) 또는 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 메모리(430)는, 프로세서(420)로 입력되거나, 및/또는 프로세서(420)로부터 출력되는 데이터, 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(430)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory), 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 상기 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 상기 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 카메라(440)는, 빛의 색상, 및/또는 밝기를 나타내는 전기 신호를 생성하는 광 센서(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)를 하나 이상 포함할 수 있다. 카메라(440)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(440)는 복수의 광 센서들 각각의 전기 신호를 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하고, 2차원으로 배열된 복수의 픽셀들을 포함하는 이미지를 생성할 수 있다. 예를 들어, 카메라(440)를 이용하여 캡쳐한 사진 데이터는 카메라(440)로부터 획득한 하나의 이미지를 의미할 수 있다. 예를 들어, 카메라(440)를 이용하여 캡쳐한 비디오 데이터는, 카메라(440)로부터 지정된 프레임율(frame rate)을 따라 획득한 복수의 이미지들의 시퀀스(sequence)를 의미할 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 카메라(440)가 빛을 수신하는 방향을 향하여 배치되고, 상기 방향으로 빛을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 웨어러블 장치(101) 내에 포함된 카메라(440)의 수는, 도 2a 내지 도 2b, 및/또는 도 3a 내지 도 3b를 참고하여 상술한 바와 같이, 하나 이상일 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(440)를 이용하여, 외부 객체(예, 도 1의 외부 객체들(150))을 식별할 수 있다. 웨어러블 장치(101)는 식별한 외부 객체의 유형을, 유형 정보(431)를 이용하여, 설정(set)할 수 있다. 예를 들어, 웨어러블 장치(101)는, 카메라(440)를 이용하여, 영상 분석 어플리케이션(435)의 실행에 기반하여, 외부 객체 내에 보관 가능한 적어도 하나의 아이템의 변경을 나타내는 지정된 모션을 식별할 수 있다. 웨어러블 장치(101)는, 상기 지정된 모션을 식별한 것에 기반하여, 아이템 정보(432)를 업데이트할 수 있다. 웨어러블 장치(101)가 상기 지정된 모션을 식별하는 동작은 도 9에서 후술한다.
일 실시예에 따른, 웨어러블 장치(101)의 디스플레이(450)는 사용자에게 시각화 된 정보를 출력할 수 있다. 웨어러블 장치(101) 내에 포함된 디스플레이(450)의 개수는 하나 이상일 수 있다. 예를 들어, 디스플레이(450)는, 프로세서(420), 및/또는 GPU(graphic processing unit)(미도시)에 의해 제어되어, 사용자에게 시각화 된 정보(visualized information)를 출력할 수 있다. 디스플레이(450)는 FPD(flat panel display)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel), 디지털 미러 디바이스(digital mirror device, DMD), 하나 이상의 LED들(light emitting diodes), 및/또는 마이크로 LED를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다.
일 실시예에서, 디스플레이(450)의 적어도 일부분에서, 빛의 투과가 발생될 수 있다. 웨어러블 장치(101)는 사용자에게, 디스플레이(450)를 통해 출력하는 빛과, 상기 디스플레이(450)를 투과하는 빛의 결합을 제공하여, 증강 현실과 관련된 사용자 경험을 제공할 수 있다. 도 2a 내지 도 2b, 및/또는 도 3a 내지 도 3b를 참고하여 상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)의 디스플레이(450)는, 머리와 같은 사용자의 신체 부위에 착용된 상태 내에서, 사용자의 FoV(field-of-view) 전체를 덮거나, 또는 상기 FoV를 향하여 빛을 방사하기 위한 구조를 가질 수 있다. 비록, 도시되지 않았지만, 웨어러블 장치(101)는 정보를 시각적인 형태, 청각적인 형태 외에 다른 형태로 출력하기 위한 다른 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 오디오 신호를 출력하기 위한 적어도 하나의 스피커, 및/또는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터(또는, 엑추에이터)를 포함할 수 있다.
일 실시예에 따른 웨어러블 장치(101)의 마이크(460)는, 오디오 데이터(예, 사용자의 음성(voice))를 수신할 수 있다. 예를 들어, 웨어러블 장치(101)는, 하나 이상의 마이크를 포함할 수 있다. 마이크(460)는, 웨어러블 장치(101)의 하우징의 일 부분에 배치될 수 있다. 마이크(460)는, 스피커(미도시)에 인접하여 배치되는 측면에서, 피드백 마이크로 지칭될 수 있다. 마이크(460)는 웨어러블 장치(101)의 센서(미도시)가 포함된, 하우징의 일 부분에 배치될 수 있다. 마이크(460)는, 웨어러블 장치(101)의 외부를 향해 배치되는 측면에서, 피드포워드 마이크로 지칭될 수 있다. 다만, 이에 제한되지 않는다.
일 실시예에 따른, 웨어러블 장치(101)의 통신 회로(470)는, 웨어러블 장치(101), 및 외부 전자 장치(410) 사이의 전기 신호의 송신, 및/또는 수신을 지원하기 위한 하드웨어를 포함할 수 있다. 통신 회로(470)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(470)는, 이더넷(ethernet), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio)와 같은 다양한 타입의 통신 수단에 기반하여, 전기 신호의 송신, 및/또는 수신을 지원할 수 있다.
일 실시예에 따른 웨어러블 장치(101)의 메모리(430) 내에서, 프로세서(420)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 웨어러블 장치(101), 및/또는 프로세서(420)는, 운영체제, 펌웨어, 드라이버, 및/또는 어플리케이션 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)이 실행될 시에, 도 6, 도 8, 도 10, 또는 도 14의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 웨어러블 장치(101)에 설치되었다는 것은, 어플리케이션 또는 라이브러리의 형태로 제공된 하나 이상의 인스트럭션들이 웨어러블 장치(101)의 메모리(430) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 웨어러블 장치(101)의 프로세서(420)에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다. 예를 들어, 라이브러리(library)는, 웨어러블 장치(101) 내에 저장된 하나 이상의 프로그램들의 기능을 수행하기 위해 이용되는, 컴파일 된 복수의 데이터 세트를 포함할 수 있다.
도 4를 참고하면, 일 실시예에 따른 웨어러블 장치(101)는, 카메라(440)를 이용하여, 외부 객체를 식별할 수 있다. 외부 객체는, 적어도 하나의 아이템을 보관하기 위한 저장고(storage compartment)를 포함할 수 있다. 웨어러블 장치(101)는, 외부 객체를 구분하기 위한 유형 정보(431)를 이용하여, 상기 외부 객체의 유형(type)을 설정(set)할 수 있다. 외부 객체의 유형은, 제1 유형(예, 단순 수납형), 제2 유형(예, 유통 기한형), 및/또는 제3 유형(예, 매뉴얼 설명형)으로 구분될 수 있다.
예를 들어, 제1 유형은, 시간과 독립적으로 사용가능한, 외부 객체 내에 포함된 하나 이상의 아이템들을, 보관하기 위한 외부 객체의 유형을 의미할 수 있다. 제2 유형은, 지정된 시간 동안 사용가능한 외부 객체 내에 포함된 하나 이상의 아이템들을, 보관하기 위한 외부 객체의 유형을 의미할 수 있다. 제3 유형은, 외부 객체 내에 포함된 하나 이상의 아이템들을 외부 객체의 기능(예, 빨래, 조리, 및/또는 제습)에 기반하여 보관하기 위한, 외부 객체의 유형을 의미할 수 있다. 다만, 이에 제한되는 것은 아니다. 웨어러블 장치(101)는, 실시예에 따라, 다양한 외부 객체에 대응하는 유형을 설정할 수 있다. 일 예로, 웨어러블 장치(101)는 적어도 하나의 서버로부터, 외부 객체에 대한 메타 데이터를 요청할 수 있다. 웨어러블 장치(101)는, 적어도 하나의 서버로부터 수신한 메타 데이터를 이용하여, 외부 객체의 유형을 식별할 수 있다.
예를 들어, 웨어러블 장치(101)는, 외부 객체의 특성(characteristic)에 따라, 유형 정보(431)를 이용하여, 외부 객체의 유형을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 외부 객체 내에 보관되는 아이템들의 특성에 따라, 유형 정보(431)를 이용하여, 외부 객체의 유형을 설정(set)할 수 있다. 일 예로, 제1 유형에 대응하는 외부 객체는, 장롱(wardrobe), 옷장(closet) 서랍(drawer), 캐비닛(cabinet), 및/또는 금고(safe)를 포함할 수 있다. 제1 유형에 대응하는 외부 객체에 보관되는 아이템들은, 제2 유형에 대응하는 외부 객체에 보관되는 아이템들 보다, 상대적으로, 오랜 기간동안 보관될 수 있다. 일 예로, 제2 유형에 대응하는 외부 객체는, 냉장고(refrigerator), 아이스박스(coolbox), 구급 상자(first-aid kit), 및/또는, 냉동고(freezer)를 포함할 수 있다. 일 예로, 제3 유형에 대응하는 외부 객체는, 외부 전자 장치(410)와 상이한 다른 전자 장치(예, 세탁기, 제습기(dehumidifier), 전자레인지(microwave))를 의미할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다.
일 실시예에 따른 웨어러블 장치(101)는, 영상 분석 어플리케이션(435)이 실행된 상태 내에서, 카메라(440)를 이용하여, 하나 이상의 아이템들의 변경을 나타내는 지정된 모션을 식별할 수 있다. 웨어러블 장치(101)는, 상기 하나 이상의 아이템들 각각에 대응하는 영상 정보를 이용하여, 상기 하나 이상의 아이템들 각각에 대응하는 지정된 모션을 식별할 수 있다. 지정된 모션을 식별한 것에 기반하여, 웨어러블 장치(101)는, 외부 객체 내에서, 상기 하나 이상의 아이템들의 보관 여부를 식별할 수 있다. 웨어러블 장치는, 상기 하나 이상의 아이템들의 보관 여부를 식별한 것에 기반하여, 아이템 정보(432)를 업데이트할 수 있다. 웨어러블 장치(101)는, 카메라(440)를 이용하여 외부 객체를 식별한 것에 기반하여, 외부 객체에 대한 유형에 따른 아이템 정보(432)를 이용하여, 디스플레이(450) 내에, 시각적 객체를 표시할 수 있다. 예를 들어, 영상 분석 어플리케이션(435)은, 메모리(430) 내에, 어플리케이션, 라이브러리, 및/또는 서비스와 같은 형식에 기반한, 적어도 하나의 프로그램을 포함될 수 있다.
웨어러블 장치(101)가, 상기 시각적 객체를 표시하는 동작은 도 5a 내지 도 5c에서 후술한다.
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(101)는, 카메라(440)를 이용하여 외부 객체를 식별한 것에 기반하여, 유형 정보(431)를 이용하여, 외부 객체에 대응하는 유형을 설정할 수 있다. 웨어러블 장치(101)는, 설정된 유형에 기반하여, 아이템 정보(432)를 이용하여, 외부 객체 내에 포함된 적어도 하나의 아이템들을 지시하는 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 시각적 객체를 디스플레이(450) 내에 표시함으로써, 상기 적어도 하나의 아이템들에 대한 사용자의 기억력을 증진(improve memory)시킬 수 있다.
도 5a 내지 도 5c는, 일 실시예에 따른 웨어러블 장치가 외부 객체의 유형에 대응하는 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 5a 내지 도 5c의 웨어러블 장치(101)는, 도 1 내지 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 5a 내지 도 5c를 참고하면, 일 실시예에 따른 웨어러블 장치(101)가, 외부 객체의 유형(type)에 기반하여, 디스플레이의 표시 영역(510) 내에, 외부 객체 내에 포함된 적어도 하나의 아이템들에 대한 정보를 지시하는 시각적 객체를 표시하는 상태들(500, 501, 502)이 도시된다.
도 5a를 참고하면, 상태(500)에서, 일 실시예에 따른 웨어러블 장치(101)는 카메라를 이용하여, 외부 객체(511)를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자의 FoV(field-of-view) 내에 포함된 외부 객체(511)를 식별할 수 있다. 웨어러블 장치(101)는, 도 2a의 시선 추적 카메라(260-1)를 이용하여, 사용자의 시선(gaze)을 획득한 것에 기반하여, 외부 객체(511)를 식별할 수 있다. 웨어러블 장치(101)는, 지정된 방향을 포인팅하는 사용자(505)의 손을 식별한 것에 기반하여, 외부 객체(511)를 식별할 수 있다. 웨어러블 장치(101)는, 적어도 하나의 컨트롤러를 이용하여, 외부 객체(511)를 식별할 수 있다. 다만, 이에 제한되는 것은 아니다.
일 실시예에 따른 웨어러블 장치(101)는, 외부 객체(511)를 식별한 것에 기반하여, 유형 정보(예, 도 4의 유형 정보(431))를 이용하여, 외부 객체(511)의 유형을 식별하거나 또는 설정(set)할 수 있다. 일 예로, 외부 객체(511)에 대한 유형 정보가 메모리 내에 저장된 경우, 웨어러블 장치(101)는, 외부 객체(511) 유형의 설정을 삼가할 수 있다. 다만, 이에 제한되는 것은 아니다.
일 실시예에 따른 웨어러블 장치(101)는, 외부 객체(511)의 유형(예, 도 4의 제1 유형)을 식별한 것에 기반하여, 도 4의 아이템 정보(432)를 이용하여, 외부 객체(511) 내에 보관된 하나 이상의 아이템들을 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체(511)의 유형에 대응하여 상기 하나 이상의 아이템들을 지시하는 시각적 객체(515)를, 표시 영역(510) 내에, 표시할 수 있다. 예를 들어, 시각적 객체(515)는, 상기 하나 이상의 아이템들에 대한 정보를 포함할 수 있다. 시각적 객체(515)는, 상기 하나 이상의 아이템들 각각에 대한 아이템 종류(kind of item)를 나타내는 정보(515-1), 아이템 명(name)을 나타내는 정보(515-2), 상기 하나 이상의 아이템들의 개수를 나타내는 정보(515-3), 및/또는 시각적 객체(515) 내에서, 하나 이상의 아이템들의 리스트를 정렬하기 위한 시각적 객체(515-4)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시각적 객체(515-4)에 대한 입력에 응답하여, 사용 횟수(number of uses)에 기반하여, 하나 이상의 아이템들의 리스트를 정렬(array)할 수 있다. 웨어러블 장치(101)는, 시각적 객체(515-4)에 대한 입력에 응답하여, 하나 이상의 아이템들이 사용된 순서(order in which one or more items are used)에 기반하여, 하나 이상의 아이템들의 리스트를 정렬할 수 있다. 다만, 이에 제한되는 것은 아니다.
일 실시예에 따른 웨어러블 장치(101)는, 시각적 객체(515)를 표시하는 것과 독립적으로, 표시 영역(510) 내에, 시각적 객체(512)를 표시할 수 있다. 시각적 객체(512)는, 외부 객체(511)의 내부 상태(internal state)를 나타내는 정보를 포함할 수 있다. 시각적 객체(512)는, 외부 객체(511) 내에 보관된 하나 이상의 아이템들 각각을 표현하는(representing) 시각적 객체들을 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 일 예로, 웨어러블 장치(101)는, 표시 영역(510) 중 외부 객체(511)가 보여지는 일부분에 중첩하여, 시각적 객체(512)를 표시할 수 있다.
예를 들어, 웨어러블 장치(101)는, 도 4의 아이템 정보(432)를 이용하여, 시각적 객체(512)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 카메라를 이용하여, 외부 객체(511)의 내부 상태를 포함하는 이미지를 획득할 수 있다. 상기 이미지를 이용하여, 웨어러블 장치(101)는, 시각적 객체(512)를 생성할 수 있다. 웨어러블 장치(101)가, 외부 객체(511)의 내부 상태를 포함하는 이미지를 획득하는 동작은 도 9에서 후술한다.
도 5b를 참고하면, 상태(501)에서, 일 실시예에 따른 웨어러블 장치(101)는, 카메라를 이용하여, 도 5a의 외부 객체(511)의 유형과 다른 유형(예, 도 4의 제2 유형)에 대응하는 외부 객체(521)를 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체(521)를 식별한 것에 기반하여, 유형 정보(예, 도 4의 유형 정보(431))를 이용하여, 외부 객체(521)에 대응하는 유형을 식별하거나, 또는 설정할 수 있다.
예를 들어, 웨어러블 장치(101)는, 아이템 정보(예, 도 4의 아이템 정보(431))를 이용하여, 외부 객체(521)의 유형에 대응하는 시각적 객체(525)를, 디스플레이를 제어하여, 표시 영역(510) 내에 표시할 수 있다. 시각적 객체(525)는, 도 5a의 시각적 객체(515) 내에 포함된 하나 이상의 정보들(예, 정보들(515-1, 515-2, 515-3))에 대응하는 하나 이상의 아이템들과 관련된 정보(525-1)를 포함할 수 있다. 시각적 객체(525)는, 하나 이상의 아이템들과 관련된 시간 정보(525-2, 525-3)를 포함할 수 있다. 시간 정보(525-2)는, 하나 이상의 아이템들 각각이 외부 객체(521) 내에 보관된 시간(또는, 날짜)을 나타내는 정보를 의미할 수 있다. 시간 정보(525-3)(예, 소비 기한(use by date), 또는, 유통 기한(shelf life))는, 하나 이상의 아이템들 각각의 이용가능한 시간(또는, 날짜)을 나타내는 정보를 의미할 수 있다. 시각적 객체(525-4)는, 도 5a의 시각적 객체(515-4)에 참조될 수 있다. 일 예로, 웨어러블 장치(101)는 시각적 객체(525-4)에 대한 입력에 응답하여, 시간 정보(525-2, 525-3)에 기반하여, 하나 이상의 아이템들의 리스트를 정렬할 수 있다. 다만 이에 제한되는 것은 아니다. 시각적 객체(522)는 도 5a의 시각적 객체(512)에 참조될 수 있다.
도 5c를 참고하면, 상태(502)에서, 일 실시예에 따른 웨어러블 장치(101)는, 도 5a의 외부 객체(511)의 유형, 및/또는 도 5b의 외부 객체(521)의 유형과 다른 유형(예, 도 4의 제3 유형)에 기반한 외부 객체(531)를 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체(531)를 식별할 것에 기반하여, 외부 객체(531)의 유형을 식별하거나 또는 설정할 수 있다. 웨어러블 장치(101)는 외부 객체(531)의 유형을 식별한 것에 기반하여, 외부 객체(531)의 상태를 나타내는 시각적 객체(532)를 표시 영역(510) 내에 표시할 수 있다. 외부 객체(531)의 상태는, 외부 객체(531)가 적어도 하나의 아이템들을 보관하고 있는지 여부를 나타낼 수 있다. 외부 객체(531)의 상태는, 적어도 하나의 아이템들이 보관된 시간을 나타내는 정보를 포함할 수 있다. 외부 객체(531)의 상태는, 외부 객체(531)가 적어도 하나의 동작을 수행한 상태를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 지정된 거리 이상인, 외부 객체(531) 및 웨어러블 장치(101)(또는, 사용자(505)) 사이의 거리를 식별한 것에 기반하여, 시각적 객체(532)를 표시할 수 있다. 웨어러블 장치(101)가 지정된 거리 미만인 외부 객체(531) 및 웨어러블 장치(101) 사이의 거리를 식별한 것에 기반하여, 외부 객체(531)를 제어하기 위한 시각적 객체를 디스플레이를 제어하여, 표시 영역(510) 내에 표시하는 동작은, 도 11에서 후술한다.
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(101)는 외부 객체의 유형에 따라, 상이한 정보를 포함하는 시각적 객체를, 디스플레이를 제어하여, 표시 영역(510) 내에 표시할 수 있다. 웨어러블 장치(101)는, 시각적 객체를 표시하는 것에 기반하여, 외부 객체 내에 포함된 적어도 하나의 아이템을 나타내는 정보를 제공할 수 있다. 웨어러블 장치(101)는 상기 정보를 제공하는 것에 기반하여, 적어도 하나의 아이템을 사용하기 위한 사용자 편의성을 향상시킬 수 있다.
도 6은, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도를 도시한다. 도 6의 동작들 중 적어도 하나는, 도 4의 웨어러블 장치(101), 및/또는 도 4의 프로세서(420)에 의해 수행될 수 있다. 도 6의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 6을 참고하면, 동작 610에서, 일 실시예에 따른 웨어러블 장치는, 카메라를 이용하여, 디스플레이의 표시 영역 내에 포함된 저장고를 포함하는 외부 객체를 식별할 수 있다. 웨어러블 장치가 카메라를 이용하여, 외부 객체를 식별한 상태는 도 5a 내지 도 5c의 상태들(501, 502, 503)에 참조될 수 있다.
도 6을 참고하면, 동작 620에서, 일 실시예에 따른 웨어러블 장치는, 외부 객체를 식별한 것에 기반하여, 메모리 내에 저장된 외부 객체를 구분하기 위한 유형 정보를 이용하여 외부 객체에 대응하는 지정된 유형을 설정할 수 있다. 웨어러블 장치는, 도 4의 유형 정보(431)를 이용하여, 외부 객체에 대응하는 지정된 유형을 식별하거나 또는 설정할 수 있다. 웨어러블 장치는, 외부 객체에 대응하는 지정된 유형을 설정하기 위한 사용자의 입력에 응답하여, 상기 지정된 유형을 설정할 수 있다.
웨어러블 장치는, 메모리 내에 상기 외부 객체에 대응하는 유형을 식별한 경우, 외부 객체에 대응하는 지정된 유형의 설정을 일시적으로 삼가할 수 있다. 웨어러블 장치는 메모리 내에 상기 외부 객체에 대응하는 유형을 식별하지 못한 경우, 상기 외부 객체에 대응하는 지정된 유형을 설정할 수 있다.
도 6을 참고하면, 동작 630에서, 일 실시예에 따른 웨어러블 장치는, 설정된 상기 지정된 유형에 대응하는 상기 저장고 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보를 획득할 수 있다. 웨어러블 장치는, 도 4의 아이템 정보(432)를 이용하여, 외부 객체 내에 포함된 하나 이상의 아이템들의 정보를 획득할 수 있다. 웨어러블 장치는, 외부 객체의 유형에 기반하여, 상기 하나 이상의 아이템들의 정보를 나타내는 시각적 객체를, 생성할 수 있다. 예를 들어, 웨어러블 장치는, 적어도 하나의 서버로부터, 외부 객체 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보를 수신할 수 있다. 웨어러블 장치가 적어도 하나의 서버로부터 상기 아이템 정보를 수신하는 동작은, 도 12에서 후술한다.
도 6을 참고하면, 동작 640에서, 일 실시예에 따른 웨어러블 장치는, 아이템 정보를 획득한 것에 기반하여, 아이템 정보를 나타내는 시각적 객체를, 디스플레이를 제어하여, 표시할 수 있다. 예를 들어, 웨어러블 장치는, 텍스트 정보를 포함하는 시각적 객체를 디스플레이의 표시 영역(도 5a의 표시 영역(510)) 내에 표시할 수 있다. 웨어러블 장치는, 적어도 하나의 아이템을 표현하는 시각적 객체를 디스플레이의 표시 영역 내에 표시할 수 있다. 예를 들어, 아이템 정보를 나타내는 시각적 객체는, 도 5a 내지 도 5c의 시각적 객체들(512, 515, 522, 525, 532)를 포함할 수 있다.
도 7은, 일 실시예에 따른 웨어러블 장치가 외부 객체의 상태를 식별하는 동작의 일 예를 도시한다. 도 7의 웨어러블 장치(101)는 도 1 내지 도 6의 웨어러블 장치(101)를 포함할 수 있다. 도 7을 참고하면, 웨어러블 장치(101)가 외부 객체(710)의 형태를 식별하는 상태들(700, 705)이 도시된다.
일 실시예에 따른 웨어러블 장치(101)는 상태(700)에서, 저장고(715)가 개방된 제1 형태, 또는 제1 형태와 상이한 제2 형태 중 외부 객체(710)의 형태를 식별할 수 있다. 예를 들어, 외부 객체(710)는, 도 5a 내지 도 5c의 외부 객체들(511, 521, 531) 중 적어도 하나에 참조될 수 있다. 웨어러블 장치(101)는, 디스플레이의 표시 영역(510) 내에, 저장고(715)가 보여지는 외부 객체(710)의 형태를 식별할 수 있다. 외부 객체(710)는, 외부 객체(710)의 내부(예, 저장고(715))를 가리기(mask)위한, 커버(cover)(또는, 문(door))를 포함할 수 있다. 예를 들어, 외부 객체(710)는 상기 커버를 개폐(open and shut(close))할 수 있는, 힌지를 포함할 수 있다. 일 예로, 외부 객체(710)는 여닫이 문(hinged door) 또는 미닫이 문(sliding door)을 포함할 수 있다.
포함할 수 있다. 예를 들어, 상태(700)는, 저장고(715)의 제1 형태에 대응하는 외부 객체(710)의 형태를 포함할 수 있다. 예를 들어, 상태(700)는, 저장고(715)가 사용자(505)에게 보여지는, 외부 객체(710)의 형태를 포함할 수 있다. 상태(700)는, 외부 객체(710)의 커버가 열린 상태에 참조될 수 있다. 상태(700)는 외부 객체(710)가 개방된 상태를 의미할 수 있다. 다만 이에 제한되지 않는다.
일 실시예에 따른 웨어러블 장치(101)는 카메라를 이용하여, 외부 객체(710) 내에 포함된 저장고(715)를 식별할 수 있다. 웨어러블 장치(101)는, 저장고(715)를 식별한 상태 내에서, 카메라를 이용하여, 저장고(715) 내에 포함된 하나 이상의 아이템들을 식별할 수 있다. 웨어러블 장치(101)는, 상기 하나 이상의 아이템들을 식별하기 위해, 카메라를 이용하여, 영상을 획득할 수 있다. 웨어러블 장치(101)가 상기 영상을 획득하는 동작은 도 9에서 후술한다. 웨어러블 장치(101)는, 저장고(715)내에 포함된 하나 이상의 아이템들을 식별한 것에 기반하여, 도 4의 아이템 정보(432)를 이용하여, 상기 하나 이상의 아이템들의 변경 여부를 식별할 수 있다. 예를 들어, 저장고(715) 내에 포함된 하나 이상의 아이템들이 변경된 경우, 웨어러블 장치(101)는, 표시 영역(510) 내에, 상기 하나 이상의 아이템들의 정렬(arrangement)을 나타내는 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는 하나 이상의 아이템들의 정렬을 나타내는 시각적 객체를 표시함으로써, 사용자에게, 하나 이상의 아이템들의 변경 여부를 가이드할 수 있다. 일 예로, 웨어러블 장치(101)는, 상기 가이드를 한 것에 기반하여, 사용자가 상기 하나 이상의 아이템들의 정렬을 나타내는 지정된 모션을 식별할 수 있다. 웨어러블 장치는 상기 지정된 모션에 기반하여, 상기 하나 이상의 아이템들에 대한 정보를 업데이트할 수 있다.
예를 들어, 저장고(715) 내에 포함된 하나 이상의 아이템들이 변경되지 않은 경우, 웨어러블 장치(101)는, 카메라를 이용하여 획득한 영상을 이용하여, 상기 하나 이상의 아이템들의 변경을 나타내는 지정된 모션을, 획득할 수 있다. 상기 지정된 모션을 획득한 것에 기반하여, 웨어러블 장치(101)는, 외부 객체(710) 내에 포함된 하나 이상의 아이템들을 나타내는 정보(예, 도 4의 아이템 정보(432))를 업데이트할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 상태(705)에서, 외부 객체(710)의 형태를 식별할 수 있다. 상기 외부 객체(710)의 형태는, 저장고(715)의 제2 형태에 대응하는 외부 객체(710)의 형태를 의미할 수 있다. 상태(705)는, 외부 객체(710)의 커버가 닫힌 상태에 참조될 수 있다. 예를 들어, 웨어러블 장치(101)는, 외부 객체(710)에 대응하는 유형 정보(예, 도 4의 유형 정보(431), 및/또는 아이템 정보(예, 도 4의 아이템 정보(432))를 이용하여, 디스플레이를 제어하여, 표시 영역(510) 내에, 시각적 객체(예, 도 5a 내지 도 5c의 시각적 객체들(512, 515, 522, 525, 532))를 표시할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는 카메라를 이용하여, 상태(700)에 포함된 외부 객체(710)의 형태를 식별한 것에 기반하여, 영상을 생성하기 위한 동작의 수행을 개시할 수 있다. 예를 들어, 상기 영상을 생성하기 위한 동작은, 웨어러블 장치(101)가 카메라를 이용하여, 상기 영상을 레코딩하기 위한 동작을 의미할 수 있다.
예를 들어, 웨어러블 장치(101)는 상기 영상을 생성하는 동안, 상태(705)에 포함된 외부 객체(710)의 형태를 식별한 것에 기반하여, 상기 영상의 생성을 일시적으로 중단할 수 있다. 웨어러블 장치(101)는 상기 생성된 영상을, 도 4의 영상 분석 어플리케이션(435)의 실행에 기반하여, 상기 영상 내에 포함된 하나 이상의 아이템들 각각에 대응하여, 상기 영상을 분할(divide)할 수 있다. 상기 분할된 영상들 각각을 이용하여, 웨어러블 장치(101)는 상기 하나 이상의 아이템들 각각의 변경을 지시하는 지정된 모션을 식별할 수 있다. 지정된 모션을 식별한 것에 기반하여, 웨어러블 장치(101)는, 아이템 정보를 업데이트할 수 있다. 웨어러블 장치(101)는, 상기 업데이트를 수행한 이후, 생성된 영상내에 포함된 적어도 하나의 프레임을 저장할 수 있다. 상기 적어도 하나의 프레임을 이용하여, 웨어러블 장치(101)는, 하나 이상의 아이템들의 변경 여부를 식별할 수 있다. 다만, 이에 제한되는 것은 아니다.
예를 들어, 웨어러블 장치(101)는, 상기 적어도 하나의 프레임을 저장한 상태 내에서, 카메라를 이용하여, 외부 객체(710) 내에 포함된 저장고(715)를 식별할 수 있다. 웨어러블 장치(101)는, 저장고(715)를 식별한 상태 내에서, 카메라를 이용하여, 저장고(715) 내에 포함된 하나 이상의 아이템들을 식별할 수 있다. 웨어러블 장치(101)는, 상기 적어도 하나의 프레임을 이용하여, 상기 하나 이상의 아이템들의 변경 여부를 식별할 수 있다.
상술한 바와 같이, 웨어러블 장치(101)는 카메라를 이용하여, 외부 객체의 개방 여부를 식별할 수 있다. 웨어러블 장치(101)는, 상태(700) 내에서, 외부 객체(710) 내에 포함된 하나 이상의 아이템들의 변경 여부를 식별할 수 있다. 웨어러블 장치(101)는, 하나 이상의 아이템들의 변경을 나타내는 시각적 객체를, 표시 영역(510) 내에 표시함으로써, 사용자에게, 외부 객체(710)의 내부 상태의 변경을 가이드할 수 있다. 웨어러블 장치(101)는, 상태(700) 내에서, 카메라를 이용하여, 하나 이상의 아이템들의 변경을 지시하는 지정된 모션을 포함하는 영상을 생성할 수 있다. 웨어러블 장치(101)는, 상태(705) 내에서 외부 객체(710)의 형태를 식별한 것에 기반하여 상기 영상의 생성을 일시적으로 중단할 수 있다. 웨어러블 장치(101)는, 상기 생성된 영상을 이용하여, 외부 객체(710) 내에 포함된 하나 이상의 아이템들을 나타내는 정보를 업데이트할 수 있다. 웨어러블 장치(101)는, 외부 객체(710)의 형태에 기반하여, 저장고(715) 내에 포함된 하나 이상의 아이템들의 변경 여부를 식별함으로써, 상기 하나 이상의 아이템들에 대한 정보를 업데이트할 수 있다. 웨어러블 장치(101)는, 상기 하나 이상의 아이템들에 대한 정보를 업데이트하는 것에 기반하여, 웨어러블 장치(101)를 착용한 사용자(505)에게, 상기 하나 이상의 아이템들이 보관된 위치, 및/또는 개수에 대한 최신 정보(latest information)을 제공할 수 있다.
도 8은, 일 실시예에 따른 웨어러블 장치가 외부 객체의 상태에 기반하여, 하나 이상의 아이템들의 변경을 식별하는 동작의 예시적인 흐름도를 도시한다. 도 8의 동작들 중 적어도 하나는, 도 4의 웨어러블 장치(101), 및/또는 도 4의 프로세서(420)에 의해 수행될 수 있다. 도 8의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 9는, 일 실시예에 따른 웨어러블 장치가 하나 이상의 아이템들의 변경을 식별하는 동작의 일 예를 도시한다. 도 9의 웨어러블 장치(101)는, 도 1 내지 도 8의 웨어러블 장치(101)를 포함할 수 있다. 도 9를 참고하면, 일 실시예에 따른 저장고(예, 도 7의 저장고(715))가 개방된 제1 형태에 대응하는 외부 객체의 형태를 식별한 상태(예, 도 7의 상태(700)) 내에서, 웨어러블 장치(101)가 카메라를 이용하여 생성한 영상 내에 포함된 프레임들(900, 910)이 도시된다.
도 8을 참고하면, 동작 810에서, 일 실시예에 따른 웨어러블 장치는 카메라를 이용하여, 저장고가 개방된 제1 형태 또는 제2 형태 중에서, 제1 형태에 대응하는 외부 객체의 형태를 식별할 수 있다. 웨어러블 장치가 저장고가 개방된 제1 형태에 대응하는 외부 객체의 형태를 식별한 상태는, 도 7의 상태(700)에 참조될 수 있다. 웨어러블 장치가 저장고가 가려진 제2 형태에 대응하는 외부 객체의 형태를 식별한 상태는 도 7의 상태(705)에 참조될 수 있다.
도 8을 참고하면, 동작 820에서, 일 실시예에 따른 웨어러블 장치는, 하나 이상의 아이템들을 변경하기 위한 지정된 모션을 포함하는 제1 영상을 획득할 수 있다. 예를 들어, 웨어러블 장치는, 카메라를 이용하여, 저장고가 개방된 제1 형태에 대응하는 외부 객체의 형태를 식별한 것에 기반하여, 제1 영상의 레코딩을 개시할 수 있다. 제1 영상을 레코딩하는 동안, 웨어러블 장치는, 저장고가 가려진 제2 형태에 대응하는 외부 객체의 형태(예, 도 7의 상태(705)에 포함된 외부 객체(710)의 형태)를 식별한 것에 기반하여, 제1 영상의 레코딩을 일시적으로 중단할 수 있다. 예를 들어, 웨어러블 장치는 제1 영상의 레코딩을 일시적으로 중단함으로써, 메모리 내에, 제1 영상을 일시적으로 저장할 수 있다. 다만 이에 제한되는 것은 아니다.
도 8을 참고하면, 동작 830에서, 일 실시예에 따른 웨어러블 장치는, 영상 분석 어플리케이션의 실행에 기반하여, 제1 영상을 이용하여, 하나 이상의 아이템들에 대응하는 하나 이상의 제2 영상들을 생성할 수 있다.
도 9를 참고하면, 일 실시예에 따른 웨어러블 장치(101)는, 도 4의 영상 분석 어플리케이션(435)의 실행에 기반하여, 제1 영상 내에 포함된, 하나 이상의 아이템들(910, 915)을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 영상 내에 포함된 하나 이상의 아이템들(910, 915) 각각에 대응하여, 제1 영상을 분할할 수 있다. 예를 들어, 웨어러블 장치(101)는, 하나 이상의 아이템들(910, 915) 각각에 대응하는 지정된 모션을 식별할 수 있다. 웨어러블 장치(101)는, 하나 이상의 아이템들(910, 915) 각각에 대응하는 지정된 모션을 식별한 것에 기반하여, 제1 영상을 분할할 수 있다. 웨어러블 장치(101)는, 제1 영상을 분할하는 것에 기반하여, 프레임들(900, 910)을 포함하는 하나 이상의 제2 영상들을 획득할 수 있다. 예를 들어, 하나 이상의 제2 영상들의 개수는, 제1 영상 내에 포함된 하나 이상의 아이템들의 개수에 대응할 수 있다.
도 8을 참고하면, 동작 840에서, 일 실시예에 따른 웨어러블 장치는, 하나 이상의 제2 영상들 각각에 포함된 하나 이상의 아이템들 각각의 변경을 식별할 수 있다. 예를 들어, 웨어러블 장치는 하나 이상의 아이템들 각각에 대한 지정된 모션을 획득한 것에 기반하여, 상기 하나 이상의 아이템들 각각의 변경을 식별할 수 있다. 예를 들어, 지정된 모션은, 외부 객체의 저장고 내에 포함된 하나 이상의 아이템들의 개수, 또는 위치 중 적어도 하나를 변경하기 위한 모션에 참조될 수 있다.
도 9를 참고하면, 일 실시예에 따른 웨어러블 장치(101)는, 하나 이상의 제2 영상들 중, 제1 아이템(910)에 대응하는 프레임들(900)을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 프레임들(900)을 이용하여, 제1 아이템(910)의 변경을 지시하는 제1 지정된 모션을 획득할 수 있다. 제1 지정된 모션은, 제1 아이템(910)을, 외부 객체(710) 내에(into), 넣기(put) 위한 모션의 일 예일 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 하나 이상의 제2 영상들 중, 제2 아이템(915)에 대응하는 프레임들(910)을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 프레임들(910)을 이용하여, 제2 아이템(915)의 변경을 지시하는 제2 지정된 모션을 식별할 수 있다. 제2 지정된 모션은, 제2 아이템(915)을, 외부 객체(710)로부터, 제거하기(remove) 위한, 모션의 일 예일 수 있다. 도시하진 않았지만, 웨어러블 장치(101)는, 외부 객체(710) 내에서, 적어도 하나의 아이템의 위치를 변경(또는, 재배치(relocation))하기 위한 제3 지정된 모션을 식별할 수 있다. 다만, 이에 제한되는 것은 아니다.
도 8을 참고하면, 동작 850에서, 일 실시예에 따른 웨어러블 장치는, 하나 이상의 아이템들 각각의 변경을 식별한 것에 기반하여, 아이템 정보를 업데이트할 수 있다. 예를 들어, 웨어러블 장치는, 외부 객체의 저장고가 가려진, 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 아이템 정보(예, 도 4의 아이템 정보(435))를 변경할 수 있다.
도 9를 참고하면, 일 실시예에 따른 웨어러블 장치(101)는, 프레임들(900)을 이용하여 제1 아이템(910)에 대한 제1 지정된 모션을 획득한 것에 기반하여, 외부 객체(710)에 대응하는 아이템 정보(예, 도 4의 아이템 정보(435))를 업데이트할 수 있다. 도 9를 참고하면, 일 실시예에 따른 웨어러블 장치(101)는, 프레임들(910)을 이용하여 제2 아이템(915)에 대한 제2 지정된 모션을 획득한 것에 기반하여, 외부 객체(710)에 대응하는 아이템 정보를 업데이트할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 지정된 모션, 및/또는 제2 지정된 모션을 식별한 것에 기반하여, 제1 아이템(910), 및/또는 제2 아이템(915)의 개수를 나타내는 정보를 변경할 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 외부 객체(710)에 대응하는 아이템 정보를 업데이트 하는 것에 기반하여, 상태(예, 도 7의 상태(700)를 나타내는 제1 영상들 내에 포함된 프레임들 중, 적어도 하나의 프레임을 메모리 내에 저장할 수 있다. 웨어러블 장치(101)는, 상기 적어도 하나의 프레임을 이용하여, 적어도 하나의 시각적 객체(예, 도 5a 내지 도 5b의 시각적 객체들(512, 522))를 획득할 수 있다. 웨어러블 장치(101)는 상기 적어도 하나의 프레임을 이용하여, 외부 객체(710)의 저장고를 개방한 상태(예, 도 7의 상태(700))를 식별한 상태 내에서, 웨어러블 장치(101)의 사용자(505)에게, 외부 객체(710) 내에 포함된 하나 이상의 아이템들의 변경 여부를 가이드할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 외부 객체(710)에 대응하는 아이템 정보를 업데이트한 것에 기반하여, 통신 회로(예, 도 4의 통신 회로(470))를 이용하여, 적어도 하나의 서버(예, 외부 전자 장치(410))로, 상기 아이템 정보를 송신할 수 있다. 웨어러블 장치(101)가 적어도 하나의 서버로, 상기 아이템 정보를 송신하는 동작은, 도 12에서 후술한다.
상술한 바와 같이 일 실시예에 따른 웨어러블 장치(101)는 카메라를 이용하여, 하나 이상의 아이템들 각각의 변경을 지시하는 지정된 모션을 포함하는 영상을 레코딩할 수 있다. 웨어러블 장치(101)는, 도 4의 영상 분석 어플리케이션(435)의 실행에 기반하여, 상기 레코딩한 영상을, 하나 이상의 아이템들 각각에 대응하여 분할할 수 있다. 상기 분할된 하나 이상의 영상들을 이용하여, 웨어러블 장치(101)는, 외부 객체(710) 내에 포함된 하나 이상의 아이템들을 나타내는 정보를 업데이트할 수 있다. 웨어러블 장치(101)는, 분할된 상기 하나 이상의 영상들을 이용하여, 상기 정보를 업데이트 함으로써, 상기 정보에 대한 정확성을 향상시킬 수 있다.
도 10은, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도를 도시한다. 도 10의 동작들 중 적어도 하나는, 도 4의 웨어러블 장치(101), 및/또는 도 4의 프로세서(420)에 의해 수행될 수 있다. 도 10의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 10을 참고하면, 동작 1010에서, 일 실시예에 따른 웨어러블 장치는, 카메라를 이용하여, 디스플레이의 표시 영역 내에 포함된 저장고를 포함하는 외부 객체를 식별할 수 있다. 동작 1010에서, 웨어러블 장치가 수행하는 동작은, 도 6의 동작 610의 적어도 일부와 관련될 수 있다.
도 10을 참고하면, 동작 1020에서, 일 실시예에 따른 웨어러블 장치는, 외부 객체를 식별하는 것에 기반하여, 외부 객체와 관련된 정보를 획득할 수 있다. 외부 객체와 관련된 정보는, 도 4의 유형 정보(431)에 참조될 수 있다. 예를 들어, 웨어러블 장치는 상기 외부 객체와 관련된 정보를 이용하여, 외부 객체의 유형을 식별할 수 있다. 웨어러블 장치는 설정한 외부 객체의 유형에 기반한 시각적 객체(예, 도 5a 내지 도 5c의 시각적 객체들(512, 515, 522, 525, 532))를, 디스플레이의 표시 영역 내에, 표시할 수 있다.
도 10을 참고하면, 동작 1030에서, 일 실시예에 따른 웨어러블 장치는, 카메라를 이용하여, 저장고가 개방된 제1 형태 또는 제2 형태 중에서, 외부 객체의 형태를 식별할 수 있다. 웨어러블 장치가 저장고가 개방된 제1 형태에 대응하는 외부 객체의 형태를 식별한 상태는 도 7의 상태(700)에 참조될 수 있다. 웨어러블 장치가 상기 제1 형태와 상이한 제2 형태(예, 저장고가 개방되지 않은 형태)에 대응하는 외부 객체의 형태를 식별한 상태는 도 7의 상태(705)에 참조될 수 있다.
도 10을 참고하면, 동작 1040에서, 일 실시예에 따른 웨어러블 장치는, 제1 형태에 대응하는 외부 객체의 형태를 식별하는 것에 기반하여, 카메라를 이용하여 저장고 내에 위치하는 하나 이상의 아이템들을 이동하기 위한 지정된 모션을 획득할 수 있다. 지정된 모션은, 외부 객체(또는 저장고) 내에, 상기 하나 이상의 아이템들의 위치, 및/또는 개수를 변경하기 위한 모션의 일 예일 수 있다. 예를 들어, 웨어러블 장치는, 카메라를 이용하여 제1 프레임들을 획득할 수 있다. 웨어러블 장치는 제1 프레임들을 이용하여, 하나 이상의 아이템들에 대응하는 제2 프레임들을 획득할 수 있다. 웨어러블 장치는 상기 제2 프레임들을 이용하여, 상기 하나 이상의 아이템들 각각에 대응하는 지정된 모션을 식별할 수 있다. 예를 들어, 웨어러블 장치는 저장고의 제1 형태에 대응하는 외부 객체의 형태를 식별한 것에 기반하여 카메라를 이용하여 제1 프레임들을 레코딩할 수 있다. 웨어러블 장치는, 저장고의 제2 형태에 대응하는 외부 객체의 형태를 식별한 것에 기반하여 레코딩을 일시적으로 중단할 수 있다. 웨어러블 장치는 레코딩을 일시적으로 중단한 것에 기반하여, 상기 제1 프레임들을 이용하여, 제2 프레임들을 획득할 수 있다. 다만, 이에 제한되는 것은 아니다.
도 10을 참고하면, 동작 1050에서, 일 실시예에 따른 웨어러블 장치는, 획득된 지정된 모션에 기반하여, 저장고 내에 위치하는 하나 이상의 아이템들의 리스트를 나타내는 정보를 변경할 수 있다. 웨어러블 장치는, 하나 이상의 아이템들 각각의 변경을 지시하는 지정된 모션을 획득한 것에 기반하여, 상기 하나 이상의 아이템들 각각의 위치, 및/또는 개수의 변경을 식별할 수 있다. 웨어러블 장치는, 상기 변경된 정보를, 이용하여, 외부 객체에 대응하는 도 4의 아이템 정보(432)를 업데이트할 수 있다. 웨어러블 장치(101)는, 상기 정보를 업데이트 한 것에 기반하여, 저장고의 제1 형태에 대응하는 외부 객체의 형태를 포함하는 제1 프레임들 중, 적어도 하나의 프레임을 메모리 내에 저장할 수 있다. 일 예로, 상기 적어도 하나의 프레임을 이용하여, 웨어러블 장치는, 시각적 객체(예, 도 5a 내지 도 5b의 시각적 객체(512, 522))를 생성할 수 있다. 다만 이에 제한되는 것은 아니다.
도 11은, 일 실시예에 따른 웨어러블 장치가, 외부 객체의 제어를 나타내는 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 11의 웨어러블 장치(101)는, 도 1 내지 도 10의 웨어러블 장치(101)를 포함할 수 있다. 도 11을 참고하면, 일 실시예에 따른 웨어러블 장치(101)가, 외부 객체를 제어하기 위한 시각적 객체(1110)를 디스플레이의 표시 영역(510) 내에 표시하는 상태(1100)가 도시된다.
일 실시예에 따른 웨어러블 장치(101)는, 상태(1100) 내에서, 카메라를 이용하여, 외부 객체(710)를 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체(710)를 식별한 것에 기반하여, 외부 객체의 유형을 식별할 수 있다. 예를 들어, 도 11의 외부 객체(710)는, 도 5c의 외부 객체(531)에 참조될 수 있다. 예를 들어, 웨어러블 장치(101)는, 도 5c의 상태(502) 내에서, 웨어러블 장치(101), 및 외부 객체(710) 사이의 지정된 임계치 미만의 거리를 식별할 수 있다. 웨어러블 장치(101)는, 상기 거리를 식별한 것에 기반하여, 외부 객체(710)를 제어하기 위한 시각적 객체(1110), 및/또는 시각적 객체(1120)를 표시 영역(510) 내에 표시할 수 있다. 시각적 객체(1110)는, 사용자(505)에게, 외부 객체(710)의 사용법을 제공하기 위한, 텍스트 정보를 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치(101)는, 상기 거리를 식별한 것과 독립적으로, 외부 객체(710) 내에 포함된 버튼들(1115)을 식별한 것에 기반하여, 표시 영역(510) 내에, 시각적 객체(1110)를 표시할 수 있다. 버튼들(1115)은, 외부 객체(710)의 제어를 나타내는 입력을 수신하기 위해 이용될 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 시각적 객체(1110) 내에 포함된 텍스트 정보를 이용하여, 시각적 객체(1110)를 표시하는 것과 독립적으로, 사용자(505)의 지정된 모션을 가이드하기 위한 시각적 객체(1120)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 텍스트 정보에 대응하는 순서에 기반한 시각적 객체(1120)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 카메라를 이용하여, 시각적 객체(1120)에 대응하는 사용자(505)의 지정된 모션을 식별할 수 있다. 웨어러블 장치(101)는, 상기 지정된 모션을 식별한 것에 기반하여, 순서에 대응하는 시각적 객체(1120)와 다른 시각적 객체를, 표시 영역(510) 내에 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(101)는, 외부 객체(710)의 버튼들(1115)을 식별하거나, 또는 외부 객체(710) 및 웨어러블 장치(101)사이의 지정된 임계치 미만의 거리를 식별한 것에 기반하여, 외부 객체(710)를 제어하기 위한 정보를 포함하는 시각적 객체(1110, 1120)를 표시할 수 있다. 웨어러블 장치(101)는, 시각적 객체(1110, 1120)를 표시 영역(510) 내에 표시함으로써, 사용자(505)에게, 외부 객체(710)를 제어하기 위한 가이드를 제공할 수 있다.
도 12는, 일 실시예에 따른 웨어러블 장치 및 외부 전자 장치 사이의 예시적인 상호작용을 도시한다. 도 12의 웨어러블 장치(101)는, 도 1 내지 도 11의 웨어러블 장치(101)를 포함할 수 있다. 도 12를 참고하면, 웨어러블 장치(101), 외부 전자 장치(1201), 및/또는, 외부 전자 장치(410)와 적어도 하나의 통신 링크를 수립한 상태들(1200, 1210)이 도시된다.
일 실시예에 따른 상태(1200)는, 도 9의 프레임들(900)에서, 웨어러블 장치(101)가 적어도 하나의 아이템(예, 도 9의 제1 아이템(910))의 변경을 식별한 상태에 참조될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 적어도 하나의 변경을 나타내는 정보를, 통신 회로를 이용하여, 외부 전자 장치(410)로 송신할 수 있다. 예를 들어, 외부 전자 장치(410)는, 적어도 하나의 서버에 참조될 수 있다. 외부 전자 장치(410)는, 상기 수신한 정보를, 외부 전자 장치(410)의 메모리 내에 저장할 수 있다.
일 실시예에 따른, 상태(1200)에서, 외부 전자 장치(1201)는, 외부 전자 장치(1201)의 디스플레이의 표시 영역(1210) 내에, 외부 전자 장치(1201)를 착용한 사용자(1205)의 지정된 모션을 식별할 수 있다. 상기 지정된 모션은, 외부 객체(710)에서, 제1 아이템(910)의 위치, 및/또는 개수를 조절하기 위한 모션의 일 예일 수 있다. 예를 들어, 외부 전자 장치(1201)는, 상기 제1 아이템(910)의 위치, 및/또는 개수의 조절을 나타내는 정보를, 외부 전자 장치(410)로 송신할 수 있다. 외부 전자 장치(410)는, 상기 정보를 이용하여, 외부 객체(710)에 대응하는 아이템 정보를 업데이트할 수 있다.
일 실시예에 따른 상태(1210)에서, 웨어러블 장치(101)는, 외부 전자 장치(410)로부터, 통신 회로를 이용하여, 적어도 하나의 신호를 수신할 수 있다. 예를 들어, 웨어러블 장치(101)는, 저장고가 개방된 외부 객체(710)를 식별한 것에 기반하여, 외부 전자 장치(410)로 상기 적어도 하나의 신호를 요청할 수 있다. 적어도 하나의 신호는, 외부 객체(710) 내에 포함된 하나 이상의 아이템들에 대한 정보를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 적어도 하나의 신호를 수신한 것에 기반하여, 시각적 객체(1215)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 수신한 정보, 및/또는 메모리(130) 내에 저장된 외부 객체(710)에 대응하는 아이템 정보(예, 도 4의 아이템 정보(432))를 이용하여, 시각적 객체(1215)를 표시할 수 있다.
일 실시예에 따른 상태(1210)에서, 외부 전자 장치(410)로부터 적어도 하나의 신호를 수신하는 것과 독립적으로, 웨어러블 장치(101)는, 카메라를 이용하여 디스플레이의 표시 영역(510) 내에, 저장고가 개방된 외부 객체(710)의 형태를 식별할 수 있다. 웨어러블 장치(101)는, 상기 외부 객체(710)의 형태를 식별한 것에 기반하여, 외부 객체(710)의 내부 상태를 식별할 수 있다. 웨어러블 장치(101)는, 외부 객체(710)의 내부 상태를 식별한 것에 기반하여, 도 9의 프레임들(900) 중 적어도 하나의 프레임을 이용하여, 하나 이상의 아이템들의 변경 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 하나 이상의 아이템들의 변경을 식별한 경우, 표시 영역(510) 내에, 외부 객체(710)의 내부 상태의 변경을 지시하는 시각적 객체(1215)를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(101)는, 적어도 하나의 서버(예, 외부 전자 장치(410))와 통신 회로를 이용하여, 통신 링크를 수립할 수 있다. 예를 들어, 상기 적어도 하나의 서버는, 하나 이상의 외부 객체들에 대한 정보, 및/또는 상기 하나 이상의 외부 객체들 각각에 포함된 하나 이상의 아이템들에 대한 정보를 포함할 수 있다. 예를 들어, 상기 적어도 하나의 서버는, 복수의 전자 장치들과 복수의 통신 링크를 수립할 수 있다. 웨어러블 장치(101)는, 적어도 하나의 서버를 이용하여, 외부 객체에 대한 정보를 수신할 수 있다. 웨어러블 장치(101)는, 상기 외부 객체에 대한 정보를 수신하는 것에 기반하여, 사용자에게, 외부 객체 내에 포함된 하나 이상의 아이템들의 위치, 및/또는 개수를 나타내는 정보를 제공할 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 적어도 하나의 서버를 이용하여, 웨어러블 장치(101)를 착용한 사용자(505)와 다른 사용자(예, 사용자(1205))에 의한, 외부 객체(예, 외부 객체(710)) 내에 포함된 하나 이상의 아이템들의 변경을 식별할 수 있다. 웨어러블 장치(101)는, 상기 식별한 하나 이상의 아이템들의 변경을 사용자(505)에게 제공할 수 있다. 웨어러블 장치(101)는, 적어도 하나의 서버를 이용하여, 외부 전자 장치(1201)를 포함하는 복수의 외부 전자 장치들과, 상기 복수의 외부 전자 장치들의 복수의 사용자들이 이용하는 외부 객체에 대한 정보를 공유하기 위한, 증강 현실 네트워크를 제공할 수 있다.
도 13은, 일 실시예에 따른 웨어러블 장치가 적어도 하나의 입력에 응답하여, 적어도 하나의 아이템의 위치를 제공하는 동작의 일 예를 도시한다. 도 13의 웨어러블 장치(101)는, 도 1 내지 도 12의 웨어러블 장치(101)를 포함할 수 있다. 도 13을 참고하면, 일 실시예에 따른 웨어러블 장치(101)가 웨어러블 장치(101)의 사용자(505)로부터, 적어도 하나의 오디오 신호를 수신하는 상태(1300)가 도시된다.
일 실시예에 따른 웨어러블 장치(101)는, 상태(1300) 내에서, 사용자(505)로부터, 도 4의 마이크(460)를 이용하여, 적어도 하나의 아이템을 나타내는 정보를 포함하는 오디오 신호(1320)를 수신할 수 있다. 웨어러블 장치(101)는, 오디오 신호(1320)를 수신한 것에 기반하여, 오디오 신호(1320) 내에 포함된 상기 적어도 하나의 아이템을 나타내는 정보를 식별할 수 있다. 웨어러블 장치(101)는, 식별한 정보에 기반하여, 도 4의 아이템 정보(432)를 이용하여, 상기 적어도 하나의 아이템을 포함하는 외부 객체를 식별할 수 있다. 일 예로, 웨어러블 장치(101)는, 적어도 하나의 아이템의 위치를 식별할 수 있다. 다만, 이에 제한되는 것은 아니다. 일 예로, 웨어러블 장치(101)는 도 12의 외부 전자 장치(410)로, 상기 적어도 하나의 아이템의 위치에 대한 정보를 요청할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 오디오 신호(1320)를 수신한 것에 기반하여, 오디오 신호(1320)에 의해 지시되는 적어도 하나의 아이템에 대한 정보를 사용자(505)에게 제공할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 적어도 하나의 아이템의 위치, 및/또는 개수를 나타내는 시각적 객체(1310)를 디스플레이의 표시 영역(510) 내에, 표시할 수 있다. 시각적 객체(1310)는, 상기 적어도 하나의 아이템이 포함된 외부 객체에 대한 정보를 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치(101)는, 적어도 하나의 스피커(미도시)를 이용하여, 상기 적어도 하나의 아이템의 위치를 사용자(505)에게 가이드할 수 있다.
상술한 바와 같이 일 실시예에 따른 웨어러블 장치(101)는, 사용자(505)로부터, 적어도 하나의 아이템을 지시하는 마이크를 이용하여, 음성 입력을 수신할 수 있다. 상기 음성 입력에 응답하여, 웨어러블 장치(101)는 상기 적어도 하나의 아이템에 대한 정보를, 메모리 내에 저장된 아이템 정보를 이용하여, 식별할 수 있다. 웨어러블 장치(101)는 적어도 하나의 아이템에 대한 정보에 포함된 상기 적어도 하나의 아이템의 위치, 및/또는 개수를 사용자(505)에게 제공할 수 있다. 웨어러블 장치(101)는, 사용자(505)로부터 음성 입력(또는 오디오 신호)에 응답하여, 상기 음성 입력에 의해 지시되는 적어도 하나의 아이템에 대한 정보를 사용자에게 제공함으로써, 사용자 편의성을 향상시킬 수 있다.
도 14는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도를 도시한다. 도 14의 동작들 중 적어도 일부는 도 4의 웨어러블 장치(101), 및/또는 도 4의 프로세서(420)에 의해 수행될 수 있다. 도 10의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다. 예를 들어, 도 14의 동작들 중 적어도 일부는, 도 6, 도 8, 및 도 10의 동작들 중 적어도 하나와 관련될 수 있다.
도 14를 참고하면, 일 실시예에 따른 웨어러블 장치는, 동작 1410에서, 카메라를 이용하여 저장고를 포함하는 외부 객체를 식별할 수 있다. 웨어러블 장치가 카메라를 이용하여 저장고를 포함하는 외부 객체를 식별하는 동작은 도 6의 동작 610에 참조될 수 있다.
도 14를 참고하면, 일 실시예에 따른 웨어러블 장치는, 동작 1420에서, 메모리 내에 저장된 유형 정보를 이용하여 외부 객체에 대응하는 유형을 설정할 수 있다. 예를 들어, 웨어러블 장치가 상기 유형 정보를 이용하여 외부 객체에 대응하는 유형을 설정하는 동작은 도 6의 동작 620에 참조될 수 있다. 예를 들어, 외부 객체는, 도 5a 내지 도 5c의 외부 객체들(511, 521, 531)을 포함할 수 있다. 웨어러블 장치는 상기 설정된 유형에 따라, 외부 객체에 대한 정보를 나타내는 시각적 객체를, 디스플레이의 표시 영역 내에 표시할 수 있다.
도 14를 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1430에서, 저장고가 개방된 외부 객체의 형태를 식별하였는지 여부를 판단할 수 있다. 예를 들어, 웨어러블 장치는 카메라를 이용하여 획득한 이미지 내에 포함된 외부 객체의 형태를 식별할 수 있다. 상기 외부 객체는 개페가능한 커버를 포함할 수 있다. 웨어러블 장치는 상기 외부 객체에 포함된 커버의 개폐 여부를 식별한 것에 기반하여, 상기 외부 객체의 형태를 식별할 수 있다. 예를 들어, 웨어러블 장치가, 저장고가 개방된 외부 객체의 형태를 식별한 상태는 도 7의 상태(700)에 참조될 수 있다. 예를 들어, 웨어러블 장치는, 저장고가 개방되지 않은 외부 객체의 형태를 식별한 경우(동작 1430-아니오), 동작 1410을 수행할 수 있다.
도 14를 참고하면, 일 실시예에 따른 웨어러블 장치는, 저장고가 개방된 외부 객체의 형태를 식별한 경우(동작 1430-예), 동작 1440에서, 저장고 내에 포함된 하나 이상의 아이템들의 상태가 변경되었는지 여부를 식별할 수 있다. 웨어러블 장치는, 메모리 내에 저장된 적어도 하나의 프레임을 이용하여, 상기 하나 이상의 아이템들의 상태가 변경되었는지 여부를 식별할 수 있다. 상기 적어도 하나의 프레임은, 웨어러블 장치가, 카메라를 이용하여 외부 객체의 형태에 기반하여 레코딩한 프레임들 중 적어도 하나를 의미하 수 있다. 웨어러블 장치는 적어도 하나의 서버와 통신 회로를 이용하여 연결을 수립한 상태 내에서, 적어도 하나의 서버(예, 도 4의 외부 전자 장치(410))로부터, 상기 적어도 하나의 프레임을 포함하는 신호를 수신할 수 있다. 예를 들어, 웨어러블 장치는 적어도 하나의 서버로부터, 상기 하나 이상의 아이템들의 상태가 변경되었는지 여부를 나타내는 신호를 수신할 수 있다. 다만 상술한 실시예에 제한되는 것은 아니다. 일 실시예에 따른 웨어러블 장치는, 하나 이상의 아이템들의 상태의 변경을 식별한 경우(동작 1440-예), 동작 1470에서, 상태의 변경을 나타내는 시각적 객체를 표시할 수 있다. 상기 시각적 객체는, 도 12의 시각적 객체(1215)에 참조될 수 있다.
도 14를 참고하면, 일 실시예에 따른 웨어러블 장치가 저장고 내에 포함된 하나 이상의 아이템들의 상태 변경을 식별하지 못한 경우(동작 1440-아니오), 동작 1450에서, 하나 이상의 아이템들의 변경을 나타내는 지정된 모션을 식별할 수 있다. 웨어러블 장치는, 카메라를 이용하여, 상기 지정된 모션을 포함하는 영상을 레코딩할 수 있다. 웨어러블 장치는, 저장고가 개방된 상태와 상이한 상태(예, 가려진 상태)에 대응하는 외부 객체의 형태를 식별한 것에 기반하여, 상기 영상의 레코딩을 일시적으로 중단할 수 있다. 웨어러블 장치는, 상기 영상의 레코딩을 일시적으로 중단하는 것에 기반하여, 상기 영상 내에 포함된 하나 이상의 아이템들 각각에 대응하는 복수의 영상들을 획득할 수 있다. 웨어러블 장치는 상기 복수의 영상들 각각으로부터, 상기 복수의 영상들 각각에 포함된 하나 이상의 아이템들 각각에 대한 지정된 모션을 식별할 수 있다. 웨어러블 장치가 지정된 모션을 식별하기 위해 이용하는 상기 복수의 영상들은, 도 9의 프레임들(900, 910)에 참조될 수 있다.
도 14를 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1460에서, 지정된 모션을 식별한 것에 기반하여, 하나 이상의 아이템들을 지시하는 아이템 정보를 변경할 수 있다. 예를 들어, 웨어러블 장치는, 지정된 모션을 식별한 것에 기반하여, 하나 이상의 아이템들 각각의 위치, 및/또는 개수의 변경을 식별할 수 있다. 웨어러블 장치는 하나 이상의 아이템들 각각의 위치, 개수의 변경을 식별한 것에 기반하여, 외부 객체에 대응하는 아이템 정보를 업데이트할 수 있다. 일 예로, 웨어러블 장치는, 상기 업데이트 한 정보를 적어도 하나의 서버(예, 도 4의 외부 전자 장치(410))로 송신할 수 있다. 예를 들어, 웨어러블 장치는 상기 정보를 업데이트한 것에 기반하여, 레코딩한 영상으로부터, 적어도 하나의 프레임을 메모리 내에, 저장할 수 있다. 상술한 바와 같이 웨어러블 장치는 하나 이상의 아이템들 각각에 대응하는 영상을 이용하여, 상기 하나 이상의 아이템들 각각에 대한 정보를 업데이트함으로써, 카메라를 이용하여 획득한 하나 이상의 아이템들 전부를 포함하는 외부 객체의 내부 상태를 나타내는 이미지를 이용하여 상기 하나 이상의 아이템들의 정보를 획득하는 것보다, 상기 하나 이상의 아이템들 각각에 대한 정보에 대한 정확성을 향상시킬 수 있다.
도 15는, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다. 도 15를 참조하면, 네트워크 환경(1500)에서 전자 장치(1501)는 제 1 네트워크(1598)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1502)와 통신하거나, 또는 제 2 네트워크(1599)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1504) 또는 서버(1508) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1501)는 서버(1508)를 통하여 전자 장치(1504)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1501)는 프로세서(1520), 메모리(1530), 입력 모듈(1550), 음향 출력 모듈(1555), 디스플레이 모듈(1560), 오디오 모듈(1570), 센서 모듈(1576), 인터페이스(1577), 연결 단자(1578), 햅틱 모듈(1579), 카메라 모듈(1580), 전력 관리 모듈(1588), 배터리(1589), 통신 모듈(1590), 가입자 식별 모듈(1596), 또는 안테나 모듈(1597)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1501)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1578))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1576), 카메라 모듈(1580), 또는 안테나 모듈(1597))은 하나의 구성요소(예: 디스플레이 모듈(1560))로 통합될 수 있다.
프로세서(1520)는, 예를 들면, 소프트웨어(예: 프로그램(1540))를 실행하여 프로세서(1520)에 연결된 전자 장치(1501)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1520)는 다른 구성요소(예: 센서 모듈(1576) 또는 통신 모듈(1590))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1532)에 저장하고, 휘발성 메모리(1532)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1534)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1520)는 메인 프로세서(1521)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1523)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1501)가 메인 프로세서(1521) 및 보조 프로세서(1523)를 포함하는 경우, 보조 프로세서(1523)는 메인 프로세서(1521)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1523)는 메인 프로세서(1521)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1523)는, 예를 들면, 메인 프로세서(1521)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1521)를 대신하여, 또는 메인 프로세서(1521)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1521)와 함께, 전자 장치(1501)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1560), 센서 모듈(1576), 또는 통신 모듈(1590))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1523)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1580) 또는 통신 모듈(1590))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(1523)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(1501) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1508))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1530)는, 전자 장치(1501)의 적어도 하나의 구성요소(예: 프로세서(1520) 또는 센서 모듈(1576))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1540)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1530)는, 휘발성 메모리(1532) 또는 비휘발성 메모리(1534)를 포함할 수 있다.
프로그램(1540)은 메모리(1530)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1542), 미들 웨어(1544) 또는 어플리케이션(1546)을 포함할 수 있다.
입력 모듈(1550)은, 전자 장치(1501)의 구성요소(예: 프로세서(1520))에 사용될 명령 또는 데이터를 전자 장치(1501)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1550)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1555)은 음향 신호를 전자 장치(1501)의 외부로 출력할 수 있다. 음향 출력 모듈(1555)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1560)은 전자 장치(1501)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1560)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(1560)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1570)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1570)은, 입력 모듈(1550)을 통해 소리를 획득하거나, 음향 출력 모듈(1555), 또는 전자 장치(1501)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1502))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1576)은 전자 장치(1501)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1576)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1577)는 전자 장치(1501)가 외부 전자 장치(예: 전자 장치(1502))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1577)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1578)는, 그를 통해서 전자 장치(1501)가 외부 전자 장치(예: 전자 장치(1502))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1578)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1579)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1579)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1580)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1580)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1588)은 전자 장치(1501)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(1588)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1589)는 전자 장치(1501)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1589)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1590)은 전자 장치(1501)와 외부 전자 장치(예: 전자 장치(1502), 전자 장치(1504), 또는 서버(1508)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1590)은 프로세서(1520)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1590)은 무선 통신 모듈(1592)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1594)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1598)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1599)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1504)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1592)은 가입자 식별 모듈(1596)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1598) 또는 제 2 네트워크(1599)와 같은 통신 네트워크 내에서 전자 장치(1501)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1592)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1592)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1592)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1592)은 전자 장치(1501), 외부 전자 장치(예: 전자 장치(1504)) 또는 네트워크 시스템(예: 제 2 네트워크(1599))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(1592)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1597)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(1597)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1597)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(1598) 또는 제 2 네트워크(1599)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1590)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1590)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1597)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(1597)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1599)에 연결된 서버(1508)를 통해서 전자 장치(1501)와 외부의 전자 장치(1504)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1502, 또는 1504) 각각은 전자 장치(1501)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1501)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1502, 1504, 또는 1508) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1501)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1501)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1501)로 전달할 수 있다. 전자 장치(1501)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1501)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(1504)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1508)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(1504) 또는 서버(1508)는 제 2 네트워크(1599) 내에 포함될 수 있다. 전자 장치(1501)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1501)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1536) 또는 외장 메모리(1538))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1540))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1501))의 프로세서(예: 프로세서(1520))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
예를 들어, 도 15의 전자 장치(1501)는, 도 1 내지 도 14의 웨어러블 장치(101)의 일 예일 수 있다.
도 16은 서버(1610)를 통해 메타버스 서비스를 제공받는 네트워크 환경(1601)에 대한 예시도이다.
메타버스(Metaverse)는 '가상', '초월'을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다. 메타버스 서비스는, 증강 현실(augmented reality, AR), 가상 현실(virtual reality environment, VR), 혼합 현실(mixed environment, MR) 및/또는 확장 현실(extended reality, XR)에 기반하여, 상기 가상 세계에 대한 몰입을 강화하기 위한 미디어 콘텐트를 제공할 수 있다.
예를 들어, 메타버스 서비스에 의해 제공되는 미디어 콘텐트는, 아바타에 기반하는 게임, 콘서트, 파티 및/또는 회의를 포함하는 소셜 인터랙션(social interaction) 콘텐트를 포함할 수 있다. 예를 들어, 상기 미디어 콘텐트는, 광고, 사용자 제작 콘텐트(user created content) 및/또는 제작물의 판매 및/또는 쇼핑과 같은 경제 활동을 위한 정보를 포함할 수 있다. 상기 사용자 제작 콘텐트의 소유권은 블록체인 기반의 NFT(non-fungible token)에 의하여 증명될 수도 있다. 메타버스 서비스는, 실물 화폐 및/또는 암호 화폐에 기반하는 경제 활동을 지원할 수 있다. 메타버스 서비스에 의하여, 디지털 트윈(digital twin) 또는 라이프 로깅(life logging)과 같이, 현실 세계와 연계된 가상 콘텐트가 제공될 수 있다.
도 16을 보면, 네트워크 환경(1601)은, 서버(1610), 사용자 단말(1620)(예, 제1 단말(1620-1) 및 제2 단말(1620-2)), 및 서버(1610) 와 사용자 단말(1620)을 연결하는 네트워크를 포함할 수 있다. 네트워크 환경(1601) 내에서, 서버(1610)는 사용자 단말(1620)로 메타버스 서비스를 제공할 수 있다. 네트워크는, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(1630)에 의해 형성될 수 있다. 사용자 단말(1620)은, 네트워크를 통해 서버(1620)로 접속하여, 사용자 단말(1620)의 사용자에게 메타버스 서비스와 관련된 UI(user interface)를 출력할 수 있다. 상기 UI에 기반하여, 사용자 단말(1620)은 사용자로부터 메타버스 서비스로 입력될 정보를 획득하거나, 또는 사용자에게 메타버스 서비스와 관련된 정보(예, 멀티미디어 콘텐트)를 출력할 수 있다.
이때, 서버(1610)는 가상 공간을 제공하여 사용자 단말(1620)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(1620)은 서버(1610)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(1610)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다. 상기 S/W 에이전트는 서버(1610)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩되어 제공될 수 있다.
일 실시예에서, 메타버스 서비스는, 서버(1610)를 이용하여 사용자 단말(1620) 및/또는 사용자에게 서비스가 제공될 수 있다. 실시예가 이에 제한되는 것은 아니며, 메타버스 서비스는 사용자들 사이의 개별적인 접촉을 통해 제공될 수 있다. 예를 들어, 네트워크 환경(1601) 내에서, 메타버스 서비스는 서버(1610)와 독립적으로, 제1 단말(1620-1) 및 제2 단말(1620-2) 사이의 직접적인 연결에 의해 제공될 수 있다. 도 16을 참고하면, 네트워크 환경(1601) 내에서, 제1 단말(1620-1) 및 제2 단말(1620-2)은 적어도 하나의 중간 노드(1630)에 의해 형성된 네트워크를 통해 서로 연결될 수 있다. 제1 단말(1620-1) 및 제2 단말(1620-2)이 직접적으로 연결된 일 실시예에서, 제1 단말(1620-1) 및 제2 단말(1620-2) 중 어느 한 사용자 단말이, 서버(1610)의 역할을 수행할 수 있다. 예를 들어, 디바이스와 디바이스의 연결(예, P2P(peer-to-peer) 연결)만으로 메타버스 환경이 구성될 수 있다.
일 실시예에서, 사용자 단말(1620)(혹은 제1 단말(1620-1), 제2 단말(1620-2)을 포함하는 사용자 단말(1620))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(1620)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(1620-2)), AR 기기(예, 제1 단말(1620-1)), VR 기기, MR 기기, VST(Video See Through) 기기, OST(Optical See Through) 장치, 스마트 렌즈, 스마트 미러, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.
본 발명의 네트워크(예, 적어도 하나의 중간 노드(1630)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 Wifi, BT 등을 포함하는 근거리 네트워크(예, 제1 단말(1620-1), 및 제2 단말(1620-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
일 실시예에 따른 웨어러블 장치는, 카메라를 이용하여, 외부 객체를 식별한 것에 기반하여, 외부 객체 내에 포함된 하나 이상의 아이템들에 대한 정보를, 디스플레이 내에 표시할 수 있다. 외부 객체 내에 포함된 하나 이상의 아이템들에 대한 정보의 정확성을 향상시키기 위한 방안이 요구된다.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치(101)는 카메라(440), 디스플레이(450), 메모리(430), 및 프로세서(420)를 포함할 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 디스플레이의 표시 영역(110; 550) 내에 포함된 저장고(storage compartment)(715)를 포함하는 외부 객체(511; 521; 531; 710)를 식별할 수 있다. 상기 프로세서는, 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 관련된 정보를 획득할 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별할 수 있다. 상기 프로세서는, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 위치하는 하나 이상의 아이템들(910; 915)을 이동하기 위한 지정된 모션을 획득할 수 있다. 상기 프로세서는, 상기 획득된 지정된 모션에 기반하여, 상기 저장고 내에 위치하는 상기 하나 이상의 아이템들의 리스트를 나타내는 상기 정보를 변경할 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 하나 이상의 아이템들을 포함하는 영상을 획득할 수 있다. 상기 프로세서는, 획득한 상기 영상에 기반하여, 상기 지정된 모션을 획득할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 모션을 획득한 것에 기반하여, 상기 카메라를 이용하여, 상기 제1 형태와 상이한 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별할 수 있다. 상기 프로세서는, 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 상기 정보를 변경할 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라를 이용하여 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 제1 영상인 상기 영상을 이용하여, 상기 하나 이상의 아이템들 각각에 대응하는 제2 영상들(900; 910)을, 생성할 수 있다.
예를 들어, 상기 프로세서는, 상기 저장고 내에 포함된 상기 하나 이상의 아이템들의 개수, 또는 위치 중 적어도 하나를 변경하기 위한 상기 지정된 모션을 식별할 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 객체와 관련된 정보를 획득한 것에 기반하여, 상기 외부 객체의 지정된 유형을 설정(set)할 수 있다. 상기 프로세서는, 설정한 상기 지정된 유형에 대응하는 상기 하나 이상의 아이템들을 나타내는 시각적 객체(512; 515; 522; 525; 532; 1110; 1120)를, 상기 디스플레이를 제어하여, 표시할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 유형 중 제1 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들의 리스트를 나타내는 상기 시각적 객체를, 상기 디스플레이를 제어하여 표시할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 유형 중 제2 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들과 관련된 시간 정보를 포함하는 상기 시각적 객체를, 상기 디스플레이를 제어하여, 표시할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 유형 중 제3 유형을 설정한 것에 기반하여, 상기 디스플레이를 제어하여, 상기 외부 객체를 제어하기 위한 상기 시각적 객체를, 표시할 수 있다.
예를 들어, 상기 웨어러블 장치는 통신 회로(470)를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로를 이용하여, 적어도 하나의 서버(410)와 통신 링크를 수립할 수 있다. 상기 프로세서는, 상기 통신 링크가 수립된 상태 내에서, 상기 변경된 정보를 나타내는 신호를 송신할 수 있다.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치의 방법에 있어서, 상기 방법은, 카메라(440)를 이용하여, 디스플레이(450)의 표시 영역(110; 550) 내에 포함된 저장고(storage compartment)(715)를 포함하는 외부 객체(511; 521; 531; 710)를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 외부 객체를 식별한 것에 기반하여, 메모리(430) 내에 저장된 상기 외부 객체를 구분하기 위한 유형(type) 정보(431)를 이용하여 상기 외부 객체에 대응하는 지정된 유형을 설정(set)하는 동작을 포함할 수 있다. 상기 방법은, 설정된 상기 지정된 유형에 대응하는 상기 저장고 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보(432)를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 아이템 정보를 획득한 것에 기반하여, 상기 아이템 정보를 나타내는 시각적 객체(512; 515; 522; 525; 532; 1110; 1120)를, 상기 디스플레이를 제어하여, 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태, 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 포함된 상기 하나 이상의 아이템들을 변경하기 위한 지정된 모션을 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 지정된 모션을 획득한 것에 기반하여, 상기 아이템 정보를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 지정된 유형 중 제1 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들의 개수(515-3)를 나타내는 상기 시각적 객체(515)를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 지정된 유형 중 제2 유형을 설정한 것에 기반하여, 상기 저장고 내에 상기 하나 이상의 아이템들이 포함된 시간을 나타내는 시간 정보(525-2; 525-3)를 나타내는 상기 시각적 객체(525)를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 지정된 유형 중 제3 유형을 설정한 것에 기반하여, 상기 외부 객체를 제어하기 위한 상기 시각적 객체(1110; 1120)를 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치(101)는, 카메라(440), 디스플레이(450), 메모리(430), 및 프로세서(420)를 포함할 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 디스플레이의 표시 영역(110; 550) 내에 포함된 저장고(storage compartment)(715)를 포함하는 외부 객체(511; 521; 531; 710)를 식별할 수 있다. 상기 프로세서는, 상기 외부 객체를 식별한 것에 기반하여, 상기 메모리 내에 저장된 상기 외부 객체를 구분하기 위한 유형(type) 정보(431)를 이용하여 상기 외부 객체에 대응하는 지정된 유형을 설정(set)할 수 있다. 상기 프로세서는, 설정된 상기 지정된 유형에 대응하는 상기 저장고 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보(432)를 획득할 수 있다. 상기 프로세서는, 상기 아이템 정보를 획득한 것에 기반하여, 상기 아이템 정보를 나타내는 시각적 객체(512; 515; 522; 525; 532; 1110; 1120)를, 상기 디스플레이를 제어하여, 표시할 수 있다.
예를 들어, 제16항에 있어서, 상기 프로세서는, 상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태, 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별할 수 있다. 상기 프로세서는, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 포함된 상기 하나 이상의 아이템들을 변경하기 위한 지정된 모션을 획득할 수 있다. 상기 프로세서는, 상기 지정된 모션을 획득한 것에 기반하여, 상기 아이템 정보를 변경할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 유형 중 제1 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들의 개수(515-3)를 나타내는 상기 시각적 객체(515)를 표시할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 유형 중 제2 유형을 설정한 것에 기반하여, 상기 저장고 내에 상기 하나 이상의 아이템들이 포함된 시간을 나타내는 시간 정보(525-2; 525-3)를 나타내는 상기 시각적 객체(525)를 표시할 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 유형 중 제3 유형을 설정한 것에 기반하여, 상기 외부 객체를 제어하기 위한 상기 시각적 객체(1110; 1120)를 표시할 수 있다.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치(101)의 방법에 있어서, 상기 방법은, 카메라(440)를 이용하여, 디스플레이(450)의 표시 영역(110; 550) 내에 포함된 저장고(storage compartment)(715)를 포함하는 외부 객체(511; 521; 531; 710)를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 관련된 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 위치하는 하나 이상의 아이템들(910; 915)을 이동하기 위한 지정된 모션을 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 획득된 지정된 모션에 기반하여, 상기 저장고 내에 위치하는 상기 하나 이상의 아이템들의 리스트를 나타내는 상기 정보를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 하나 이상의 아이템들을 포함하는 영상을 획득하는 동작을 포함할 수 있다. 상기 방법은, 획득한 상기 영상에 기반하여, 상기 지정된 모션을 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 지정된 모션을 획득한 것에 기반하여, 상기 카메라를 이용하여, 상기 제1 형태와 상이한 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 상기 정보를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 카메라를 이용하여 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 제1 영상인 상기 영상을 이용하여, 상기 하나 이상의 아이템들 각각에 대응하는 제2 영상들(900; 910)을, 생성하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 저장고 내에 포함된 상기 하나 이상의 아이템들의 개수, 또는 위치 중 적어도 하나를 변경하기 위한 상기 지정된 모션을 식별하는 동작을 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(101)에 있어서,
    카메라(440);
    디스플레이(450);
    메모리(430);
    및 프로세서(420)를 포함하고,
    상기 프로세서는,
    상기 카메라를 이용하여, 상기 디스플레이의 표시 영역(110; 550) 내에 포함된 저장고(storage compartment)(715)를 포함하는 외부 객체(511; 521; 531; 710)를 식별하고;
    상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 관련된 정보를 획득하고;
    상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별하고;
    상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 위치하는 하나 이상의 아이템들(910; 915)을 이동하기 위한 지정된 모션을 획득하고;
    상기 획득된 지정된 모션에 기반하여, 상기 저장고 내에 위치하는 상기 하나 이상의 아이템들의 리스트를 나타내는 상기 정보를 변경하도록, 구성된,
    웨어러블 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별하는 것에 기반하여, 상기 카메라를 이용하여 상기 하나 이상의 아이템들을 포함하는 영상을 획득하고,
    획득한 상기 영상에 기반하여, 상기 지정된 모션을 획득하도록, 구성된,
    웨어러블 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 지정된 모션을 획득한 것에 기반하여, 상기 카메라를 이용하여, 상기 제1 형태와 상이한 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별하고,
    상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 상기 정보를 변경하도록, 구성된,
    웨어러블 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 카메라를 이용하여 상기 제2 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 제1 영상인 상기 영상을 이용하여, 상기 하나 이상의 아이템들 각각에 대응하는 제2 영상들(900; 910)을, 생성하도록, 구성된,
    웨어러블 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 저장고 내에 포함된 상기 하나 이상의 아이템들의 개수, 또는 위치 중 적어도 하나를 변경하기 위한 상기 지정된 모션을 식별하도록, 구성된,
    웨어러블 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 객체와 관련된 정보를 획득한 것에 기반하여, 상기 외부 객체의 지정된 유형을 설정(set)하고,
    설정한 상기 지정된 유형에 대응하는 상기 하나 이상의 아이템들을 나타내는 시각적 객체(512; 515; 522; 525; 532; 1110; 1120)를, 상기 디스플레이를 제어하여, 표시하도록, 구성된,
    웨어러블 장치.
  7. 제6에 있어서,
    상기 프로세서는,
    상기 지정된 유형 중 제1 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들의 리스트를 나타내는 상기 시각적 객체를, 상기 디스플레이를 제어하여 표시하도록 구성된,
    웨어러블 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 지정된 유형 중 제2 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들과 관련된 시간 정보를 포함하는 상기 시각적 객체를, 상기 디스플레이를 제어하여, 표시하도록, 구성된,
    웨어러블 장치.
  9. 제6항에 있어서,
    상기 프로세서는,
    상기 지정된 유형 중 제3 유형을 설정한 것에 기반하여, 상기 디스플레이를 제어하여, 상기 외부 객체를 제어하기 위한 상기 시각적 객체를, 표시하도록, 구성된,
    웨어러블 장치.
  10. 제1항에 있어서,
    상기 웨어러블 장치는 통신 회로(470)를 포함하고,
    상기 프로세서는,
    상기 통신 회로를 이용하여, 적어도 하나의 서버(410)와 통신 링크를 수립하고,
    상기 통신 링크가 수립된 상태 내에서, 상기 변경된 정보를 나타내는 신호를 송신하도록, 구성된,
    웨어러블 장치.
  11. 웨어러블 장치의 방법에 있어서,
    상기 방법은,
    카메라(440)를 이용하여, 디스플레이(450)의 표시 영역(110; 550) 내에 포함된 저장고(storage compartment)(715)를 포함하는 외부 객체(511; 521; 531; 710)를 식별하는 동작;
    상기 외부 객체를 식별한 것에 기반하여, 메모리(430) 내에 저장된 상기 외부 객체를 구분하기 위한 유형(type) 정보(431)를 이용하여 상기 외부 객체에 대응하는 지정된 유형을 설정(set)하는 동작;
    설정된 상기 지정된 유형에 대응하는 상기 저장고 내에 포함된 하나 이상의 아이템들과 관련된 아이템 정보(432)를 획득하는 동작; 및
    상기 아이템 정보를 획득한 것에 기반하여, 상기 아이템 정보를 나타내는 시각적 객체(512; 515; 522; 525; 532; 1110; 1120)를, 상기 디스플레이를 제어하여, 표시하는 동작을 포함하는,
    방법.
  12. 제11항에 있어서,
    상기 방법은,
    상기 카메라를 이용하여, 상기 저장고가 개방된 제1 형태, 또는 상기 제1 형태와 상이한 제2 형태 중에서, 상기 외부 객체의 형태를 식별하는 동작;
    상기 제1 형태에 대응하는 상기 외부 객체의 형태를 식별한 것에 기반하여, 상기 카메라를 이용하여 상기 저장고 내에 포함된 상기 하나 이상의 아이템들을 변경하기 위한 지정된 모션을 획득하는 동작; 및
    상기 지정된 모션을 획득한 것에 기반하여, 상기 아이템 정보를 변경하는 동작을 포함하는,
    방법.
  13. 제11항에 있어서,
    상기 방법은,
    상기 지정된 유형 중 제1 유형을 설정한 것에 기반하여, 상기 하나 이상의 아이템들의 개수(515-3)를 나타내는 상기 시각적 객체(515)를 표시하는 동작을 포함하는,
    방법.
  14. 제11항에 있어서,
    상기 방법은,
    상기 지정된 유형 중 제2 유형을 설정한 것에 기반하여, 상기 저장고 내에 상기 하나 이상의 아이템들이 포함된 시간을 나타내는 시간 정보(525-2; 525-3)를 나타내는 상기 시각적 객체(525)를 표시하는 동작을 포함하는,
    방법.
  15. 제11항에 있어서,
    상기 방법은,
    상기 지정된 유형 중 제3 유형을 설정한 것에 기반하여, 상기 외부 객체를 제어하기 위한 상기 시각적 객체(1110; 1120)를 표시하는 동작을 포함하는,
    방법.
PCT/KR2023/015658 2022-11-09 2023-10-12 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법 WO2024101676A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220148995 2022-11-09
KR10-2022-0148995 2022-11-09
KR10-2022-0182140 2022-12-22
KR1020220182140A KR20240067764A (ko) 2022-11-09 2022-12-22 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2024101676A1 true WO2024101676A1 (ko) 2024-05-16

Family

ID=91032682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015658 WO2024101676A1 (ko) 2022-11-09 2023-10-12 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2024101676A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005521A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20180024265A (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20190084913A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 냉장고 및 냉장고의 동작 방법
US20220335695A1 (en) * 2017-05-01 2022-10-20 Magic Leap, Inc. Matching content to a spatial 3d environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005521A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20180024265A (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US20220335695A1 (en) * 2017-05-01 2022-10-20 Magic Leap, Inc. Matching content to a spatial 3d environment
KR20190084913A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 냉장고 및 냉장고의 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FANG WEI; AN ZEWU: "A scalable wearable AR system for manual order picking based on warehouse floor-related navigation", THE INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY, SPRINGER, LONDON, vol. 109, no. 7-8, 24 July 2020 (2020-07-24), London , pages 2023 - 2037, XP037210898, ISSN: 0268-3768, DOI: 10.1007/s00170-020-05771-3 *

Similar Documents

Publication Publication Date Title
WO2024101676A1 (ko) 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2024025076A1 (ko) 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법
WO2024029718A1 (ko) 적어도 하나의 외부 객체에 기반하여 적어도 하나의 외부 전자 장치를 선택하기 위한 전자 장치 및 그 방법
WO2024049178A1 (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법
WO2024101683A1 (ko) 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
WO2024076007A1 (ko) 렌즈의 투명도에 기반하여 디스플레이의 휘도를 조절하기 위한 웨어러블 장치 및 방법
WO2024122999A1 (ko) 가상 공간에서 사용자 입력을 식별하기 위한 전자 장치 및 방법
WO2024076009A1 (ko) 사용자의 시선 정보를 조정하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024063253A1 (ko) 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법
WO2024090844A1 (ko) 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024063463A1 (ko) 디스플레이를 통해 보여지는 객체와 관련된 오디오 신호를 조절하기 위한 전자 장치 및 그 방법
WO2024063353A1 (ko) 시각적 객체와 관련된 정보에 기반하여 오디오 신호를 변경하는 전자 장치 및 그 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024080579A1 (ko) 사용자의 자세를 가이드하기 위한 웨어러블 장치 및 그 방법
WO2024048912A1 (ko) 전자 장치의 입력에 기반하여 웨어러블 장치를 제어하기 위한 전자 장치 및 그 방법
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024128843A1 (ko) 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024122984A1 (ko) 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법
WO2023027459A1 (ko) 증강현실 객체를 표시하는 웨어러블 전자 장치와 이의 동작 방법
WO2024080770A1 (ko) 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법
WO2024144158A1 (ko) 적어도 하나의 가상 객체의 속성에 따라 적어도 하나의 가상 객체를 제어하는 웨어러블 장치 및 그 제어 방법
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024101581A1 (ko) 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888940

Country of ref document: EP

Kind code of ref document: A1