WO2021101006A1 - Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device - Google Patents

Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device Download PDF

Info

Publication number
WO2021101006A1
WO2021101006A1 PCT/KR2020/008628 KR2020008628W WO2021101006A1 WO 2021101006 A1 WO2021101006 A1 WO 2021101006A1 KR 2020008628 W KR2020008628 W KR 2020008628W WO 2021101006 A1 WO2021101006 A1 WO 2021101006A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
content
user
display
external object
Prior art date
Application number
PCT/KR2020/008628
Other languages
French (fr)
Korean (ko)
Inventor
이미영
박찬웅
배주윤
강동구
김현진
유임경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021101006A1 publication Critical patent/WO2021101006A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Definitions

  • Various embodiments of the present invention relate to an electronic device and a method of operating the electronic device, and in particular, an electronic device that provides content based on a position of a reflection image of an external object reflected by a display of the electronic device, and an electronic device. It relates to how it works.
  • a mirror display which is a type of display, displays a screen created based on data stored in the memory of the electronic device and a reflection image of an external object displayed by reflecting an external object in front of the display by the display. Can be displayed together.
  • AR augmented reality
  • a reflection image of the user and information related to the user may be implemented as augmented reality.
  • an electronic device including a mirror display requires coordinates on the display on which the reflected image is displayed.
  • the electronic device cannot recognize the reflected image, and furthermore, it cannot check the coordinates on the display on which the reflected image is displayed.
  • An electronic device includes a display; camera; And a processor, wherein the processor controls the display to display the first content, and while the first content is displayed, the position of the visual object included in the first content and the position of the visual object included in the first content are reflected and displayed by the display.
  • the location information of the reflection image is determined based on the location information of the visual object, and the location where the second content is to be displayed is determined by the reflection. It may be set to determine based on the location information of the image.
  • a method of operating an electronic device may include displaying first content; Detecting movement of an external object related to a visual object included in the first content while the first content is displayed; In response to confirming that the location of the visual object and the location of the reflective image of the external object reflected and displayed by the display match, the location information of the reflected image is based on the location information of the visual object An operation to be obtained; And determining a location where the second content is to be displayed based on location information of the reflected image.
  • a first content including at least one visual object is displayed, and a position and a reflection image of the visual object are displayed.
  • the position of the reflection image may be accurately obtained based on the position of the visual object.
  • An electronic device and a method of operating the electronic device may obtain a position of a reflective image, and thus a position of the second content related to the reflective image may be determined based on the position of the reflective image. Accordingly, a service that provides a reflection image and second content in the form of an augmented reality can be provided.
  • An electronic device and a method of operating the electronic device may consider a distance between an external object and a display, and thus an accurate position of a reflected image may be obtained.
  • An electronic device and a method of operating the electronic device are to check the characteristics of the external object and provide second content suitable for the characteristics of the external object in the process of obtaining the position of the reflection image of the external object.
  • I can. Accordingly, a content providing service suitable for a user can be implemented.
  • An electronic device and a method of operating the electronic device may check the characteristics of the user's body and provide exercise content suitable for the characteristics of the user's body in the process of obtaining the location of the user's reflection image. . Accordingly, a service for providing exercise content appropriate to the user's body can be implemented.
  • FIG. 1 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of a program according to various embodiments.
  • 3A and 3B are diagrams illustrating an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • 5A, 5B, 5C, 5D, 5E, 5F, 5G, 5H, and 5I illustrate a second content while displaying a first content in an electronic device according to various embodiments of the present disclosure.
  • 6A and 6B are diagrams illustrating an embodiment of displaying a first content and a visual object in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 7A, 7B, 7C, and 7D are diagrams illustrating an embodiment of additionally obtaining body information of a user in an electronic device according to various embodiments of the present disclosure.
  • 8A, 8B, and 8C are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
  • 9A, 9B, 9C, and 9D are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
  • 10A, 10B, 10C, and 10D are diagrams illustrating second content to be displayed based on a result of identifying another external object in an electronic device according to various embodiments of the present disclosure.
  • 11A, 11B, 11C, and 11D are diagrams illustrating second content to be displayed according to a distance between the electronic device and an external object in an electronic device according to various embodiments of the present disclosure.
  • FIG. 12 is an operation flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (for example, a short-range wireless communication network), or a second network 199 It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ) Can be included.
  • a sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197
  • at least one of these components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg, a display.
  • the processor 120 for example, executes software (eg, a program 140) to implement at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least a part of data processing or operation, the processor 120 may transfer commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132. It is loaded into, processes commands or data stored in the volatile memory 132, and the result data may be stored in the nonvolatile memory 134.
  • software eg, a program 140
  • the processor 120 may transfer commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132. It is loaded into, processes commands or data stored in the volatile memory 132, and the result data may be stored in the nonvolatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphic processing unit, an image signal processor) that can be operated independently or together with the main processor 121 (eg, a central processing unit or an application processor). , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • the co-processor 123 is, for example, in place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ) While in the state, together with the main processor 121, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the functions or states associated with it.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as a part of other functionally related components eg, the camera module 180 or the communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component of the electronic device 101 (eg, the processor 120) from outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output an sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls.
  • the receiver may be implemented separately from the speaker or as part of the speaker.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 170 may convert sound into an electrical signal, or conversely, may convert an electrical signal into sound. According to an embodiment, the audio module 170 acquires sound through the input device 150, the sound output device 155, or an external electronic device (eg: Sound can be output through the electronic device 102) (for example, a speaker or headphones).
  • an external electronic device eg: Sound can be output through the electronic device 102
  • Sound can be output through the electronic device 102
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used for the electronic device 101 to connect directly or wirelessly with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through tactile or motor sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture a still image and a video.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 388 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 includes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It is possible to support establishment and communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : A local area network (LAN) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 198 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 199 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • the wireless communication module 192 uses subscriber information stored in the subscriber identification module 196 (eg, International Mobile Subscriber Identifier (IMSI)) in a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 can be checked and authenticated.
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, provided by the communication module 190 from the plurality of antennas. Can be chosen.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 197.
  • At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and a signal ( E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of the operations executed by the electronic device 101 may be executed by one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology Can be used.
  • the program 140 includes an operating system 142 for controlling one or more resources of the electronic device 101, middleware 144, or an application 146 executable in the operating system 142.
  • the operating system 142 may include, for example, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, or BadaTM.
  • At least some of the programs 140 are, for example, preloaded on the electronic device 101 at the time of manufacture, or when used by a user, an external electronic device (eg, electronic device 102 or 104), or a server ( 108)) can be downloaded or updated.
  • the operating system 142 may control management (eg, allocation or retrieval) of one or more system resources (eg, process, memory, or power) of the electronic device 101.
  • Operating system 142 additionally or alternatively, other hardware devices of the electronic device 101, for example, the input device 150, the sound output device 155, the display device 160, the audio module 170 , Sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or One or more driver programs for driving the antenna module 197 may be included.
  • the middleware 144 may provide various functions to the application 146 so that a function or information provided from one or more resources of the electronic device 101 can be used by the application 146.
  • the middleware 144 is, for example, an application manager 201, a window manager 203, a multimedia manager 205, a resource manager 207, a power manager 209, a database manager 211, and a package manager 213. ), a connectivity manager 215, a notification manager 217, a location manager 219, a graphic manager 221, a security manager 223, a call manager 225, or a voice recognition manager 227.
  • I can.
  • the application manager 201 may manage the life cycle of the application 146, for example.
  • the window manager 203 may manage one or more GUI resources used on a screen, for example.
  • the multimedia manager 205 for example, identifies one or more formats required for playback of media files, and performs encoding or decoding of a corresponding media file among the media files by using a codec suitable for the selected corresponding format. You can do it.
  • the resource manager 207 may manage the source code of the application 146 or a memory space of the memory 130, for example.
  • the power manager 209 manages the capacity, temperature, or power of the battery 189, for example, and may determine or provide related information necessary for the operation of the electronic device 101 by using the corresponding information. . According to an embodiment, the power manager 209 may interwork with a basic input/output system (BIOS) (not shown) of the electronic device 101.
  • BIOS basic input/output system
  • the database manager 211 may create, search, or change a database to be used by the application 146, for example.
  • the package manager 213 may manage installation or update of an application distributed in the form of, for example, a package file.
  • the connectivity manager 215 may manage, for example, a wireless connection or a direct connection between the electronic device 101 and an external electronic device.
  • the notification manager 217 may provide a function for notifying the user of the occurrence of a designated event (eg, incoming call, message, or alarm), for example.
  • the location manager 219 may manage location information of the electronic device 101, for example.
  • the graphic manager 221 may manage, for example, one or more graphic effects to be provided to a user or a user interface related thereto.
  • the security manager 223 may provide, for example, system security or user authentication.
  • the telephony manager 225 may manage, for example, a voice call function or a video call function provided by the electronic device 101.
  • the voice recognition manager 227 transmits, for example, a user's voice data to the server 108, and a command corresponding to a function to be performed in the electronic device 101 based at least in part on the voice data, Alternatively, text data converted based at least in part on the voice data may be received from the server 108.
  • the middleware 244 may dynamically delete some of the existing components or add new components.
  • at least a part of the middleware 144 may be included as a part of the operating system 142 or implemented as separate software different from the operating system 142.
  • the application 146 is, for example, a home 251, a dialer 253, an SMS/MMS 255, an instant message (IM) 257, a browser 259, a camera 261, and an alarm 263. , Contacts (265), voice recognition (267), email (269), calendar (271), media player (273), album (275), watch (277), health (279) (e.g. Biometric information measurement), or environmental information 281 (eg, air pressure, humidity, or temperature information measurement) application may be included. According to an embodiment, the application 146 may further include an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and an external electronic device.
  • an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and an external electronic device.
  • the information exchange application may include, for example, a notification relay application configured to deliver specified information (eg, a call, a message, or an alarm) to an external electronic device, or a device management application configured to manage an external electronic device.
  • the notification relay application for example, transmits notification information corresponding to a specified event (eg, mail reception) generated by another application (eg, email application 269) of the electronic device 101 to an external electronic device. I can. Additionally or alternatively, the notification relay application may receive notification information from an external electronic device and provide it to the user of the electronic device 101.
  • the device management application includes, for example, an external electronic device that communicates with the electronic device 101 or some components thereof (for example, the display device 160 or the camera module 180). -Off) or a function (eg, brightness, resolution, or focus of the display device 160 or the camera module 180) may be controlled.
  • the device management application may additionally or alternatively support installation, deletion, or update of an application operating in an external electronic device.
  • 3A and 3B are diagrams illustrating an electronic device according to various embodiments of the present disclosure.
  • an electronic device 300 may include a display 310 and a camera 320.
  • the display 310 may display various screens based on control of a processor (eg, the processor 120 of FIG. 1 ).
  • a processor eg, the processor 120 of FIG. 1
  • an external object for example, a user of the electronic device 300, various objects provided by a user of the electronic device 300
  • an external object reflected by the display 310 and displayed A reflective image of may be displayed on the display 310.
  • the display 310 may display a screen corresponding to the data transmitted by the processor 120 while a reflection image of an external object is displayed.
  • the user of the electronic device 300 may check the screen and the reflection image displayed on the display 310 together.
  • the display 310 may be implemented as a mirror display in which a configuration for increasing reflectance of light traveling toward the display 310 is added in order to clearly display a reflection image of an external object.
  • the mirror display may increase reflectance of light traveling toward the display 310 by attaching a mirror film to a polarizing plate among constituent elements of the display 310.
  • the camera 320 may capture various external objects existing in front of the display 310.
  • the electronic device 300 may determine the location of the external object based on the captured image and provide various contents based on the location of the external object.
  • the electronic device 300 may display content using augmented reality (AR) on the display 310.
  • the electronic device 300 may provide content using augmented reality based on a location of a reflection image of an external object.
  • the electronic device 300 fails to obtain the location information of the reflection image of the external object, the electronic device 300 may not consider the location of the reflection image of the external object in determining the location to display the content.
  • the electronic device 300 may display content at an inappropriate location (eg, a location other than the same location as the reflection image of an external object).
  • 3B is a diagram illustrating an embodiment in which an electronic device displays a reflection image and content according to various embodiments of the present disclosure.
  • a reflection image 330 of an external object that is displayed by reflecting an external object existing in front of the display 310 by the display 310 may be displayed on the display 310.
  • the display 310 may display the content 340 provided by the electronic device 300 on the display 310 while the reflection image 330 of the external object is displayed.
  • a position at which the reflection image 330 is displayed and a position at which the content 340 is displayed may be different from each other.
  • a phenomenon in which the location where the reflection image 330 is displayed and the location where the content 340 is displayed differ from each other is based on the location information of the external object 350 obtained by the electronic device 300 using the camera 320. This may mean that the position determined to display the 340 is different from the position at which the reflected image 330 recognized by the actual user is displayed.
  • the phenomenon in which the location where the reflection image 330 is displayed and the location where the content 340 is displayed differ from each other is a service that must provide the content 340 to the location where the reflection image 330 is displayed (e.g., augmented reality-based service, Fitness coach service) can be difficult to provide.
  • a service that must provide the content 340 to the location where the reflection image 330 is displayed e.g., augmented reality-based service, Fitness coach service
  • FIG. 4 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • an electronic device 400 includes a display (eg, the display 310 of FIG. 3) 410, and a processor (for example, it may include the processor 120) 420 of FIG. 1 and at least one camera (eg, the camera 320 of FIG. 3) 430.
  • the display 410 may display various screens based on the control of the processor 420.
  • the display 410 is It can be implemented as a mirror display with a configuration that increases the reflectivity of the display.
  • the camera 430 may measure a distance between the camera 430 and an external object positioned in front of the display 410.
  • the camera 430 may be implemented as a depth camera or a vision sensor capable of measuring a distance between an external object and the camera 430.
  • the camera 430 implemented as a depth camera or a vision sensor may capture a depth image including an external object.
  • the depth image may be an image including distance information between the object and the camera 430.
  • the processor 420 may check the distance between the external object and the camera 430 based on the depth image captured by the camera 430.
  • the processor 420 may be operatively connected to the display 410 or the camera 420 to control the operation of the display 410 or the camera 430.
  • the processor 420 may calibrate or adjust the location of the content displayed on the display 410. Specifically, the processor 420 determines the location of the reflected image of the external object displayed by reflecting the external object in front of the display 410 by the display 410 and the location of the content displayed by the control of the processor 420. You can calibrate the location of the content to be displayed to match.
  • a specific embodiment of adjusting the position of the displayed content will be described.
  • the processor 420 may control the display 410 to display the first content.
  • the processor 420 may display the first content in response to confirming that an external object (eg, a user) having a specific shape (eg, a person's appearance) exists on the front surface of the display 410.
  • an external object eg, a user
  • a specific shape eg, a person's appearance
  • the first content may be content provided by the processor 420 to obtain information on an external object.
  • the first content may be content provided to obtain various pieces of information for calibrating the location of the content to be displayed.
  • Various pieces of information for calibrating the location of the content to be displayed by the processor 420 are variables required to determine the location (or coordinates on the display) of the area in which the content is to be displayed. ) May include location information on the top.
  • the first content may be content provided to obtain information on characteristics of an external object (eg, a person) (eg, a height of a user, a radius of an arm, and a location of a waist as a characteristic of a body).
  • the first content may be content related to a warm-up exercise (eg, stretching, shaking an arm, or bending a knee) of a user of the electronic device 400.
  • a warm-up exercise eg, stretching, shaking an arm, or bending a knee
  • the user may correspond to an external object.
  • the user may perform the warm-up exercise while being provided with content related to the user's warm-up exercise.
  • the processor 420 may determine the location of the reflection image of the external object based on a user input received while the user performs the warm-up exercise.
  • the second content is obtained by calibrating a location where the first content is displayed based on the location of a reflection image of an external object acquired while the electronic device 400 displays the first content. It may mean various contents displayed on a location.
  • the second content may be content for a user's exercise provided to the user.
  • the processor 420 may determine a location to display the first content based on location information of an external object acquired using the camera 430.
  • the processor 420 may control the display 410 to display the first content on the determined location.
  • the processor 420 obtains a position of a reflection image of at least one feature point (eg, a part of a person's body including a wrist, a shoulder, and a head) of an external object (eg, a person).
  • at least one visual object may be displayed in an area corresponding to a feature point among areas in which the first content is to be displayed.
  • the visual object may be included in the first content.
  • the position at which the visual object is displayed may be a position that exists within a preset distance from the area corresponding to the feature point.
  • the processor 420 may acquire location information on the display 410 of a reflection image of an external object in various ways.
  • the processor 420 displays a visual object in a specific area on the display 410, and receives a user input indicating that the position of the reflection image of the external object matches the position of the visual object. can do.
  • User input may be received in various forms.
  • the user input may be an input implemented with a voice indicating that the location of the reflection image of the external object and the location of the visual object match.
  • the user input may be an input implemented in the form of a gesture indicating that the position of the reflection image of the external object and the position of the visual object match.
  • the processor 420 may determine the location of the reflection image of the external object as the location of the visual object.
  • the processor 420 may determine (or calibrate) a location in which the second content is to be displayed based on location information of a visual object and location information of an external object corresponding to the visual object. . According to an embodiment, the processor 420 calibrates the position where the first content is displayed based on the difference between the position of the visual object and the position of the external object corresponding to the visual object, and displays the calibrated coordinates on the second content. You can decide where you want to be.
  • the processor 420 may acquire characteristics of an external object while displaying the first content.
  • the characteristics of the external object may include the user's height, the user's arm activity radius, and the user's knee position.
  • the processor 420 may provide third content, which is additional content, for increasing the accuracy of the characteristic of the partial region of the external object in response to confirming that the accuracy of the characteristic of the partial region of the external object is less than or equal to a preset value.
  • the third content may be content for acquiring characteristics of a partial area of an external object.
  • the processor 420 displays the third content including the warm-up exercise for the shoulder (410). ) Can be displayed. While displaying the third content, the processor 420 may photograph a user performing a warm-up exercise on the shoulder using the camera 430 and check characteristics of the shoulder based on the captured image.
  • the processor 420 may determine a location in which the second content is to be displayed based on a distance between the display 410 and an external object.
  • the processor 420 determines the distance between the camera 430 and the external object based on the depth image collected by the camera 430, and the display 410 and the external object based on the distance between the camera 430 and the external object. You can determine the distance.
  • the distance between the camera 430 and the external object may be the same as or similar to the distance between the display 410 and the external object.
  • the processor 420 may move the display position of the second content to the lower portion of the display 410.
  • the processor 420 may move the display position of the second content to the upper portion of the display 410.
  • the processor 420 may acquire characteristic information of an external object based on an image captured using the camera 430 while displaying the first content.
  • the characteristic information of the external object is characteristic information of the user's body, and may include the user's gender, the user's age, the user's height, a waist position, a knee position, and an arm radius.
  • the processor 420 may select or determine the second content to be displayed based on the collected characteristic information of the external object.
  • a plurality of second contents may be stored on a memory (for example, the memory 130 of FIG. 1) of the electronic device 400.
  • the second content stored in the memory may be received from an external electronic device (eg, the server 108 of FIG. 1 or the electronic device 104 of FIG. 1 ), or may be stored in advance at the time of manufacture of the electronic device 400.
  • Each of the stored second contents may include metadata for selection.
  • Meta data includes the characteristics of the guide voice included in the second content (eg, soft voice), the properties of the background music included in the second content, and the characteristics of the movement included in the second content (eg, exercise difficulty, exercise speed, exercise).
  • the processor 420 may check the user's body information, and select or determine the second content to be displayed based on the user's body information and metadata. For example, the processor 420 checks the user's body information (eg, male, 20s), and includes second content corresponding to the body information (eg, exercise using a relatively heavy exercise device (dumbell)). Content) can be selected. For another example, the processor 420 checks the user's body information (eg, female, 50's), and exercise using second content corresponding to the body information (eg, a relatively light exercise device (foam-roller)). Content) can be selected.
  • the processor 420 checks the user's body information (eg, male, 20s), and includes second content corresponding to the body information (eg, exercise using a relatively heavy exercise device (dumbell)). Content) can be selected.
  • the processor 420 checks the user's body information (eg, female, 50's), and exercise using second content corresponding to the body information (eg, a relatively light exercise device (
  • the processor 420 includes user's body information acquired using the camera 430 while displaying the first content and other electronic devices 104 and 108 connected to the electronic device 400.
  • the second content may be selected using the body information of the user received from.
  • the user's body information received from the other electronic devices 104 and 108 is the user's body information that is difficult for the electronic device 400 to obtain through image analysis (eg, the user's disease history, the user's weight). , The user's blood pressure or the user's blood glucose level).
  • the processor 420 may additionally consider the user's body information that is difficult to obtain using the camera 430 and may select or determine the second content, thereby providing more appropriate content to the user.
  • the processor 420 determines whether another external object exists and the type of the external object based on a result of analyzing an image acquired using the camera 430 while displaying the first content. You can check.
  • Other external objects may include exercise equipment (eg, foam rollers, dumbbells) provided by the user.
  • the processor 420 may select or determine the second content based on the identification result of the external object. For example, in response to confirming that the user has the dumbbell, the processor 420 may select or determine the second content including exercise content using the dumbbell.
  • the processor 420 may change the order of the second content to be displayed on the display 410 in response to confirming that another external object exists. For example, in response to confirming that the user has a dumbbell, the processor 420 may provide second content including exercise content using a dumbbell earlier than other second content.
  • the processor 420 may determine the second content based on a distance between the external object and the display 410. For example, in response to confirming that the distance between the user and the display 410 exceeds (or exceeds) a preset value, the processor 420 may select or determine the second content related to the full-body exercise. This is because when the distance between the user and the display 410 is greater than or equal to a preset value, the user's whole body may be reflected on the display 410. For another example, in response to confirming that the distance between the user and the display 410 is less than (or less than) a preset value, the processor 420 may select or determine the second content related to a part of the user's body. have. When the distance between the user and the display 410 is less than or equal to a preset value, a specific body part of the user may be reflected on the display 410, so that exercise content related to a part of the body may be appropriate.
  • the processor 420 may select at least one or more second contents to be displayed based on the user's body information, and display a list including the selected second contents.
  • the processor 420 may display the second content based on a user input for selecting at least one or more of the second content included in the list.
  • the electronic device 400 acquires and acquires body information of the user and information of other external objects provided by the user while determining the location where the second content is to be displayed according to the method described above.
  • the second content including appropriate exercise may be provided to the user by using one piece of information, so that the usability of the electronic device 400 may be increased.
  • 5A, 5B, 5C, 5D, 5E, 5F, 5G, 5H, and 5I illustrate a second content while displaying a first content in an electronic device according to various embodiments of the present disclosure.
  • an electronic device uses a camera (eg, the camera 430 of FIG. 4) to display a display (eg, the display 410 of FIG. 4 ). It is possible to check whether the external object 511 exists.
  • the electronic device 400 may activate the camera 430 at every preset period and check whether the external object 511 exists based on the image collected by the camera 430.
  • the display 410 in order to clearly display the reflection image 513 of the external object 511, the display 410 has an additional configuration that increases the reflectance of light traveling toward the display 410. It can be implemented as a mirror display.
  • the electronic device 400 displays the first content. Can be displayed.
  • the first content may be content provided by the electronic device 400 to obtain information on an external object.
  • the first content may be content provided to obtain various pieces of information for calibrating the position of the second content to be displayed.
  • Various pieces of information for calibrating the location of the second content to be displayed are variables required to determine the location (or coordinates on the display) of the area where the content is to be displayed. It may include location information on the display 410.
  • the first content may be content related to a warm-up exercise (eg, stretching, shaking an arm, or bending a knee) of a user of the electronic device 400.
  • the first content is video or audio content to induce user interaction (e.g., I will wear an item to help with stretching, please align my wrist to the location of the item displayed on the screen) and at least one feature point of the user (e.g.: It may include at least one or more visual objects 515 and 517 for acquiring the positions of the reflection images of the left wrist and the right wrist.
  • the display 410 may display at least one or more visual objects 515 and 517 while the user's reflection image 513 is displayed.
  • the electronic device 400 may determine a location to display the first content based on location information of an external object acquired using the camera 430.
  • the electronic device 400 may control the display 410 to display the first content on the determined location.
  • the electronic device 400 may detect a user's interaction (eg, an interaction for fitting a wrist to an area where a visual object is displayed) 519 existing in front of the display 410.
  • the user may perform the warm-up exercise while being provided with content related to the user's warm-up exercise.
  • the electronic device 400 may determine a location of a reflection image of an external object based on a user input collected while the user performs the warm-up exercise.
  • the electronic device 400 displays the visual objects 515 and 517 on the display 410, and the position of the reflection image 519 of the external object and the visual objects 515 and 517 It is possible to receive a user input indicating that the location of is matched.
  • User input may be received in various forms.
  • the user input may be an input implemented with a voice indicating that the location of the reflection image of the external object and the location of the visual object match.
  • the user input may be an input implemented in the form of a gesture indicating that the position of the reflection image of the external object and the position of the visual object are identical (eg, a gesture of holding and holding a hand).
  • the electronic device 400 may determine the location of the reflection image of the external object as the location of the visual object.
  • 5D and 5E are diagrams illustrating an embodiment in which the electronic device 400 determines a location where a second content is to be displayed by calibrating a location where a first content is displayed according to various embodiments of the present disclosure.
  • 5D shows the estimated position 525 on the display 410 of a reflection image of an external object acquired by the electronic device 400 using the camera 430 and the positions of the visual objects 521 and 523.
  • the electronic device 400 displays an actual position 527 on the display 410 of a reflection image of a partial area (eg, wrist) of an external object based on the position of the visual objects 521 and 523. ) Can be determined.
  • the electronic device 400 checks the position difference between the estimated position 525 and the visual objects 521 and 523 (or the difference between the estimated position 525 and the actual position 527 of the reflected image), and the difference value Based on the calibration, the position at which the second content is displayed may be determined.
  • 5D and 5E in response to confirming that the actual location 527 is higher than the estimated location 525, the electronic device 400 calibrates the location where the first content is displayed. Then, the calibrated coordinates may be determined as a position in which the second content is to be displayed.
  • 5F to 5I illustrate an embodiment of acquiring characteristics (eg, body characteristics) of an external object (eg, a user) while the electronic device 400 displays first content according to various embodiments of the present disclosure. It is a drawing.
  • the electronic device 400 while displaying the first content, determines a location in which the second content is to be displayed, as well as characteristics of an external object (eg, a user). Characteristics) can be acquired.
  • the electronic device 400 may check characteristics of an external object based on an image acquired using a camera (eg, the camera 430 of FIG. 4 ).
  • the electronic device 400 includes parts of the user's face and body (e.g., shoulders, wrists, etc.) based on an image acquired using a camera 430 implemented using an RGB camera method or a depth camera method.
  • the electronic device 400 is an external electronic device connected to the electronic device 400 (for example, a server storing user information (for example, the server 108 of FIG. 1) or an external electronic device (for example: A characteristic of an external object may be received from the electronic device 102 of FIG. 1.
  • a server storing user information (for example, the server 108 of FIG. 1) or an external electronic device (for example: A characteristic of an external object may be received from the electronic device 102 of FIG. 1.
  • the electronic device 400 may determine or select the second content to be displayed based on the acquired characteristics of the external object.
  • 5F is a diagram illustrating an example in which the electronic device 400 measures a user's arm radius.
  • the electronic device 400 may output voice (eg, shake the arm up and down as wide as possible) or video content that induces a gesture for measuring the radius of the user's arm included in the first content. have.
  • the electronic device 400 may detect a user input 532 moving a left arm or a user input 533 moving a right arm, and check the radius of the user's arm based on the user inputs 532 and 533.
  • the electronic device 400 may determine the second content to be displayed based on the radius of the user's arm.
  • the electronic device 400 may display an operation of moving the visual objects 534 and 535 to correspond to the movement of the arm on the display 410.
  • the display 410 may display the visual objects 534 and 535 while the user's reflection image 531 is displayed.
  • 5G is a diagram illustrating an example in which the electronic device 400 measures a user's height.
  • the electronic device 400 includes a voice (for example, stop approaching when the line 537 is positioned at the end of the head) or video that induces a gesture for measuring the user's height included in the first content. Content can be output.
  • the electronic device 400 may detect a motion approaching the user and measure a distance between the user and the display 410.
  • the electronic device 400 may measure the height of the user based on the distance between the user and the display and the height of the line corresponding to the coordinates of the line displayed on the display 410.
  • the electronic device 400 may display an operation of moving the visual objects 534 and 535 to correspond to the movement of the arm on the display 410.
  • the display 410 may display the visual objects 534 and 535 while the user's reflection image 531 is displayed.
  • 5H is a diagram illustrating an example in which the electronic device 400 measures the position of a user's waist.
  • the electronic device 400 performs an operation of placing an item 539 on the knee and holding it for several seconds with a voice that induces a gesture for measuring the position of the user's waist included in the first content.
  • video content can be output.
  • the display 410 may display the item 539 while the user's reflection image 531 is displayed.
  • the item 539 displayed on the display is a still image or an image that can be moved virtually output by the electronic device 400, and the electronic device 400 determines the position of the user's waist based on the position of the item 539. Can be measured.
  • the electronic device 400 may determine the location of the user's waist based on the location information of the item 539.
  • 5H is an embodiment of measuring the position of the user's waist, but positions of various body parts of the user may be measured through the method described in FIG. 5H.
  • 5I is a diagram illustrating an example in which the electronic device 400 measures a moving radius of a user.
  • the electronic device 400 displays a voice (eg, a specific exercise tool (eg, ball or dumbbell)) on the display 410 for inducing a gesture for measuring a moving radius of a user included in the first content. Place it in a designated location) or output video content.
  • a reflection image 531 of a user and a reflection image 541 of a specific exercise tool may be displayed on the display 410.
  • the electronic device 400 may detect a user input for moving a specific exercise tool to illuminate a specific exercise tool on a designated area on the display 410 and measure a moving radius of the user.
  • the electronic device 400 may determine the second content to be displayed based on the user's moving radius.
  • 6A and 6B are diagrams illustrating an embodiment of displaying a first content and a visual object in an electronic device according to various embodiments of the present disclosure.
  • an electronic device eg, the electronic device 400 of FIG. 4 (or a processor (eg, the processor 420 of FIG. 4 )) is a display corresponding to a specific part of an external object (eg, the electronic device 400 of FIG. 4 ).
  • At least one visual object may be displayed on the display 410 of Fig. 4.
  • the location information of the visual object includes at least one area (eg, a body) of an external object (eg, a person).
  • the electronic device 400 responds to confirming that the position of the reflection image of the part of the external object matches the position on the display 420 of the visual object.
  • the position of the reflection image of a part of the external object corresponds to the position of the visual object.
  • a user input eg, voice input, gesture input
  • 6A is a diagram illustrating an embodiment of displaying a visual object to check a position of a reflection image of a part of a user's body (eg, head, shoulders, knees, or feet).
  • a part of a user's body eg, head, shoulders, knees, or feet.
  • the electronic device 400 may check a location of a reflection image 610 of a part of a user's body using a visual object 621.
  • the visual object 621 is a movable image, and in FIG. 6A, it can be moved in a vertical direction.
  • the electronic device 400 may output first content including audio content (eg, move your hand when a picture arrives on your head, shoulders, knees, or feet) and a visual object.
  • the electronic device 400 may be in a state in which a camera (eg, the camera 430 of FIG. 4) is activated to receive a user's gesture.
  • the electronic device 400 may detect a user gesture (eg, a user gesture when the visual object 621 reaches the head) using the camera 430.
  • the electronic device 400 may determine the location of the reflection image of the user's head based on the location (or coordinates) of the visual object 421 corresponding to the time at which the user gesture is received.
  • the electronic device 400 may detect a user gesture (eg, a user gesture when the visual object 621 reaches a shoulder) using the camera 430.
  • the electronic device 400 may determine the location of the reflection image of the user's shoulder based on the location (or coordinates) of the visual object 421 corresponding to the time at which the user gesture is received.
  • the electronic device 400 may detect a user gesture (eg, a user gesture when the visual object 621 reaches a knee) using the camera 430.
  • the electronic device 400 may determine the location of the reflection image of the user's knee based on the location (or coordinates) of the visual object 421 corresponding to the time at which the user gesture is received.
  • the electronic device 400 is based on a result of analyzing an image acquired using the camera 430 while displaying the first content. ), and the type of other external objects (eg, dumbbells, balls) can be checked.
  • the electronic device 400 may change the characteristics of the visual object based on the identification result of the external object.
  • the characteristics of the visual object may include the size and shape of the visual object.
  • the electronic device 400 displays first content including a visual object 630 for measuring a user's body characteristics (eg, a user's height, a user's moving radius). can do.
  • a visual object 630 and a reflection image 631 of a user may be displayed on the display 410.
  • the electronic device 400 identifies an external object (for example, a ball) other than the user based on the result of analyzing the image acquired using the camera 430, and identifies the visual object 630 )'S characteristics can be changed.
  • an external object for example, a ball
  • the electronic device 400 in response to identifying other external objects, has a visual object 640 whose characteristics (eg, size, shape) of the visual object 630 that has been displayed have been changed. Can be displayed.
  • a visual object 640, a reflection image 633 of a user, and a reflection image 635 of another external object may be displayed on the display 410.
  • FIGS. 7A, 7B, 7C, and 7D are diagrams illustrating an embodiment of additionally obtaining body information of a user in an electronic device according to various embodiments of the present disclosure.
  • an electronic device acquires characteristics of an external object (eg, the external object 511 of FIG. 5A) while displaying the first content.
  • an external object eg, the external object 511 of FIG. 5A
  • the characteristics of the external object 511 may include the user's height, the user's arm activity radius, and the user's knee position. The embodiments described below assume that the external object 511 is the user's body.
  • the electronic device 400 may determine that the accuracy of a characteristic of a part of the user 511 is equal to or less than a preset value.
  • FIG. 7A is a diagram showing a result of the electronic device 400 checking the characteristics of the external object 511, and the electronic device 400 is a partial area of the user's body (eg, the user's leg, wrist, waist, stomach) Although the characteristics of (711) were checked, other parts of the user's body (e.g., the user's forearm, armpit) 715 or the characteristics of the user's arm movement radius 713 were not confirmed, or the movement of the arm It can be seen that the accuracy of the confirmed characteristic of the radius 713 or other partial region 715 is less than or equal to a preset value. Although the screen shown in FIG. 7A is shown to be displayed on the display 410, the screen including the result of checking the characteristics of the user's body may not be displayed on the display 410.
  • the screen shown in FIG. 7A is shown to be displayed on the display 410, the screen including the result of checking the characteristics of the user's body may not be displayed on the display 410.
  • the electronic device 400 in response to confirming that the accuracy of the characteristics of the portions 713 and 715 of the user 511 is less than or equal to a preset value, the electronic device 400 Third content, which is additional content for increasing accuracy, may be provided.
  • the third content may be content for acquiring characteristics of a partial area of an external object.
  • the electronic device 400 may display a screen 721 for providing third content on the display 410.
  • the electronic device 400 may display third content including a warm-up exercise for an arm on the display 410.
  • the electronic device 400 may output voice (eg, shake your arm up or down) or video content that induces a gesture for measuring a user's arm.
  • the electronic device 400 may detect the user input 731 moving the left arm or the user input 733 moving the right arm, and check the radius of the user's arm based on the user inputs 731 and 733. While checking the radius of the arm, the electronic device 400 may display an operation of moving the visual objects 735 and 737 to correspond to the movement of the arm on the display 410.
  • the visual objects 735 and 737 may be displayed on the display 410 together with the user's reflection image 739.
  • the electronic device 400 displays on the display 410 an indicator 741 indicating the end of the warm-up exercise in response to the completion of measuring the characteristics of the arm portion or the moving radius of the arm. I can.
  • 8A, 8B, and 8C are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
  • a plurality of second contents may be stored on a memory (eg, the memory 130 of FIG. 1) of an electronic device (eg, the electronic device 400 of FIG. 4 ).
  • the second content stored in the memory may be received from an external electronic device (eg, the server 108 of FIG. 1 or the electronic device 104 of FIG. 1 ), or may be stored in advance at the time of manufacture of the electronic device 400.
  • Each of the stored second contents may include metadata for selection.
  • Meta data includes the characteristics of the guide voice included in the second content (eg, soft voice), the properties of the background music included in the second content, and the characteristics of the movement included in the second content (eg, exercise difficulty, exercise speed, exercise).
  • the electronic device 400 may check the user's body information, and select or determine the second content to be displayed based on the user's body information and metadata. For example, in response to confirming that the user's height is less than (or less than) a preset value (eg, 130cm) based on the user's body information, the electronic device 400 provides second content that can be used by children. can do. For another example, in response to confirming that the user's age is equal to or greater than a preset value (eg, 65 years old) based on the user's body information, the electronic device 400 may provide second content that can be used by the elderly. .
  • a preset value eg, 130cm
  • the electronic device 400 checks the user's body information (eg, having strong muscle strength), and second content corresponding to the body information (eg, exercise using a relatively heavy exercise device (dumbell)). Content) can be selected.
  • the electronic device 400 checks the user's body information (eg, having weak muscle strength), and provides second content corresponding to the body information (eg, a relatively light exercise device (foam-roller)). Contents including the exercise used) can be selected.
  • the electronic device 400 may display the selected second content on the display 410.
  • FIG. 8A is a diagram illustrating an embodiment in which second content is displayed on the display 410, and the second content may refer to content that guides an exercise performed by a user with an exercise tool (eg, a ball).
  • the second content may include an area 811 displaying data related to the user's exercise state, an area 813 displaying an image related to the user's exercise, and a visual guide 817 related to the user's exercise.
  • the visual guide 817 may be implemented in the form of an augmented reality, and the visual guide 817 may be overlaid and displayed on the reflection image 815 of the user.
  • the electronic device 400 may change the layout of elements constituting the second content based on the user's body information.
  • the electronic device 400 includes an area 811 displaying data related to a user's exercise state and an area 813 displaying an image related to the user’s exercise. You can change the layout of the components by changing their position or size.
  • 8B is a diagram illustrating an embodiment in which second content is displayed on the display 410.
  • the electronic device 400 may display a guide 817 related to movement of an exercise tool (eg, a ball) on the display 410.
  • the display 410 may display a reflection image 815 of a user, a reflection image 819 of an exercise tool, and a guide 817.
  • the electronic device 400 tracks the movement of an exercise tool using the camera 430, and characteristics of the movement of the exercise tool (for example, the movement of the exercise tool corresponds to the guide 817).
  • a score related to the user's exercise may be calculated based on the degree of matching, the type of exercise, the movement distance of the exercise tool, the movement speed of the exercise tool, or the type of exercise tool.
  • the exercise-related score may be measured each time a user performs one of a plurality of movements included in the exercise.
  • the calculated score may be displayed on the area 811 displaying data related to the user's exercise state.
  • FIG. 8C is a diagram illustrating an embodiment in which another second content shown in FIG. 8B is displayed on the display 410.
  • the second content includes an area 811 displaying data related to a user's exercise state, an area 813 displaying an image related to a user's exercise, and a visual guide related to the user's exercise ( 821).
  • the visual guide 821 related to the user's exercise visually displays the expected path of the movement of the user or exercise tool that occurs while the user performs the exercise (eg, dotted line, solid line, plane, or Animation type) can mean a guide.
  • the electronic device 400 may adjust the position or size of the visual guide 821 based on the user's body information acquired while displaying the first content.
  • the visual guide 821 shown in FIG. 8C shows a moving path of the user that occurs while the user performs stretching using an arm.
  • the electronic device 400 may set the length of the visual guide 821 based on the moving radius of the user acquired while displaying the first content.
  • 9A, 9B, 9C, and 9D are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
  • the second content includes an area displaying data related to the user's exercise state (eg, 811 in FIG. 8A), and an area displaying an image related to the user’s exercise (eg, 813 in FIG. 8A). ), a visual guide related to the user's exercise (eg, 817 of FIG. 8A ).
  • the electronic device 400 displays body information of a user acquired using the camera 430 while displaying the first content and/or other electronic device 104 connected to the electronic device 400. , Based on the user's body information received from (108), an exercise goal and a visual guide related to the exercise may be generated.
  • 9A is a diagram illustrating data related to an exercise state of a user included in second content (eg, 811 in FIG. 8A ).
  • the electronic device 400 includes body information of a user acquired using the camera 430 and/or a user received from other electronic devices 104 and 108 connected to the electronic device 400. You can set an exercise goal based on your body information. By setting an exercise target in consideration of the user's body information, different exercise targets may be set for each user.
  • the exercise target is a target score related to the user's exercise according to at least one or more of the degree to which the movement of the exercise tool coincides with the guide 817, the type of exercise, the movement distance of the exercise tool, the movement speed of the exercise tool, and the type of exercise tool, It may include at least one or more of a target calorie related to calories consumed by the user through exercise, a target exercise time related to a time when the user exercised, and a target heart rate related to the user's heart rate measured when the user performs an exercise. .
  • the electronic device 400 may display information related to an exercise goal and an exercise state on an area 811 displaying data related to an exercise state.
  • an area 811 displaying data related to an exercise state includes a score area 901 displaying a user's exercise score and a target score, and a calorie area displaying calories actually consumed and target calories by the user ( 903), an exercise time region 905 displaying an exercise time and a target exercise time actually exercised by the user, and a heart rate region 907 displaying the user's heart rate and target heart rate may be included.
  • 9B and 9C are diagrams illustrating a visual guide related to exercise included in the second content.
  • the electronic device 400 includes body information of a user acquired using the camera 430 and/or a user received from other electronic devices 104 and 108 connected to the electronic device 400. It is possible to create a visual guide based on the body information.
  • the visual guide may include an appropriate posture and movement range in consideration of the user's body information for each exercise operation.
  • the visual guide may include at least one exercise reference point generated based on the user's body information.
  • the exercise reference point may mean an indicator that displays the position or posture of the user's body part corresponding to the reference point.
  • the visual guide may be implemented as a line connecting at least one or more exercise reference points.
  • the electronic device 400 may display a visual guide 911 provided to a specific user on the display 410.
  • the visual guide 911 and the user's reflection image 912 may be displayed together on the display 410.
  • the electronic device 400 may display a visual guide 913 provided to another user on the display 410.
  • the display 410 may display the visual guide 913 while the user's reflection image 914 is displayed.
  • the electronic device 400 may generate and display different visual guides for each user. For example, when a specific user has relatively good athletic ability compared to other users, the electronic device 400 provides a visual guide provided to a specific user with a relatively high standard (eg: Movement posture, movement speed, movement range).
  • a relatively high standard eg: Movement posture, movement speed, movement range
  • the visual guide 912 illustrated in FIG. 9B has a relatively higher standard than the visual guide 913 illustrated in FIG. 9C.
  • 9D is a diagram illustrating guide information displayed on the display 410 by the electronic device 400 according to various embodiments of the present disclosure.
  • the electronic device 400 includes an exercise guide including at least one exercise reference point 924, 925, 926, 927, 928, 929, 930 that is generated based on body information to the user. 930) may be generated based on the user's body information.
  • the exercise reference points 924, 925, 926, 927, 928, 929, and 930 may refer to an indicator that displays the position or posture of the user's body part corresponding to the exercise reference point.
  • the visual guide 930 may be implemented as a line connecting at least one or more exercise reference points 924, 925, 926, 927, 928, 929, and 930.
  • the electronic device 400 includes a user's body among exercise reference points 924, 925, 926, 927, 928, 929, and 930 based on an image collected using the camera 430.
  • the user's exercise score may be determined based on the number of exercise reference points that match the position of.
  • the electronic device 400 may adjust the number of exercise reference points according to the difficulty of the exercise. For example, even in the same motion, the electronic device 400 may increase the number of exercise reference points as the difficulty of the exercise increases.
  • the electronic device 400 may display an image 921 related to a user's exercise together with the exercise guide 930.
  • the display 410 can display the exercise guide 930 in the area where the user's reflection image is displayed while the user's reflection image is displayed, so that the user can exercise while simultaneously checking the exercise guide 930 and the reflection image. You can do it.
  • 10A, 10B, 10C, and 10D are diagrams illustrating second content to be displayed based on a result of identifying another external object in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may display other external devices based on a result of analyzing an image acquired using the camera 430 while displaying the first content. You can check whether an object exists and the type of external object. Other external objects may include exercise equipment (eg, foam rollers, dumbbells) provided by the user.
  • the electronic device 400 may select or determine the second content based on the identification result of the external object.
  • the electronic device 400 may select second content that can use a specific external object and display the selected second content on a display (eg, the display 410 of FIG. 4 ).
  • the electronic device 400 confirms that the ball exists, and selects and displays second content that can use the ball, based on the result of analyzing the image acquired using the camera 430. I can.
  • the electronic device 400 includes a movement point 1005 of a ball related to an exercise using a ball and an exercise reference point 1007 indicating a movement point of a body related to an exercise using the ball.
  • a visual guide may be displayed on the display 410.
  • the display 410 may display a visual guide while displaying a reflection image 1001 of a user performing an exercise and a reflection image 1003 of a ball.
  • the electronic device 400 calculates an exercise score based on the number of exercise reference points that match the user's body among at least one exercise reference point 1007 and the degree to which the ball is close to the movement point 1005 of the ball, and is related to the exercise score.
  • Feedback can be provided to the user through a variety of means (eg, voice).
  • the electronic device 400 confirms the existence of a dumbbell based on a result of analyzing an image acquired using the camera 430, and selects and displays a second content that can use the dumbbell. can do.
  • the electronic device 400 includes a movement point 1015 of a dumbbell related to an exercise using a dumbbell and an exercise reference point 1017 indicating a movement point of a body related to an exercise using the dumbbell.
  • a visual guide may be displayed on the display 410.
  • the display 410 may display a visual guide while displaying a reflection image 1011 of a user performing an exercise and a reflection image 1013 of a dumbbell.
  • the electronic device 400 calculates an exercise score based on the number of exercise reference points coincident with the user's body among at least one exercise reference point 1017 and the degree of proximity of the dumbbell to the movement point 1015 of the dumbbell, and calculates the exercise score and Relevant feedback can be provided to the user through various means (eg, voice).
  • an electronic device may display other external devices based on a result of analyzing an image acquired using the camera 430 while displaying the first content. It can be confirmed that the object does not exist.
  • the electronic device 400 may select second content related to exercise (eg, bare hand exercise) without using a specific exercise device, and display the selected second content on the display 410.
  • 10C and 10D are diagrams illustrating an embodiment in which the electronic device 400 displays second content related to exercise without using a specific exercise device.
  • the electronic device 400 indicates an exercise reference point 1025 indicating a movement point of the body related to an exercise (eg, squat), and a movement direction of the body generated based on the exercise reference point 1025.
  • a visual guide including the indicator 1023 may be displayed on the display 410.
  • the display 410 may display a visual guide while a reflection image 1021 of a user performing an exercise is displayed.
  • the electronic device 400 calculates an exercise score based on the number of exercise reference points that match the user's body among at least one exercise reference point 1025, and provides feedback related to exercise score or exercise posture (eg, thigh and Keep your knees level) can be provided to the user through a variety of means (e.g. voice).
  • the electronic device 400 checks the user's posture and displays information for comparing the user's posture and a visual guide based on a result of analyzing an image acquired using the camera 430 ( 410).
  • the electronic device 400 indicates an exercise reference point 1035 indicating a movement point of the body related to an exercise (eg, down leg), and a movement direction of the body generated based on the exercise reference point 1035
  • a visual guide including the indicator 1033 to be displayed may be displayed on the display 410.
  • the display 410 may display a visual guide while a reflection image 1031 of a user performing an exercise is displayed.
  • the electronic device 400 calculates an exercise score based on the number of exercise reference points that match the user's body among at least one exercise reference point 1035, and provides feedback related to exercise score or exercise posture (for example, the sole of the foot).
  • Attach it to the floor and keep your knee high and back completely open can be provided to the user through a variety of means (e.g., voice).
  • the electronic device 400 checks the user's posture and displays information for comparing the user's posture and a visual guide based on a result of analyzing an image acquired using the camera 430 ( 410).
  • 11A, 11B, 11C, and 11D are diagrams illustrating second content to be displayed according to a distance between the electronic device and an external object in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may display second content based on a distance between a display (eg, the display 410 of FIG. 4) and an external object. You can determine the location.
  • the electronic device 400 determines the distance between the camera 430 and the external object based on the depth image collected by the camera (eg, the camera 430 of FIG. 4 ), and determines the distance between the camera 430 and the external object. Based on this, a distance between the display 410 and an external object may be determined.
  • the distance between the camera 430 and the external object may be the same as or similar to the distance between the display 410 and the external object.
  • the electronic device 400 may set a different display method of the second content to be displayed based on a distance between the display 410 and an external object.
  • the electronic device 400 decreases the amount of displayed information (eg, exercise reference point, visual guide), and displays the size of the information. Can increase Conversely, the electronic device 400 may increase the amount of displayed information as the distance between the display 410 and the external object decreases.
  • the amount of displayed information eg, exercise reference point, visual guide
  • 11A and 11B are diagrams illustrating a visual guide displayed differently according to a distance between the display 410 and an external object.
  • the visual guide of FIG. 11A shows the visual guide 1110 displayed when the distance between the display 410 and the external object is larger than that of FIG. 11B, and the visual guide of FIG. 11B is between the display 410 and the external object.
  • a visual guide 1120 displayed when the distance of is smaller than that of FIG. 11A is shown.
  • the electronic device 400 may minimize the amount of displayed information while displaying displayed information in a large size.
  • the amount of information displayed e.g., exercise reference points 1111, 1113, 1115
  • FIG. 11B e.g., exercise reference points 1121, 1122, 1123, 1124). , 1125
  • the electronic device 400 may increase the amount of displayed information. Increasing the amount of displayed information may provide more detailed information to the user, and furthermore, an accurate exercise posture may be provided to the user. As the distance between the display 410 and the external object decreases, the electronic device 400 may move the display position of the second content to the upper portion of the display 410. As the distance between the external object and the display 410 decreases, the electronic device 400 may not provide the second content on the specific location 1126. Only a reflection image of an external object may be displayed on a specific location 1126.
  • the electronic device 400 may determine the second content to be displayed based on the distance between the external object and the display 410. For example, in response to confirming that the distance between the user and the display 410 exceeds (or exceeds) a preset value, the electronic device 400 may select or determine the second content related to the full-body exercise. This is because when the distance between the user and the display 410 is greater than or equal to a preset value, the user's whole body may be reflected on the display 410. Referring to FIG. 11C, in response to confirming that the distance between the user and the display 410 is greater than or equal to a preset value, the electronic device 400 displays second content including a visual guide 1130 related to a full-body exercise ( 410).
  • the electronic device 400 selects or determines the second content related to a part of the user's body. I can.
  • the electronic device 400 displays a visual guide 1140 related to upper body movement or a visual guide 1150 related to lower body movement.
  • the second content including) may be displayed on the display 410.
  • An electronic device includes a display; camera; And a processor, wherein the processor controls the display to display the first content, and while the first content is displayed, the position of the visual object included in the first content and the position of the visual object included in the first content are reflected and displayed by the display.
  • the location information of the reflection image is determined based on the location information of the visual object, and the location where the second content is to be displayed is determined by the reflection. It may be set to determine based on the location information of the image.
  • the processor may be configured to adjust the position of the second content so that the position of the reflection image and the position of the second content coincide with each other.
  • the processor is configured to obtain information on at least a part of the external object in response to confirming that the accuracy of information on at least a part of the external object is less than or equal to a preset value. It may be set to display third content including a visual object on the display, and to obtain information on at least part of the external object using the camera in response to the user's interaction with the visual object. .
  • the processor obtains distance information between the external object and the display using the camera, and sets the location of the content to be displayed based on the distance information. Can be.
  • the processor determines a location to be displayed of the first content based on location information of the external object acquired using the camera. Can be set to
  • the external object includes a user of the electronic device
  • the processor includes an image obtained by using the camera while the first content is displayed. It may be set to obtain the user's body information based on the analysis result of and to determine the second content to be displayed based on the body information.
  • the processor analyzes the image acquired using the camera to identify another external object, and an identification result of the other external object It may be set to determine the second content based on.
  • the processor may be configured to obtain distance information between the external object and the display using the camera and determine the second content based on the distance information. have.
  • the processor in response to determining that the distance between the external object and the display is equal to or greater than a preset value, the processor displays second content related to the entire body of the user, and the In response to confirming that the distance between the external object and the display is equal to or greater than a preset value, it may be set to display second content related to a part of the user's body.
  • the first content may include content related to a user's warm-up exercise
  • the second content may be content for the user's exercise performed after the warm-up exercise.
  • FIG. 12 is a flowchart illustrating a method 1200 of operating an electronic device according to various embodiments of the present disclosure.
  • the electronic device may display the first content on the display (eg, the display 410 of FIG. 4 ).
  • the first content may be content provided by the electronic device 400 to obtain information on an external object.
  • the first content may be content provided to obtain various pieces of information for calibrating the location of the content to be displayed.
  • Various pieces of information for determining the location of the second content to be displayed by the electronic device 400 are variables required to determine the location (or coordinates on the display) of the area in which the content is to be displayed. It may include location information on the display 410.
  • the first content is displayed in an area corresponding to the feature point.
  • At least one or more visual objects may be displayed.
  • the visual object may be included in the first content.
  • the position at which the visual object is displayed may be a position that exists within a preset distance from the area corresponding to the feature point.
  • the first content may be content related to a warm-up exercise (eg, stretching, shaking an arm, or bending a knee) of a user of the electronic device 400.
  • a warm-up exercise eg, stretching, shaking an arm, or bending a knee
  • the user may correspond to an external object.
  • the user may perform the warm-up exercise while being provided with content related to the user's warm-up exercise.
  • the electronic device 400 may check whether the position of the visual object and the position of the reflection image of the external object match.
  • the electronic device 400 displays a visual object in a specific area on the display 410, and receives a user input indicating that the position of the reflection image of the external object matches the position of the visual object. You can receive it.
  • User input may be received in various forms.
  • the user input may be an input implemented with a voice indicating that the location of the reflection image of the external object and the location of the visual object match.
  • the user input may be an input implemented in the form of a gesture indicating that the position of the reflection image of the external object and the position of the visual object match.
  • the electronic device 400 may determine that the location of the visual object and the location of the reflection image of the external object match.
  • the electronic device 400 may obtain location information of the reflection image in response to confirming that the location of the visual object matches the reflection image of the external object.
  • the electronic device 400 may determine the position of the reflection image as the position of the visual object.
  • the electronic device 400 may determine the display position of the second content based on the position information of the reflected image.
  • the electronic device 400 may calibrate the position where the first content is displayed to match the position of the reflection image, and determine the calibrated coordinates as the position where the second content is to be displayed.
  • a method of operating an electronic device may include displaying first content; Detecting movement of an external object related to a visual object included in the first content while the first content is displayed; In response to confirming that the location of the visual object and the location of the reflective image of the external object reflected and displayed by the display match, the location information of the reflected image is based on the location information of the visual object An operation to be obtained; And determining a location where the second content is to be displayed based on location information of the reflected image.
  • the operation of determining a position in which the second content is to be displayed includes the position of the second content so that the position of the reflection image and the position of the second content coincide with each other. It may include an operation of adjusting.
  • a visual method for acquiring information on at least part of the external object Displaying third content including an object on the mirror display; And acquiring information on at least part of the external object using the camera in response to the user's interaction with the visual object.
  • a method of operating an electronic device may include obtaining distance information between the external object and the display using the camera; And adjusting the location of the second content based on the distance information.
  • the method of determining the position to be displayed of the first content is based on the location information of the external object acquired using the camera. It may further include an operation.
  • the external object includes a user of the electronic device, and the method of operating the electronic device is obtained using the camera while the first content is displayed. Acquiring body information of the user based on the analysis result of the image including the user; And determining the second content to be displayed based on the body information.
  • a method of operating an electronic device may include identifying another external object by analyzing the image acquired using the camera while the first content is displayed; And determining the second content based on the identification result of the other external object.
  • the determining of the second content may include obtaining distance information between the external object and the display using the camera; And determining the second content based on the distance information.
  • determining the second content in response to confirming that a distance between the external object and the display is equal to or greater than a preset value, the entire body of the user Determining to display related second content; Alternatively, in response to confirming that the distance between the external object and the display is equal to or greater than a preset value, determining to display second content related to a part of the user's body may be included.
  • the first content includes content related to a user's warm-up exercise
  • the second content is a content for the user's exercise performed after the warm-up exercise.
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish the component from other Order) is not limited.
  • Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them.
  • the processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transitory only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic waves
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of a device-readable storage medium (e.g., compact disc read only memory (CD-ROM)), or through an application store (e.g., Play StoreTM) or two user devices (e.g., compact disc read only memory (CD-ROM)). It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • a device-readable storage medium e.g., compact disc read only memory (CD-ROM)
  • an application store e.g., Play StoreTM
  • two user devices e.g., compact disc read only memory (CD-ROM)
  • It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • At least a part of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

In an electronic device and an operation method of the electronic device according to various embodiments, the electronic device may comprise: a display; a camera; and a processor, wherein the processor is configured to: control the display to display a first content; while the first content is being displayed, in response to identification that the location of a visual object included in the first content coincides with the location of a reflective image of an external object, reflected and displayed by the display, determine location information of the reflective image on the basis of location information of the visual object; and determine a location at which a second content is to be displayed, on the basis of the location information of the reflective image. Various other embodiments are possible.

Description

외부 객체의 반사 이미지의 위치에 기반하여 컨텐츠를 제공하는 전자 장치 및 전자 장치의 동작 방법Electronic device that provides content based on the location of a reflection image of an external object, and an operation method of the electronic device
본 발명의 다양한 실시예는, 전자 장치 및 전자 장치의 동작 방법에 관한 것으로, 특히, 전자 장치의 디스플레이에 의해 반사되는 외부 객체의 반사 이미지의 위치에 기반하여 컨텐츠를 제공하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.Various embodiments of the present invention relate to an electronic device and a method of operating the electronic device, and in particular, an electronic device that provides content based on a position of a reflection image of an external object reflected by a display of the electronic device, and an electronic device. It relates to how it works.
스마트 폰(smart phone), 태블릿 PC(tablet PC), PMP(portable multimedia player), PDA(personal digital assistant), 랩탑 PC(laptop personal computer) 및 웨어러블 기기(wearable device) 등의 다양한 전자 장치들이 보급되고 있다.Various electronic devices such as smart phones, tablet PCs, portable multimedia players (PMPs), personal digital assistants (PDAs), laptop personal computers (laptop personal computers), and wearable devices are being spread. have.
전자 장치의 구성 요소 중 디스플레이의 일 종류인 미러 디스플레이는 전자 장치의 메모리에 저장된 데이터에 기반하여 생성된 스크린과 디스플레이의 전면에 존재하는 외부 객체가 디스플레이에 의해 반사되어 표시되는 외부 객체의 반사 이미지를 같이 디스플레이할 수 있다. 최근에는, 미러 디스플레이가 등장하면서, 증강 현실(augmented reality, AR)을 이용한 컨텐츠 제공 서비스가 등장하고 있다. 사용자가 미러 디스플레이의 전면에 존재하는 경우, 사용자의 반사 이미지와 사용자와 관련된 정보(예: 운동 관련 정보)가 증강 현실로 구현될 수 있다. Among the components of an electronic device, a mirror display, which is a type of display, displays a screen created based on data stored in the memory of the electronic device and a reflection image of an external object displayed by reflecting an external object in front of the display by the display. Can be displayed together. In recent years, with the advent of mirror displays, a content providing service using augmented reality (AR) has emerged. When the user exists in front of the mirror display, a reflection image of the user and information related to the user (eg, exercise related information) may be implemented as augmented reality.
미러 디스플레이를 포함하는 전자 장치는 반사 이미지에 기반한 증강 현실 서비스를 제공하기 위해서는, 반사 이미지가 표시되는 디스플레이 상의 좌표가 요구된다. 전자 장치는 반사 이미지를 인식할 수 없으며, 더 나아가 반사 이미지가 표시되는 디스플레이 상의 좌표 역시 확인할 수 없다.In order to provide an augmented reality service based on a reflected image, an electronic device including a mirror display requires coordinates on the display on which the reflected image is displayed. The electronic device cannot recognize the reflected image, and furthermore, it cannot check the coordinates on the display on which the reflected image is displayed.
반사 이미지가 표시되는 디스플레이 상의 좌표를 확인하지 못하는 경우, 반사 이미지와 특정 정보가 증강 현실 형태로 구현되는 서비스는 구현하기 어려울 수 있다.If the coordinates on the display on which the reflected image is displayed cannot be confirmed, a service in which the reflected image and specific information are implemented in the form of augmented reality may be difficult to implement.
본 발명의 다양한 실시예에 따른 전자 장치는, 디스플레이; 카메라; 및 프로세서를 포함하고, 상기 프로세서는 제 1 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 제 1 컨텐츠에 포함된 비쥬얼 오브젝트의 위치와 상기 디스플레이에 의해 반사되어 표시되는 상기 외부 객체의 반사 이미지(reflective image)의 위치가 일치함을 확인함에 대응하여, 상기 반사 이미지의 위치 정보를 상기 비쥬얼 오브젝트의 위치 정보에 기반하여 결정하고, 제 2 컨텐츠가 디스플레이될 위치를 상기 반사 이미지의 위치 정보에 기반하여 결정하도록 설정될 수 있다.An electronic device according to various embodiments of the present disclosure includes a display; camera; And a processor, wherein the processor controls the display to display the first content, and while the first content is displayed, the position of the visual object included in the first content and the position of the visual object included in the first content are reflected and displayed by the display. In response to confirming that the location of the reflective image of the external object is identical, the location information of the reflection image is determined based on the location information of the visual object, and the location where the second content is to be displayed is determined by the reflection. It may be set to determine based on the location information of the image.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은 제 1 컨텐츠를 디스플레이하는 동작; 상기 제1 컨텐츠가 디스플레이되는 동안 상기 제 1 컨텐츠에 포함된 비쥬얼 오브젝트와 관련된 외부 객체의 이동을 감지하는 동작; 상기 비쥬얼 오브젝트의 위치와 상기 디스플레이에 의해 반사되어 표시되는 상기 외부 객체의 반사 이미지(reflective image)의 위치가 일치함을 확인함에 대응하여, 상기 반사 이미지의 위치 정보를 상기 비쥬얼 오브젝트의 위치 정보에 기반하여 획득하는 동작; 및 제 2 컨텐츠가 디스플레이될 위치를 상기 반사 이미지의 위치 정보에 기반하여 결정하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, a method of operating an electronic device may include displaying first content; Detecting movement of an external object related to a visual object included in the first content while the first content is displayed; In response to confirming that the location of the visual object and the location of the reflective image of the external object reflected and displayed by the display match, the location information of the reflected image is based on the location information of the visual object An operation to be obtained; And determining a location where the second content is to be displayed based on location information of the reflected image.
본 발명의 다양한 실시예에 따른 전자 장치 및 전자 장치의 동작 방법은 반사 이미지가 표시되는 위치를 획득하기 위해서, 적어도 하나 이상의 비쥬얼 오브젝트가 포함된 제 1 컨텐츠를 디스플레이하고, 비쥬얼 오브젝트의 위치와 반사 이미지의 위치가 일치함을 확인함에 대응하여, 비쥬얼 오브젝트의 위치에 기반하여 반사 이미지의 위치를 정확하게 획득할 수 있다. In an electronic device and a method of operating the electronic device according to various embodiments of the present disclosure, in order to obtain a position where a reflection image is displayed, a first content including at least one visual object is displayed, and a position and a reflection image of the visual object are displayed. In response to confirming that the positions of are identical, the position of the reflection image may be accurately obtained based on the position of the visual object.
본 발명의 다양한 실시예에 따른 전자 장치 및 전자 장치의 동작 방법은 반사 이미지의 위치를 획득할 수 있어, 반사 이미지와 관련된 제 2 컨텐츠의 위치를 반사 이미지의 위치에 기반하여 결정할 수 있다. 따라서, 반사 이미지 및 제2 컨텐츠를 증강 현실 형태로 제공하는 서비스를 제공할 수 있다.An electronic device and a method of operating the electronic device according to various embodiments of the present disclosure may obtain a position of a reflective image, and thus a position of the second content related to the reflective image may be determined based on the position of the reflective image. Accordingly, a service that provides a reflection image and second content in the form of an augmented reality can be provided.
본 발명의 다양한 실시예에 따른 전자 장치 및 전자 장치의 동작 방법은 외부 객체와 디스플레이 사이의 거리를 고려할 수 있어, 반사 이미지의 정확한 위치를 획득할 수 있다. An electronic device and a method of operating the electronic device according to various embodiments of the present disclosure may consider a distance between an external object and a display, and thus an accurate position of a reflected image may be obtained.
본 발명의 다양한 실시예에 따른 전자 장치 및 전자 장치의 동작 방법은 외부 객체의 반사 이미지의 위치를 획득하는 과정에서, 외부 객체의 특성을 확인하고, 외부 객체의 특성에 맞는 제 2 컨텐츠를 제공할 수 있다. 따라서, 사용자에게 적절한 컨텐츠 제공 서비스가 구현될 수 있다.An electronic device and a method of operating the electronic device according to various embodiments of the present invention are to check the characteristics of the external object and provide second content suitable for the characteristics of the external object in the process of obtaining the position of the reflection image of the external object. I can. Accordingly, a content providing service suitable for a user can be implemented.
본 발명의 다양한 실시예에 따른 전자 장치 및 전자 장치의 동작 방법은 사용자의 반사 이미지의 위치를 획득하는 과정에서, 사용자의 신체의 특성을 확인하고, 신체의 특성에 맞는 운동 컨텐츠를 제공할 수 있다. 따라서, 사용자의 신체에 맞는 적절한 운동 컨텐츠 제공 서비스가 구현될 수 있다.An electronic device and a method of operating the electronic device according to various embodiments of the present disclosure may check the characteristics of the user's body and provide exercise content suitable for the characteristics of the user's body in the process of obtaining the location of the user's reflection image. . Accordingly, a service for providing exercise content appropriate to the user's body can be implemented.
도 1은 본 발명의 다양한 실시예에 따른, 전자 장치의 블록도이다.1 is a block diagram of an electronic device according to various embodiments of the present disclosure.
도 2는 다양한 실시예에 따른 프로그램의 블록도이다.2 is a block diagram of a program according to various embodiments.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 도면이다.3A and 3B are diagrams illustrating an electronic device according to various embodiments of the present disclosure.
도 4는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.4 is a block diagram of an electronic device according to various embodiments of the present disclosure.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 도 5f, 도 5g, 도 5h 및 도 5i는 본 발명의 다양한 실시예에 따른 전자 장치에서, 제 1 컨텐츠를 디스플레이하는 동안, 제 2 컨텐츠를 디스플레이할 위치를 조절하고, 사용자의 신체 정보를 획득하는 실시예를 도시한 도면이다.5A, 5B, 5C, 5D, 5E, 5F, 5G, 5H, and 5I illustrate a second content while displaying a first content in an electronic device according to various embodiments of the present disclosure. A diagram showing an embodiment in which a position to be displayed is adjusted and body information of a user is obtained.
도 6a 및 도 6b는 본 발명의 다양한 실시예에 따른 전자 장치에서, 제 1 컨텐츠 및 비쥬얼 오브젝트를 디스플레이하는 실시예를 도시한 도면이다.6A and 6B are diagrams illustrating an embodiment of displaying a first content and a visual object in an electronic device according to various embodiments of the present disclosure.
도 7a, 도 7b, 도 7c 및 도 7d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보를 추가로 획득하는 실시예를 도시한 도면이다.7A, 7B, 7C, and 7D are diagrams illustrating an embodiment of additionally obtaining body information of a user in an electronic device according to various embodiments of the present disclosure.
도 8a, 도 8b 및 도 8c는 본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보에 기반하여 디스플레이될 제 2 컨텐츠를 도시한 도면이다.8A, 8B, and 8C are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
도 9a, 도 9b, 도 9c 및 도 9d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보에 기반하여 디스플레이될 제 2 컨텐츠를 도시한 도면이다. 9A, 9B, 9C, and 9D are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
도 10a, 도 10b, 도 10c 및 도 10d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 다른 외부 객체를 식별한 결과에 기반하여 디스플레이될 제 2 컨텐츠를 도시한 도면이다.10A, 10B, 10C, and 10D are diagrams illustrating second content to be displayed based on a result of identifying another external object in an electronic device according to various embodiments of the present disclosure.
도 11a, 도 11b, 도 11c 및 도 11d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 전자 장치와 외부 객체 사이의 거리에 따라 디스플레이될 제 2 컨텐츠를 도시한 도면이다.11A, 11B, 11C, and 11D are diagrams illustrating second content to be displayed according to a distance between the electronic device and an external object in an electronic device according to various embodiments of the present disclosure.
도 12는 본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법을 도시한 동작 흐름도이다.12 is an operation flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments. Referring to FIG. 1, in a network environment 100, the electronic device 101 communicates with the electronic device 102 through a first network 198 (for example, a short-range wireless communication network), or a second network 199 It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108. According to an embodiment, the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ) Can be included. In some embodiments, at least one of these components (eg, the display device 160 or the camera module 180) may be omitted or one or more other components may be added to the electronic device 101. In some embodiments, some of these components may be implemented as one integrated circuit. For example, the sensor module 176 (eg, a fingerprint sensor, an iris sensor, or an illuminance sensor) may be implemented while being embedded in the display device 160 (eg, a display).
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (eg, a program 140) to implement at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least a part of data processing or operation, the processor 120 may transfer commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132. It is loaded into, processes commands or data stored in the volatile memory 132, and the result data may be stored in the nonvolatile memory 134. According to an embodiment, the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphic processing unit, an image signal processor) that can be operated independently or together with the main processor 121 (eg, a central processing unit or an application processor). , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. The co-processor 123 is, for example, in place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ) While in the state, together with the main processor 121, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the functions or states associated with it. According to an embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as a part of other functionally related components (eg, the camera module 180 or the communication module 190). have.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. The memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ). The data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto. The memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다. The program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다. The input device 150 may receive a command or data to be used for a component of the electronic device 101 (eg, the processor 120) from outside (eg, a user) of the electronic device 101. The input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output device 155 may output an sound signal to the outside of the electronic device 101. The sound output device 155 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of the speaker.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. The display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user). The display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device. According to an embodiment, the display device 160 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.The audio module 170 may convert sound into an electrical signal, or conversely, may convert an electrical signal into sound. According to an embodiment, the audio module 170 acquires sound through the input device 150, the sound output device 155, or an external electronic device (eg: Sound can be output through the electronic device 102) (for example, a speaker or headphones).
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do. According to an embodiment, the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 177 may support one or more specified protocols that may be used for the electronic device 101 to connect directly or wirelessly with an external electronic device (eg, the electronic device 102 ). According to an embodiment, the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102). According to an embodiment, the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through tactile or motor sensations. According to an embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 180 may capture a still image and a video. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 may manage power supplied to the electronic device 101. According to an embodiment, the power management module 388 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the electronic device 101. According to an embodiment, the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다. The communication module 190 includes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It is possible to support establishment and communication through the established communication channel. The communication module 190 operates independently of the processor 120 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication. According to an embodiment, the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : A local area network (LAN) communication module, or a power line communication module) may be included. Among these communication modules, a corresponding communication module is a first network 198 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 199 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN). These various types of communication modules may be integrated into a single component (eg, a single chip), or may be implemented as a plurality of separate components (eg, multiple chips). The wireless communication module 192 uses subscriber information stored in the subscriber identification module 196 (eg, International Mobile Subscriber Identifier (IMSI)) in a communication network such as the first network 198 or the second network 199. The electronic device 101 can be checked and authenticated.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.The antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside. According to an embodiment, the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern. According to an embodiment, the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, provided by the communication module 190 from the plurality of antennas. Can be chosen. The signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna. According to some embodiments, other components (eg, RFIC) other than the radiator may be additionally formed as part of the antenna module 197.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and a signal ( E.g. commands or data) can be exchanged with each other.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. According to an embodiment, commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199. Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101. According to an embodiment, all or part of the operations executed by the electronic device 101 may be executed by one or more of the external electronic devices 102, 104, or 108. For example, when the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 In addition or in addition, it is possible to request one or more external electronic devices to perform the function or at least part of the service. One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101. The electronic device 101 may process the result as it is or additionally and provide it as at least part of a response to the request. For this purpose, for example, cloud computing, distributed computing, or client-server computing technology Can be used.
도 2은 다양한 실시예에 따른 프로그램(140)을 예시하는 블록도(200)이다. 일실시예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신 될 수 있다.2 is a block diagram 200 illustrating a program 140 according to various embodiments. According to an embodiment, the program 140 includes an operating system 142 for controlling one or more resources of the electronic device 101, middleware 144, or an application 146 executable in the operating system 142. Can include. The operating system 142 may include, for example, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, or BadaTM. At least some of the programs 140 are, for example, preloaded on the electronic device 101 at the time of manufacture, or when used by a user, an external electronic device (eg, electronic device 102 or 104), or a server ( 108)) can be downloaded or updated.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.The operating system 142 may control management (eg, allocation or retrieval) of one or more system resources (eg, process, memory, or power) of the electronic device 101. Operating system 142, additionally or alternatively, other hardware devices of the electronic device 101, for example, the input device 150, the sound output device 155, the display device 160, the audio module 170 , Sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or One or more driver programs for driving the antenna module 197 may be included.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(201), 윈도우 매니저(203), 멀티미디어 매니저(205), 리소스 매니저(207), 파워 매니저(209), 데이터베이스 매니저(211), 패키지 매니저(213), 커넥티비티 매니저(215), 노티피케이션 매니저(217), 로케이션 매니저(219), 그래픽 매니저(221), 시큐리티 매니저(223), 통화 매니저(225), 또는 음성 인식 매니저(227)를 포함할 수 있다. The middleware 144 may provide various functions to the application 146 so that a function or information provided from one or more resources of the electronic device 101 can be used by the application 146. The middleware 144 is, for example, an application manager 201, a window manager 203, a multimedia manager 205, a resource manager 207, a power manager 209, a database manager 211, and a package manager 213. ), a connectivity manager 215, a notification manager 217, a location manager 219, a graphic manager 221, a security manager 223, a call manager 225, or a voice recognition manager 227. I can.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기를 관리할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드 또는 메모리(130)의 메모리의 공간을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.The application manager 201 may manage the life cycle of the application 146, for example. The window manager 203 may manage one or more GUI resources used on a screen, for example. The multimedia manager 205, for example, identifies one or more formats required for playback of media files, and performs encoding or decoding of a corresponding media file among the media files by using a codec suitable for the selected corresponding format. You can do it. The resource manager 207 may manage the source code of the application 146 or a memory space of the memory 130, for example. The power manager 209 manages the capacity, temperature, or power of the battery 189, for example, and may determine or provide related information necessary for the operation of the electronic device 101 by using the corresponding information. . According to an embodiment, the power manager 209 may interwork with a basic input/output system (BIOS) (not shown) of the electronic device 101.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. The database manager 211 may create, search, or change a database to be used by the application 146, for example. The package manager 213 may manage installation or update of an application distributed in the form of, for example, a package file. The connectivity manager 215 may manage, for example, a wireless connection or a direct connection between the electronic device 101 and an external electronic device. The notification manager 217 may provide a function for notifying the user of the occurrence of a designated event (eg, incoming call, message, or alarm), for example. The location manager 219 may manage location information of the electronic device 101, for example. The graphic manager 221 may manage, for example, one or more graphic effects to be provided to a user or a user interface related thereto.
시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(244)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다.The security manager 223 may provide, for example, system security or user authentication. The telephony manager 225 may manage, for example, a voice call function or a video call function provided by the electronic device 101. The voice recognition manager 227 transmits, for example, a user's voice data to the server 108, and a command corresponding to a function to be performed in the electronic device 101 based at least in part on the voice data, Alternatively, text data converted based at least in part on the voice data may be received from the server 108. According to an embodiment, the middleware 244 may dynamically delete some of the existing components or add new components. According to an embodiment, at least a part of the middleware 144 may be included as a part of the operating system 142 or implemented as separate software different from the operating system 142.
어플리케이션(146)은, 예를 들면, 홈(251), 다이얼러(253), SMS/MMS(255), IM(instant message)(257), 브라우저(259), 카메라(261), 알람(263), 컨택트(265), 음성 인식(267), 이메일(269), 달력(271), 미디어 플레이어(273), 앨범(275), 와치(277), 헬스(279)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(281)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다. The application 146 is, for example, a home 251, a dialer 253, an SMS/MMS 255, an instant message (IM) 257, a browser 259, a camera 261, and an alarm 263. , Contacts (265), voice recognition (267), email (269), calendar (271), media player (273), album (275), watch (277), health (279) (e.g. Biometric information measurement), or environmental information 281 (eg, air pressure, humidity, or temperature information measurement) application may be included. According to an embodiment, the application 146 may further include an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and an external electronic device. The information exchange application may include, for example, a notification relay application configured to deliver specified information (eg, a call, a message, or an alarm) to an external electronic device, or a device management application configured to manage an external electronic device. have. The notification relay application, for example, transmits notification information corresponding to a specified event (eg, mail reception) generated by another application (eg, email application 269) of the electronic device 101 to an external electronic device. I can. Additionally or alternatively, the notification relay application may receive notification information from an external electronic device and provide it to the user of the electronic device 101.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 표시 장치(160) 또는 카메라 모듈(180))의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 표시 장치(160) 또는 카메라 모듈(180)의 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.The device management application includes, for example, an external electronic device that communicates with the electronic device 101 or some components thereof (for example, the display device 160 or the camera module 180). -Off) or a function (eg, brightness, resolution, or focus of the display device 160 or the camera module 180) may be controlled. The device management application may additionally or alternatively support installation, deletion, or update of an application operating in an external electronic device.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 도면이다.3A and 3B are diagrams illustrating an electronic device according to various embodiments of the present disclosure.
도 3a를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))(300)는 디스플레이(310) 및 카메라(320)를 포함할 수 있다.Referring to FIG. 3A, an electronic device (eg, the electronic device 101 of FIG. 1) 300 according to various embodiments of the present disclosure may include a display 310 and a camera 320.
본 발명의 다양한 실시예에 따르면, 디스플레이(310)는 프로세서(예: 도 1의 프로세서(120))의 제어에 기반하여 다양한 화면을 디스플레이할 수 있다. 외부 객체(예: 전자 장치(300)의 사용자, 전자 장치(300)의 사용자가 구비하는 다양한 객체)가 디스플레이(310)의 전면에 존재하는 경우, 디스플레이(310)에 의해 반사되어 표시되는 외부 객체의 반사 이미지(reflective image)가 디스플레이(310) 상에 표시될 수도 있다. 디스플레이(310)는 외부 객체의 반사 이미지가 표시되면서, 프로세서(120)가 전송한 데이터에 대응하는 화면을 디스플레이할 수 있다. 전자 장치(300)의 사용자는 디스플레이(310) 상에서 표시되는 화면 및 반사 이미지를 같이 확인할 수 있다.According to various embodiments of the present disclosure, the display 310 may display various screens based on control of a processor (eg, the processor 120 of FIG. 1 ). When an external object (for example, a user of the electronic device 300, various objects provided by a user of the electronic device 300) exists in the front of the display 310, an external object reflected by the display 310 and displayed A reflective image of may be displayed on the display 310. The display 310 may display a screen corresponding to the data transmitted by the processor 120 while a reflection image of an external object is displayed. The user of the electronic device 300 may check the screen and the reflection image displayed on the display 310 together.
본 발명의 다양한 실시예에 따르면, 디스플레이(310)는 외부 객체의 반사 이미지를 선명하게 표시하기 위해, 디스플레이(310)를 향해 진행하는 빛에 대한 반사율을 증가시키는 구성이 추가되는 미러 디스플레이로 구현될 수 있다. 예를 들면, 미러 디스플레이는 디스플레이(310)의 구성 요소 중 편광판에 미러 필름이 부착되는 방식으로 디스플레이(310)를 향해 진행하는 빛에 대한 반사율을 증가시킬 수 있다.According to various embodiments of the present invention, the display 310 may be implemented as a mirror display in which a configuration for increasing reflectance of light traveling toward the display 310 is added in order to clearly display a reflection image of an external object. I can. For example, the mirror display may increase reflectance of light traveling toward the display 310 by attaching a mirror film to a polarizing plate among constituent elements of the display 310.
본 발명의 다양한 실시예에 따르면, 카메라(320)는 디스플레이(310) 전면에 존재하는 다양한 외부 객체를 촬영할 수 있다. 전자 장치(300)는 촬영한 이미지에 기반하여 외부 객체의 위치를 결정하고, 외부 객체의 위치에 기반하여 다양한 컨텐츠를 제공할 수 있다. According to various embodiments of the present disclosure, the camera 320 may capture various external objects existing in front of the display 310. The electronic device 300 may determine the location of the external object based on the captured image and provide various contents based on the location of the external object.
본 발명의 다양한 실시예에 따르면, 전자 장치(300)는 증강 현실(augment reality, AR)을 이용한 컨텐츠를 디스플레이(310) 상에 디스플레이할 수 있다. 전자 장치(300)는 증강 현실을 이용한 컨텐츠는 외부 객체의 반사 이미지의 위치에 기반하여 제공될 수 있다. 전자 장치(300)가 외부 객체의 반사 이미지의 위치 정보를 획득하지 못한 경우, 전자 장치(300)는 컨텐츠를 디스플레이할 위치를 결정함에 있어, 외부 객체의 반사 이미지의 위치를 고려하지 못할 수 있다. 더 나아가, 전자 장치(300)는 적절하지 못한 위치(예: 외부 객체의 반사 이미지와 동일한 위치가 아닌 다른 위치)에 컨텐츠를 디스플레이하는 현상이 발생할 수 있다.According to various embodiments of the present disclosure, the electronic device 300 may display content using augmented reality (AR) on the display 310. The electronic device 300 may provide content using augmented reality based on a location of a reflection image of an external object. When the electronic device 300 fails to obtain the location information of the reflection image of the external object, the electronic device 300 may not consider the location of the reflection image of the external object in determining the location to display the content. Furthermore, the electronic device 300 may display content at an inappropriate location (eg, a location other than the same location as the reflection image of an external object).
도 3b는 본 발명의 다양한 실시예에 따른 전자 장치가 반사 이미지 및 컨텐츠를 디스플레이하는 실시예를 도시한 도면이다.3B is a diagram illustrating an embodiment in which an electronic device displays a reflection image and content according to various embodiments of the present disclosure.
도 3b를 참조하면, 디스플레이(310)의 전면에 존재하는 외부 객체가 디스플레이(310)에 의해 반사되어 표시되는 외부 객체의 반사 이미지(330)가 디스플레이(310) 상에 표시될 수 있다. 디스플레이(310)는 외부 객체의 반사 이미지(330)가 표시되면서, 전자 장치(300)가 제공하는 컨텐츠(340)를 디스플레이(310) 상에서 디스플레이할 수 있다.Referring to FIG. 3B, a reflection image 330 of an external object that is displayed by reflecting an external object existing in front of the display 310 by the display 310 may be displayed on the display 310. The display 310 may display the content 340 provided by the electronic device 300 on the display 310 while the reflection image 330 of the external object is displayed.
도 3b를 참조하면, 반사 이미지(330)가 표시되는 위치와 컨텐츠(340)가 디스플레이되는 위치가 서로 상이할 수 있다. 반사 이미지(330)가 표시되는 위치와 컨텐츠(340)가 디스플레이되는 위치가 서로 상이한 현상은 전자 장치(300)가 카메라(320)를 이용하여 획득한 외부 객체(350)의 위치 정보에 기반하여 컨텐츠(340)를 디스플레이하기로 결정한 위치와 실제 사용자가 인식하는 반사 이미지(330)가 표시되는 위치가 상이함을 의미할 수 있다. 반사 이미지(330)가 표시되는 위치와 컨텐츠(340)가 디스플레이되는 위치가 서로 상이한 현상은 컨텐츠(340)를 반사 이미지(330)가 표시되는 위치에 제공해야 하는 서비스(예: 증강 현실 기반 서비스, 피트니스 코치 서비스)의 제공을 어렵게 할 수 있다.Referring to FIG. 3B, a position at which the reflection image 330 is displayed and a position at which the content 340 is displayed may be different from each other. A phenomenon in which the location where the reflection image 330 is displayed and the location where the content 340 is displayed differ from each other is based on the location information of the external object 350 obtained by the electronic device 300 using the camera 320. This may mean that the position determined to display the 340 is different from the position at which the reflected image 330 recognized by the actual user is displayed. The phenomenon in which the location where the reflection image 330 is displayed and the location where the content 340 is displayed differ from each other is a service that must provide the content 340 to the location where the reflection image 330 is displayed (e.g., augmented reality-based service, Fitness coach service) can be difficult to provide.
이하에서는, 반사 이미지(330)가 표시되는 위치와 컨텐츠(340)가 디스플레이되는 위치를 일치시키기 위한 다양한 실시예들과, 반사 이미지(330)가 표시되는 위치와 컨텐츠(340)가 디스플레이되는 위치를 일치시키는 동작에서 획득할 수 있는 사용자의 신체 정보에 기반한 다양한 컨텐츠 제공에 대한 실시예들에 대해서 서술한다. Hereinafter, various embodiments for matching the location where the reflection image 330 is displayed and the location where the content 340 is displayed, and the location where the reflection image 330 is displayed and the location where the content 340 are displayed are described. Embodiments for providing various contents based on the user's body information that can be obtained in a matching operation will be described.
도 4는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.4 is a block diagram of an electronic device according to various embodiments of the present disclosure.
도 4를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(예: 도 3의 전자 장치(300))(400)는 디스플레이(예: 도 3의 디스플레이(310))(410), 프로세서(예: 도 1의 프로세서(120))(420) 및 적어도 하나 이상의 카메라(예: 도 3의 카메라(320))(430)를 포함할 수 있다.Referring to FIG. 4, an electronic device (eg, the electronic device 300 of FIG. 3) 400 according to various embodiments of the present disclosure includes a display (eg, the display 310 of FIG. 3) 410, and a processor ( For example, it may include the processor 120) 420 of FIG. 1 and at least one camera (eg, the camera 320 of FIG. 3) 430.
본 발명의 다양한 실시예에 따르면, 디스플레이(410)는 프로세서(420)의 제어에 기반하여 다양한 화면을 디스플레이할 수 있다. 디스플레이(410)는 외부 객체(예: 도 3b 외부 객체(350))의 반사 이미지(예: 도 3b의 반사 이미지(330))를 선명하게 표시하기 위해, 디스플레이(410)를 향해 진행하는 빛에 대한 반사율을 증가시키는 구성이 추가된 미러 디스플레이로 구현될 수 있다.According to various embodiments of the present disclosure, the display 410 may display various screens based on the control of the processor 420. In order to clearly display a reflection image (eg, the reflection image 330 of FIG. 3B) of an external object (eg, the external object 350 in FIG. 3B ), the display 410 is It can be implemented as a mirror display with a configuration that increases the reflectivity of the display.
본 발명의 다양한 실시예에 따르면, 카메라(430)는 디스플레이(410)의 전면에 위치하는 외부 객체와 카메라(430) 사이의 거리를 측정할 수 있다. 카메라(430)는 외부 객체와 카메라(430) 사이의 거리를 측정할 수 있는 뎁스 카메라(depth camera) 또는 비전 센서(vision sersor)로 구현될 수 있다. 뎁스 카메라 또는 비전 센서로 구현된 카메라(430)는 외부 객체가 포함된 뎁스 이미지를 촬영할 수 있다. 뎁스 이미지는 객체와 카메라(430) 사이의 거리 정보를 포함하는 이미지일 수 있다. 프로세서(420)는 카메라(430)가 촬영한 뎁스 이미지에 기반하여 외부 객체와 카메라(430) 사이의 거리를 확인할 수 있다.According to various embodiments of the present disclosure, the camera 430 may measure a distance between the camera 430 and an external object positioned in front of the display 410. The camera 430 may be implemented as a depth camera or a vision sensor capable of measuring a distance between an external object and the camera 430. The camera 430 implemented as a depth camera or a vision sensor may capture a depth image including an external object. The depth image may be an image including distance information between the object and the camera 430. The processor 420 may check the distance between the external object and the camera 430 based on the depth image captured by the camera 430.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 디스플레이(410) 또는 카메라(420)와 동작적으로 연결되어, 디스플레이(410) 또는 카메라(430)의 동작을 제어할 수 있다. 프로세서(420)는 디스플레이(410) 상에 디스플레이되는 컨텐츠의 위치에 대한 캘리브레이션(calibration) 또는 조절(adjust)을 수행할 수 있다. 구체적으로, 프로세서(420)는 디스플레이(410) 전면에 존재하는 외부 객체가 디스플레이(410)에 의해 반사되어 표시된 외부 객체의 반사 이미지의 위치와 프로세서(420)의 제어에 의해 디스플레이되는 컨텐츠의 위치가 일치하도록 디스플레이될 컨텐츠의 위치를 캘리브레이션할 수 있다. 이하에서는, 디스플레이되는 컨텐츠의 위치를 조절하는 구체적인 실시예에 대해서 서술한다.According to various embodiments of the present disclosure, the processor 420 may be operatively connected to the display 410 or the camera 420 to control the operation of the display 410 or the camera 430. The processor 420 may calibrate or adjust the location of the content displayed on the display 410. Specifically, the processor 420 determines the location of the reflected image of the external object displayed by reflecting the external object in front of the display 410 by the display 410 and the location of the content displayed by the control of the processor 420. You can calibrate the location of the content to be displayed to match. Hereinafter, a specific embodiment of adjusting the position of the displayed content will be described.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 제 1 컨텐츠를 디스플레이하도록 디스플레이(410)를 제어할 수 있다. 프로세서(420)는 디스플레이(410)의 전면에 특정 형상(예: 사람의 외형)을 가지는 외부 객체(예: 사용자)가 존재함을 확인함에 대응하여, 제 1 컨텐츠를 디스플레이할 수 있다.According to various embodiments of the present disclosure, the processor 420 may control the display 410 to display the first content. The processor 420 may display the first content in response to confirming that an external object (eg, a user) having a specific shape (eg, a person's appearance) exists on the front surface of the display 410.
본 발명의 다양한 실시예에 따르면, 제 1 컨텐츠는 프로세서(420)가 외부 객체에 대한 정보를 획득하기 위해 제공되는 컨텐츠일 수 있다. 일 실시예에 따르면, 제 1 컨텐츠는 디스플레이될 컨텐츠의 위치를 캘리브레이션하기 위한 다양한 정보들을 획득하기 위해서 제공되는 컨텐츠일 수 있다. 프로세서(420)가 디스플레이될 컨텐츠의 위치를 캘리브레이션하기 위한 다양한 정보들은 컨텐츠가 디스플레이될 영역의 위치(또는, 디스플레이 상의 좌표)를 결정하기 위해 요구되는 변수들로, 외부 객체의 반사 이미지의 디스플레이(410) 상에서의 위치 정보를 포함할 수 있다. 다른 실시예에 따르면, 제 1 컨텐츠는 외부 객체(예; 사람)의 특성(예: 신체의 특성으로 사용자의 키, 팔의 반경, 허리 위치) 정보를 획득하기 위해 제공되는 컨텐츠일 수 있다.According to various embodiments of the present disclosure, the first content may be content provided by the processor 420 to obtain information on an external object. According to an embodiment, the first content may be content provided to obtain various pieces of information for calibrating the location of the content to be displayed. Various pieces of information for calibrating the location of the content to be displayed by the processor 420 are variables required to determine the location (or coordinates on the display) of the area in which the content is to be displayed. ) May include location information on the top. According to another embodiment, the first content may be content provided to obtain information on characteristics of an external object (eg, a person) (eg, a height of a user, a radius of an arm, and a location of a waist as a characteristic of a body).
본 발명의 다양한 실시예에 따르면, 제 1 컨텐츠는 전자 장치(400)의 사용자의 준비 운동(예: 스트레칭, 팔 흔들기 또는 무릎 굽히기)과 관련된 컨텐츠일 수 있다. 사용자가 디스플레이(410)의 전면에 존재하는 경우, 사용자는 외부 객체에 대응할 수 있다. 사용자는 사용자의 준비 운동과 관련된 컨텐츠를 제공 받으면서, 준비 운동을 수행할 수 있다. 프로세서(420)는 사용자가 준비 운동을 수행하는 동안 수신한 사용자 입력에 기반하여 외부 객체의 반사 이미지의 위치를 결정할 수 있다.According to various embodiments of the present disclosure, the first content may be content related to a warm-up exercise (eg, stretching, shaking an arm, or bending a knee) of a user of the electronic device 400. When the user exists in front of the display 410, the user may correspond to an external object. The user may perform the warm-up exercise while being provided with content related to the user's warm-up exercise. The processor 420 may determine the location of the reflection image of the external object based on a user input received while the user performs the warm-up exercise.
본 발명의 다양한 실시예에 따르면, 제 2 컨텐츠는 전자 장치(400)가 제 1 컨텐츠를 디스플레이하는 동안 획득한 외부 객체의 반사 이미지의 위치에 기반하여 제 1 컨텐츠가 디스플레이되는 위치를 캘리브레이션하여 획득한 위치 상에 디스플레이되는 다양한 컨텐츠를 의미할 수 있다. 예를 들면, 제 2 컨텐츠는 사용자에게 제공되는 사용자의 운동을 위한 컨텐츠일 수 있다.According to various embodiments of the present disclosure, the second content is obtained by calibrating a location where the first content is displayed based on the location of a reflection image of an external object acquired while the electronic device 400 displays the first content. It may mean various contents displayed on a location. For example, the second content may be content for a user's exercise provided to the user.
본 발명의 다양한 실시에에 따르면, 프로세서(420)는 카메라(430)를 이용하여 획득한 외부 객체의 위치 정보에 기반하여 제 1 컨텐츠를 디스플레이할 위치를 결정할 수 있다. 프로세서(420)는 결정된 위치 상에서 제 1 컨텐츠를 디스플레이하도록 디스플레이(410)를 제어할 수 있다.According to various embodiments of the present disclosure, the processor 420 may determine a location to display the first content based on location information of an external object acquired using the camera 430. The processor 420 may control the display 410 to display the first content on the determined location.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 외부 객체(예: 사람)의 적어도 하나 이상의 특징점(예: 손목, 어깨, 머리를 포함하는 사람의 신체의 일부)의 반사 이미지의 위치를 획득하기 위해서, 제 1 컨텐츠가 디스플레이될 영역 중 특징점에 대응하는 영역에 적어도 하나 이상의 비쥬얼 오브젝트를 디스플레이할 수 있다. 비쥬얼 오브젝트는 제 1 컨텐츠에 포함될 수 있다. 비쥬얼 오브젝트가 디스플레이되는 위치는 특징점에 대응하는 영역으로부터 미리 설정된 거리 이내에 존재하는 위치일 수 있다.According to various embodiments of the present invention, the processor 420 obtains a position of a reflection image of at least one feature point (eg, a part of a person's body including a wrist, a shoulder, and a head) of an external object (eg, a person). To do this, at least one visual object may be displayed in an area corresponding to a feature point among areas in which the first content is to be displayed. The visual object may be included in the first content. The position at which the visual object is displayed may be a position that exists within a preset distance from the area corresponding to the feature point.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는, 외부 객체의 반사 이미지의 디스플레이(410) 상에서의 위치 정보를 다양한 방식으로 획득할 수 있다. 본 발명의 다양한 실시예에 따르면, 프로세서(420)는 디스플레이(410) 상의 특정 영역에 비쥬얼 오브젝트를 디스플레이하고, 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 사용자 입력을 수신할 수 있다. 사용자 입력은 다양한 형태로 수신될 수 있다. 예를 들면, 사용자 입력은 사용자가 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 음성으로 구현된 입력일 수 있다. 다른 예를 들면, 사용자 입력은 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 제스처 형태로 구현된 입력일 수 있다. 프로세서(420)는 사용자 입력을 수신함에 대응하여, 외부 객체의 반사 이미지의 위치를 비쥬얼 오브젝트의 위치로 결정할 수 있다.According to various embodiments of the present disclosure, the processor 420 may acquire location information on the display 410 of a reflection image of an external object in various ways. According to various embodiments of the present invention, the processor 420 displays a visual object in a specific area on the display 410, and receives a user input indicating that the position of the reflection image of the external object matches the position of the visual object. can do. User input may be received in various forms. For example, the user input may be an input implemented with a voice indicating that the location of the reflection image of the external object and the location of the visual object match. For another example, the user input may be an input implemented in the form of a gesture indicating that the position of the reflection image of the external object and the position of the visual object match. In response to receiving the user input, the processor 420 may determine the location of the reflection image of the external object as the location of the visual object.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 비쥬얼 오브젝트의 위치 정보 및 비쥬얼 오브젝트에 대응하는 외부 객체의 위치 정보에 기반하여 제 2 컨텐츠가 디스플레이될 위치를 결정(또는, 캘리브레이션)할 수 있다. 일 실시예에 따르면, 프로세서(420)는 제 1 컨텐츠가 디스플레이된 위치를 비쥬얼 오브젝트의 위치 및 비쥬얼 오브젝트에 대응하는 외부 객체의 위치의 차이에 기반하여 캘리브레이션하고, 캘리브레이션된 좌표를 제 2 컨텐츠가 디스플레이될 위치로 결정할 수 있다.According to various embodiments of the present disclosure, the processor 420 may determine (or calibrate) a location in which the second content is to be displayed based on location information of a visual object and location information of an external object corresponding to the visual object. . According to an embodiment, the processor 420 calibrates the position where the first content is displayed based on the difference between the position of the visual object and the position of the external object corresponding to the visual object, and displays the calibrated coordinates on the second content. You can decide where you want to be.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 제 1 컨텐츠를 디스플레이하는 동안, 외부 객체의 특성을 획득할 수 있다. 예를 들어, 외부 객체가 사용자에 해당하는 경우, 외부 객체의 특성은 사용자의 키, 사용자의 팔의 활동 반경, 사용자의 무릎의 위치를 포함할 수 있다. 프로세서(420)는 외부 객체의 일부 영역에 대한 특성의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 외부 객체의 일부 영역의 특성의 정확도를 높이기 위한 추가 컨텐츠인 제 3 컨텐츠를 제공할 수 있다. 제 3 컨텐츠는 외부 객체의 일부 영역의 특성을 획득하기 위한 컨텐츠일 수 있다. 외부 객체가 사용자에 해당하고, 획득하기 위한 외부 객체의 일부 영역이 사용자의 어깨 부분에 해당하는 상황을 가정하면, 프로세서(420)는 어깨 부분에 대한 준비 운동이 포함된 제 3 컨텐츠를 디스플레이(410) 상에 디스플레이할 수 있다. 프로세서(420)는 제 3 컨텐츠를 디스플레이하는 동안, 어깨 부분에 대한 준비 운동을 수행하는 사용자를 카메라(430)를 이용하여 촬영하고, 촬영한 이미지에 기반하여 어깨 부분에 대한 특성을 확인할 수 있다.According to various embodiments of the present disclosure, the processor 420 may acquire characteristics of an external object while displaying the first content. For example, when the external object corresponds to the user, the characteristics of the external object may include the user's height, the user's arm activity radius, and the user's knee position. The processor 420 may provide third content, which is additional content, for increasing the accuracy of the characteristic of the partial region of the external object in response to confirming that the accuracy of the characteristic of the partial region of the external object is less than or equal to a preset value. The third content may be content for acquiring characteristics of a partial area of an external object. Assuming that the external object corresponds to the user and a partial region of the external object to be acquired corresponds to the user's shoulder, the processor 420 displays the third content including the warm-up exercise for the shoulder (410). ) Can be displayed. While displaying the third content, the processor 420 may photograph a user performing a warm-up exercise on the shoulder using the camera 430 and check characteristics of the shoulder based on the captured image.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 디스플레이(410)와 외부 객체의 거리에 기반하여 제 2 컨텐츠가 디스플레이될 위치를 결정할 수 있다. 프로세서(420)는 카메라(430)가 수집한 뎁스 이미지에 기반하여 카메라(430)와 외부 객체의 거리를 결정하고, 카메라(430)와 외부 객체 사이의 거리에 기반하여 디스플레이(410)와 외부 객체의 거리를 결정할 수 있다. 카메라(430)와 외부 객체의 거리는 디스플레이(410)와 외부 객체의 거리와 동일하거나, 유사할 수 있다. 일 실시예에 따르면, 프로세서(420)는 디스플레이(410)와 외부 객체 사이의 거리가 증가할수록, 제 2 컨텐츠의 디스플레이 위치를 디스플레이(410)의 하부로 이동시킬 수 있다. 다른 실시예에 따르면, 프로세서(420)는 디스플레이(410)와 외부 객체 사이의 거리라 감소할수록, 제 2 컨텐츠의 디스플레이 위치를 디스플레이(410)의 상부로 이동시킬 수 있다.According to various embodiments of the present disclosure, the processor 420 may determine a location in which the second content is to be displayed based on a distance between the display 410 and an external object. The processor 420 determines the distance between the camera 430 and the external object based on the depth image collected by the camera 430, and the display 410 and the external object based on the distance between the camera 430 and the external object. You can determine the distance. The distance between the camera 430 and the external object may be the same as or similar to the distance between the display 410 and the external object. According to an embodiment, as the distance between the display 410 and the external object increases, the processor 420 may move the display position of the second content to the lower portion of the display 410. According to another embodiment, as the distance between the display 410 and the external object decreases, the processor 420 may move the display position of the second content to the upper portion of the display 410.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 촬영한 영상에 기반하여 외부 객체의 특성 정보를 획득할 수 있다. 외부 객체가 사용자인 경우, 외부 객체의 특성 정보는 사용자의 신체의 특성 정보로써, 사용자의 성별, 사용자의 나이, 사용자의 키, 허리 위치, 무릎 위치, 팔의 반경을 포함할 수 있다. 프로세서(420)는 수집한 외부 객체의 특성 정보에 기반하여 디스플레이될 제 2 컨텐츠를 선택 또는 결정할 수 있다.According to various embodiments of the present disclosure, the processor 420 may acquire characteristic information of an external object based on an image captured using the camera 430 while displaying the first content. When the external object is a user, the characteristic information of the external object is characteristic information of the user's body, and may include the user's gender, the user's age, the user's height, a waist position, a knee position, and an arm radius. The processor 420 may select or determine the second content to be displayed based on the collected characteristic information of the external object.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)의 메모리(예: 도 1의 메모리(130)) 상에는 복수의 제 2 컨텐츠들이 저장될 수 있다. 메모리에 저장된 제 2 컨텐츠들은 외부 전자 장치(예: 도 1의 서버(108), 도 1의 전자 장치(104)))로부터 수신하거나, 전자 장치(400)의 제조 당시에 미리 저장될 수 있다. 저장된 제 2 컨텐츠들 각각은 선택을 위한 메타 데이터가 포함될 수 있다. 메타 데이터는 제 2 컨텐츠에 포함된 가이드 음성의 특성(예: 부드러운 음성), 제 2 컨텐츠에 포함된 배경 음악의 특성, 제 2 컨텐츠에 포함된 운동의 특성(예: 운동 난이도, 운동 속도, 운동 횟수), 운동 도구가 요구되는지 지시하는 인디케이터, 필요한 운동 도구 중 적어도 하나 이상의 정보가 포함될 수 있다. 프로세서(420)는 사용자의 신체 정보를 확인하고, 사용자의 신체 정보 및 메타 데이터에 기반하여 디스플레이될 제 2 컨텐츠를 선택 또는 결정할 수 있다. 예를 들면, 프로세서(420)는 사용자의 신체 정보(예: 남성, 20대)를 확인하고, 신체 정보에 대응하는 제 2 컨텐츠(예: 상대적으로 무거운 운동 기구(덤벨)를 이용한 운동이 포함된 컨텐츠)를 선택할 수 있다. 다른 예를 들면, 프로세서(420)는 사용자의 신체 정보(예: 여성, 50대)를 확인하고, 신체 정보에 대응하는 제 2 컨텐츠(예: 상대적으로 가벼운 운동 기구(폼-롤러)를 이용한 운동이 포함된 컨텐츠)를 선택할 수 있다.According to various embodiments of the present disclosure, a plurality of second contents may be stored on a memory (for example, the memory 130 of FIG. 1) of the electronic device 400. The second content stored in the memory may be received from an external electronic device (eg, the server 108 of FIG. 1 or the electronic device 104 of FIG. 1 ), or may be stored in advance at the time of manufacture of the electronic device 400. Each of the stored second contents may include metadata for selection. Meta data includes the characteristics of the guide voice included in the second content (eg, soft voice), the properties of the background music included in the second content, and the characteristics of the movement included in the second content (eg, exercise difficulty, exercise speed, exercise). Number), an indicator indicating whether an exercise tool is required, and information of at least one of a necessary exercise tool may be included. The processor 420 may check the user's body information, and select or determine the second content to be displayed based on the user's body information and metadata. For example, the processor 420 checks the user's body information (eg, male, 20s), and includes second content corresponding to the body information (eg, exercise using a relatively heavy exercise device (dumbell)). Content) can be selected. For another example, the processor 420 checks the user's body information (eg, female, 50's), and exercise using second content corresponding to the body information (eg, a relatively light exercise device (foam-roller)). Content) can be selected.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 획득한 사용자의 신체 정보 및 전자 장치(400)와 연결된 다른 전자 장치(104, 108)로부터 수신한 사용자의 신체 정보를 이용하여 제 2 컨텐츠를 선택할 수도 있다. 일 실시예에 따르면, 다른 전자 장치(104, 108)로부터 수신한 사용자의 신체 정보는 전자 장치(400)가 영상 분석을 통해 획득하기 어려운 사용자의 신체 정보(예: 사용자의 질병 이력, 사용자의 몸무게, 사용자의 혈압 또는 사용자의 혈당량)를 포함할 수 있다. 프로세서(420)는 카메라(430)를 이용하여 획득하기 어려운 사용자의 신체 정보를 추가로 고려하여, 제 2 컨텐츠를 선택 또는 결정할 수 있어, 사용자에게 더 적절한 컨텐츠를 제공할 수 있다. According to various embodiments of the present disclosure, the processor 420 includes user's body information acquired using the camera 430 while displaying the first content and other electronic devices 104 and 108 connected to the electronic device 400. The second content may be selected using the body information of the user received from. According to an embodiment, the user's body information received from the other electronic devices 104 and 108 is the user's body information that is difficult for the electronic device 400 to obtain through image analysis (eg, the user's disease history, the user's weight). , The user's blood pressure or the user's blood glucose level). The processor 420 may additionally consider the user's body information that is difficult to obtain using the camera 430 and may select or determine the second content, thereby providing more appropriate content to the user.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여 다른 외부 객체가 존재하는지 여부 및 외부 객체의 종류를 확인할 수 있다. 다른 외부 객체는 사용자가 구비한 운동 기구(예: 폼 롤러, 아령)를 포함할 수 있다. 프로세서(420)는 외부 객체의 식별 결과에 기반하여 제 2 컨텐츠를 선택 또는 결정할 수 있다. 예를 들면, 프로세서(420)는 사용자가 아령을 구비하는 것을 확인함에 대응하여, 아령을 이용한 운동 컨텐츠가 포함된 제2 컨텐츠를 선택 또는 결정할 수 있다. 프로세서(420)는 다른 외부 객체가 존재함을 확인함에 대응하여, 디스플레이(410) 상에 디스플레이될 제 2 컨텐츠들의 순서를 변경할 수도 있다. 예를 들면, 프로세서(420)는 사용자가 아령을 구비하는 것을 확인함에 대응하여, 아령을 이용한 운동 컨텐츠가 포함된 제 2 컨텐츠를 다른 제 2 컨텐츠들에 비해 먼저 제공할 수도 있다.According to various embodiments of the present disclosure, the processor 420 determines whether another external object exists and the type of the external object based on a result of analyzing an image acquired using the camera 430 while displaying the first content. You can check. Other external objects may include exercise equipment (eg, foam rollers, dumbbells) provided by the user. The processor 420 may select or determine the second content based on the identification result of the external object. For example, in response to confirming that the user has the dumbbell, the processor 420 may select or determine the second content including exercise content using the dumbbell. The processor 420 may change the order of the second content to be displayed on the display 410 in response to confirming that another external object exists. For example, in response to confirming that the user has a dumbbell, the processor 420 may provide second content including exercise content using a dumbbell earlier than other second content.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 외부 객체와 디스플레이(410) 사이의 거리에 기반하여 제 2 컨텐츠를 결정할 수 있다. 예를 들면, 프로세서(420)는 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값을 이상(또는, 초과)임을 확인함에 대응하여, 전신 운동과 관련된 제 2 컨텐츠를 선택 또는 결정할 수 있다. 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 이상인 경우, 사용자의 전신이 디스플레이(410) 상에 반사될 수 있기 때문이다. 다른 예를 들면, 프로세서(420)는 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 미만(또는, 이하)임을 확인함에 대응하여, 사용자의 신체의 일부와 관련된 제 2 컨텐츠를 선택 또는 결정할 수 있다. 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 이하인 경우, 사용자의 특정 신체 부위가 디스플레이(410) 상에 반사될 수 있어, 신체의 일부와 관련된 운동 컨텐츠가 적절할 수 있다.According to various embodiments of the present disclosure, the processor 420 may determine the second content based on a distance between the external object and the display 410. For example, in response to confirming that the distance between the user and the display 410 exceeds (or exceeds) a preset value, the processor 420 may select or determine the second content related to the full-body exercise. This is because when the distance between the user and the display 410 is greater than or equal to a preset value, the user's whole body may be reflected on the display 410. For another example, in response to confirming that the distance between the user and the display 410 is less than (or less than) a preset value, the processor 420 may select or determine the second content related to a part of the user's body. have. When the distance between the user and the display 410 is less than or equal to a preset value, a specific body part of the user may be reflected on the display 410, so that exercise content related to a part of the body may be appropriate.
본 발명의 다양한 실시예에 따르면, 프로세서(420)는 사용자의 신체 정보에 기반하여 디스플레이될 적어도 하나 이상의 제 2 컨텐츠들을 선택하고, 선택된 제 2 컨텐츠들이 포함된 리스트를 디스플레이할 수 있다. 프로세서(420)는 리스트에 포함된 제 2 컨텐츠들 중 적어도 하나 이상을 선택하는 사용자 입력에 기반하여 제 2 컨텐츠를 디스플레이할 수 있다. According to various embodiments of the present disclosure, the processor 420 may select at least one or more second contents to be displayed based on the user's body information, and display a list including the selected second contents. The processor 420 may display the second content based on a user input for selecting at least one or more of the second content included in the list.
본 발명의 다양한 실시예에 따른 전자 장치(400)는 상기에 기재된 방식에 따라 제 2 컨텐츠가 디스플레이될 위치를 결정하는 동안 사용자의 신체 정보, 사용자가 구비한 다른 외부 객체의 정보를 획득하고, 획득한 정보를 이용하여 사용자에게 적절한 운동이 포함된 제 2 컨텐츠를 제공할 수 있어, 전자 장치(400)의 활용성이 증가할 수 있다.The electronic device 400 according to various embodiments of the present disclosure acquires and acquires body information of the user and information of other external objects provided by the user while determining the location where the second content is to be displayed according to the method described above. The second content including appropriate exercise may be provided to the user by using one piece of information, so that the usability of the electronic device 400 may be increased.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 도 5f, 도 5g, 도 5h 및 도 5i는 본 발명의 다양한 실시예에 따른 전자 장치에서, 제 1 컨텐츠를 디스플레이하는 동안, 제 2 컨텐츠를 디스플레이할 위치를 조절하고, 사용자의 신체 정보를 획득하는 실시예를 도시한 도면이다.5A, 5B, 5C, 5D, 5E, 5F, 5G, 5H, and 5I illustrate a second content while displaying a first content in an electronic device according to various embodiments of the present disclosure. A diagram showing an embodiment in which a position to be displayed is adjusted and body information of a user is obtained.
도 5a를 참조하면, 전자 장치(예: 도 4의 전자 장치(400))는 카메라(예: 도 4의 카메라(430))를 이용하여 디스플레이(예: 도 4의 디스플레이(410)) 전면에 외부 객체(511)가 존재하는지 여부를 확인할 수 있다. 전자 장치(400)는 카메라(430)를 미리 설정된 주기 마다 활성화하고, 카메라(430)가 수집한 영상에 기반하여 외부 객체(511)가 존재하는지 여부를 확인할 수 있다.Referring to FIG. 5A, an electronic device (eg, the electronic device 400 of FIG. 4) uses a camera (eg, the camera 430 of FIG. 4) to display a display (eg, the display 410 of FIG. 4 ). It is possible to check whether the external object 511 exists. The electronic device 400 may activate the camera 430 at every preset period and check whether the external object 511 exists based on the image collected by the camera 430.
본 발명의 다양한 실시예에 따르면, 디스플레이(410)는 외부 객체(511)의 반사 이미지(513)를 선명하게 표시하기 위해, 디스플레이(410)를 향해 진행하는 빛에 대한 반사율을 증가시키는 구성이 추가된 미러 디스플레이로 구현될 수 있다.According to various embodiments of the present invention, in order to clearly display the reflection image 513 of the external object 511, the display 410 has an additional configuration that increases the reflectance of light traveling toward the display 410. It can be implemented as a mirror display.
도 5b를 참조하면, 전자 장치(400)는 디스플레이(410)의 전면에 특정 형상(예: 사람의 외형)을 가지는 외부 객체(예: 사용자)가 존재함을 확인함에 대응하여, 제 1 컨텐츠를 디스플레이할 수 있다.Referring to FIG. 5B, in response to confirming that an external object (eg, a user) having a specific shape (eg, a person's appearance) exists in the front of the display 410, the electronic device 400 displays the first content. Can be displayed.
본 발명의 다양한 실시예에 따르면, 제 1 컨텐츠는 전자 장치(400)가 외부 객체에 대한 정보를 획득하기 위해 제공되는 컨텐츠일 수 있다. 일 실시예에 따르면, 제 1 컨텐츠는 디스플레이될 제 2 컨텐츠의 위치를 캘리브레이션하기 위한 다양한 정보들을 획득하기 위해서 제공되는 컨텐츠일 수 있다. 디스플레이될 제 2 컨텐츠의 위치를 캘리브레이션하기 위한 다양한 정보들은 컨텐츠가 디스플레이될 영역의 위치(또는, 디스플레이 상의 좌표)를 결정하기 위해 요구되는 변수들로, 외부 객체(511)의 반사 이미지(513)의 디스플레이(410) 상에서의 위치 정보를 포함할 수 있다. According to various embodiments of the present disclosure, the first content may be content provided by the electronic device 400 to obtain information on an external object. According to an embodiment, the first content may be content provided to obtain various pieces of information for calibrating the position of the second content to be displayed. Various pieces of information for calibrating the location of the second content to be displayed are variables required to determine the location (or coordinates on the display) of the area where the content is to be displayed. It may include location information on the display 410.
본 발명의 다양한 실시예에 따르면, 제 1 컨텐츠는 전자 장치(400)의 사용자의 준비 운동(예: 스트레칭, 팔 흔들기 또는 무릎 굽히기)과 관련된 컨텐츠일 수 있다. 제 1 컨텐츠는 사용자의 인터랙션을 유도하기 위한 영상 또는 음성 컨텐츠(예: 스트레칭을 도와줄 아이템을 착용하겠습니다, 화면에 표시된 아이템이 있는 위치에 손목을 맞춰 주세요) 및 사용자의 적어도 하나 이상의 특징점(예: 왼쪽 손목 및 오른쪽 손목)의 반사 이미지의 위치를 획득하기 위한 적어도 하나 이상의 비쥬얼 오브젝트(515, 517)를 포함할 수 있다. 디스플레이(410)는, 사용자의 반사 이미지(513)가 표시되면서, 적어도 하나 이상의 비쥬얼 오브젝트(515, 517)를 디스플레이할 수 있다.According to various embodiments of the present disclosure, the first content may be content related to a warm-up exercise (eg, stretching, shaking an arm, or bending a knee) of a user of the electronic device 400. The first content is video or audio content to induce user interaction (e.g., I will wear an item to help with stretching, please align my wrist to the location of the item displayed on the screen) and at least one feature point of the user (e.g.: It may include at least one or more visual objects 515 and 517 for acquiring the positions of the reflection images of the left wrist and the right wrist. The display 410 may display at least one or more visual objects 515 and 517 while the user's reflection image 513 is displayed.
본 발명의 다양한 실시에에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 외부 객체의 위치 정보에 기반하여 제 1 컨텐츠를 디스플레이할 위치를 결정할 수 있다. 전자 장치(400)는 결정된 위치 상에서 제 1 컨텐츠를 디스플레이하도록 디스플레이(410)를 제어할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may determine a location to display the first content based on location information of an external object acquired using the camera 430. The electronic device 400 may control the display 410 to display the first content on the determined location.
도 5c를 참조하면, 전자 장치(400)는 디스플레이(410)의 전면에 존재하는 사용자의 인터랙션(예: 손목을 비쥬얼 오브젝트가 디스플레이되는 영역에 맞추기 위한 인터랙션)(519)을 감지할 수 있다. 사용자는 사용자의 준비 운동과 관련된 컨텐츠를 제공 받으면서, 준비 운동을 수행할 수 있다. 전자 장치(400)는 사용자가 준비 운동을 수행하는 동안 수집한 사용자 입력에 기반하여 외부 객체의 반사 이미지의 위치를 결정할 수 있다.Referring to FIG. 5C, the electronic device 400 may detect a user's interaction (eg, an interaction for fitting a wrist to an area where a visual object is displayed) 519 existing in front of the display 410. The user may perform the warm-up exercise while being provided with content related to the user's warm-up exercise. The electronic device 400 may determine a location of a reflection image of an external object based on a user input collected while the user performs the warm-up exercise.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 디스플레이(410) 상에 비쥬얼 오브젝트(515, 517)를 디스플레이하고, 외부 객체의 반사 이미지(519)의 위치와 비쥬얼 오브젝트(515, 517)의 위치가 일치함을 지시하는 사용자 입력을 수신할 수 있다. 사용자 입력은 다양한 형태로 수신될 수 있다. 예를 들면, 사용자 입력은 사용자가 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 음성으로 구현된 입력일 수 있다. 다른 예를 들면, 사용자 입력은 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 제스처 형태(예: 손을 쥐었다 피는 제스처)로 구현된 입력일 수 있다. 전자 장치(400)는 사용자 입력을 수신함에 대응하여, 외부 객체의 반사 이미지의 위치를 비쥬얼 오브젝트의 위치로 결정할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 displays the visual objects 515 and 517 on the display 410, and the position of the reflection image 519 of the external object and the visual objects 515 and 517 It is possible to receive a user input indicating that the location of is matched. User input may be received in various forms. For example, the user input may be an input implemented with a voice indicating that the location of the reflection image of the external object and the location of the visual object match. As another example, the user input may be an input implemented in the form of a gesture indicating that the position of the reflection image of the external object and the position of the visual object are identical (eg, a gesture of holding and holding a hand). In response to receiving a user input, the electronic device 400 may determine the location of the reflection image of the external object as the location of the visual object.
도 5d 및 도 5e는 본 발명의 다양한 실시예에 따른 전자 장치(400)가 제 1 컨텐츠가 디스플레이되는 위치를 캘리브레이션함으로써 제 2 컨텐츠가 디스플레이될 위치를 결정하는 실시예를 도시한 도면이다.5D and 5E are diagrams illustrating an embodiment in which the electronic device 400 determines a location where a second content is to be displayed by calibrating a location where a first content is displayed according to various embodiments of the present disclosure.
도 5d는 전자 장치(400)가 카메라(430)를 이용하여 획득한 외부 객체의 반사 이미지의 디스플레이(410) 상의 추정된 위치(525) 및 비쥬얼 오브젝트(521, 523)의 위치를 도시하고 있다.5D shows the estimated position 525 on the display 410 of a reflection image of an external object acquired by the electronic device 400 using the camera 430 and the positions of the visual objects 521 and 523.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 비쥬얼 오브젝트(521, 523)의 위치에 기반하여 외부 객체의 일부 영역(예: 손목)의 반사 이미지의 디스플레이(410) 상의 실제 위치(527)를 결정할 수 있다. 전자 장치(400)는 추정된 위치(525)와 비쥬얼 오브젝트(521, 523)의 위치 차이(또는, 반사 이미지의 추정된 위치(525)와 실제 위치(527)의 차이)를 확인하고, 차이 값에 기반하여 제 1 컨텐츠가 디스플레이되는 위치에 대한 캘리브레이션을 수행함으로써, 제 2 컨텐츠가 디스플레이되는 위치를 결정할 수 있다. 도 5d 및 도 5e를 참조하면, 전자 장치(400)는 추정된 위치(525)에 비해 실제 위치(527)가 더 위에 존재함을 확인함에 대응하여, 제 1 컨텐츠가 디스플레이되는 위치에 대한 캘리브레이션을 수행하고, 캘리브레이션된 좌표를 제 2 컨텐츠가 디스플레이될 위치로 결정할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 displays an actual position 527 on the display 410 of a reflection image of a partial area (eg, wrist) of an external object based on the position of the visual objects 521 and 523. ) Can be determined. The electronic device 400 checks the position difference between the estimated position 525 and the visual objects 521 and 523 (or the difference between the estimated position 525 and the actual position 527 of the reflected image), and the difference value Based on the calibration, the position at which the second content is displayed may be determined. 5D and 5E, in response to confirming that the actual location 527 is higher than the estimated location 525, the electronic device 400 calibrates the location where the first content is displayed. Then, the calibrated coordinates may be determined as a position in which the second content is to be displayed.
도 5f 내지 도 5i는 본 발명의 다양한 실시예에 따른 전자 장치(400)가 제 1 컨텐츠를 디스플레이하는 동안, 외부 객체(예: 사용자)의 특성(예: 신체 특성)을 획득하는 실시예를 도시한 도면이다.5F to 5I illustrate an embodiment of acquiring characteristics (eg, body characteristics) of an external object (eg, a user) while the electronic device 400 displays first content according to various embodiments of the present disclosure. It is a drawing.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 제 1 컨텐츠를 디스플레이하면서, 제 2 컨텐츠가 디스플레이될 위치를 결정하는 동작과 함께 외부 객체(예: 사용자)의 특성(예: 사용자의 신체 특성)을 획득할 수 있다. 전자 장치(400)는 카메라(예: 도 4의 카메라(430))를 이용하여 획득한 이미지에 기반하여 외부 객체의 특성을 확인할 수 있다. 일 실시예에 따르면, 전자 장치(400)는 RGB 카메라 방식 또는 뎁스 카메라 방식으로 구현된 카메라(430)를 이용하여 획득한 이미지에 기반하여 사용자의 얼굴 및 신체의 각 부분들(예: 어깨, 팔목, 무릎 또는 관절의 위치)을 인식하고, 인식된 결과에 기반하여 신체의 특성(예: 특정 관절의 가용 각도, 신체 부분들 각각의 크기, 길이)을 획득할 수 있다. 일 실시예에 따르면, 전자 장치(400)는 전자 장치(400)와 연결된 외부 전자 장치(예; 사용자의 정보를 저장하는 서버(예: 도 1의 서버(108)) 또는 외부 전자 장치(예: 도 1의 전자 장치(102))로부터 외부 객체의 특성을 수신할 수도 있다.According to various embodiments of the present disclosure, while displaying the first content, the electronic device 400 determines a location in which the second content is to be displayed, as well as characteristics of an external object (eg, a user). Characteristics) can be acquired. The electronic device 400 may check characteristics of an external object based on an image acquired using a camera (eg, the camera 430 of FIG. 4 ). According to an embodiment, the electronic device 400 includes parts of the user's face and body (e.g., shoulders, wrists, etc.) based on an image acquired using a camera 430 implemented using an RGB camera method or a depth camera method. , The position of a knee or a joint), and body characteristics (eg, an available angle of a specific joint, a size and length of each of the body parts) may be obtained based on the recognized result. According to an embodiment, the electronic device 400 is an external electronic device connected to the electronic device 400 (for example, a server storing user information (for example, the server 108 of FIG. 1) or an external electronic device (for example: A characteristic of an external object may be received from the electronic device 102 of FIG. 1.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 획득한 외부 객체의 특성에 기반하여 디스플레이될 제 2 컨텐츠를 결정 또는 선택할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may determine or select the second content to be displayed based on the acquired characteristics of the external object.
도 5f는 전자 장치(400)가 사용자의 팔 반경을 측정하는 실시예를 도시한 도면이다. 도 5f를 참조하면, 전자 장치(400)는 제 1 컨텐츠에 포함된 사용자의 팔 반경을 측정을 위한 제스처를 유도하는 음성(예: 팔을 위아래로 최대한 넓게 흔들어 보세요) 또는 영상 컨텐츠를 출력할 수 있다. 전자 장치(400)는 왼쪽 팔을 움직이는 사용자 입력(532) 또는 오른쪽 팔을 움직이는 사용자 입력(533)을 감지하고, 사용자 입력(532, 533)에 기반하여 사용자의 팔의 반경을 확인할 수 있다. 전자 장치(400)는 사용자의 팔의 반경에 기반하여 디스플레이될 제 2 컨텐츠를 결정할 수 있다. 전자 장치(400)는 팔의 반경을 확인하는 동안, 비쥬얼 오브젝트(534, 535)를 팔의 움직임에 대응하도록 이동하는 동작을 디스플레이(410) 상에 디스플레이할 수 있다. 디스플레이(410)는 사용자의 반사 이미지(531)가 표시되면서, 비쥬얼 오브젝트(534, 535)를 디스플레이할 수 있다.5F is a diagram illustrating an example in which the electronic device 400 measures a user's arm radius. Referring to FIG. 5F, the electronic device 400 may output voice (eg, shake the arm up and down as wide as possible) or video content that induces a gesture for measuring the radius of the user's arm included in the first content. have. The electronic device 400 may detect a user input 532 moving a left arm or a user input 533 moving a right arm, and check the radius of the user's arm based on the user inputs 532 and 533. The electronic device 400 may determine the second content to be displayed based on the radius of the user's arm. While checking the radius of the arm, the electronic device 400 may display an operation of moving the visual objects 534 and 535 to correspond to the movement of the arm on the display 410. The display 410 may display the visual objects 534 and 535 while the user's reflection image 531 is displayed.
도 5g는 전자 장치(400)가 사용자의 키를 측정하는 실시예를 도시한 도면이다. 도 5g를 참조하면, 전자 장치(400)는 제 1 컨텐츠에 포함된 사용자의 키의 측정을 위한 제스처를 유도하는 음성(예: 선(537)이 머리 끝에 위치할 때 다가오는 것을 멈춰주세요) 또는 영상 컨텐츠를 출력할 수 있다. 전자 장치(400)는 사용자가 접근하는 동작을 감지하고, 사용자와 디스플레이(410) 사이의 거리를 측정할 수 있다. 전자 장치(400)는 사용자와 디스플레이 사이의 거리 및 디스플레이(410) 상에 디스플레이되는 선의 좌표에 대응하는 선의 높이에 기반하여 사용자의 키를 측정할 수 있다. 전자 장치(400)는 사용자의 키를 측정하는 동안, 비쥬얼 오브젝트(534, 535)를 팔의 움직임에 대응하도록 이동하는 동작을 디스플레이(410) 상에 디스플레이할 수 있다. 디스플레이(410)는 사용자의 반사 이미지(531)가 표시되면서, 비쥬얼 오브젝트(534, 535)를 디스플레이할 수 있다.5G is a diagram illustrating an example in which the electronic device 400 measures a user's height. Referring to FIG. 5G, the electronic device 400 includes a voice (for example, stop approaching when the line 537 is positioned at the end of the head) or video that induces a gesture for measuring the user's height included in the first content. Content can be output. The electronic device 400 may detect a motion approaching the user and measure a distance between the user and the display 410. The electronic device 400 may measure the height of the user based on the distance between the user and the display and the height of the line corresponding to the coordinates of the line displayed on the display 410. While measuring the user's height, the electronic device 400 may display an operation of moving the visual objects 534 and 535 to correspond to the movement of the arm on the display 410. The display 410 may display the visual objects 534 and 535 while the user's reflection image 531 is displayed.
도 5h는 전자 장치(400)가 사용자의 허리의 위치를 측정하는 실시예를 도시한 도면이다. 도 5h를 참조하면, 전자 장치(400)는 제 1 컨텐츠에 포함된 사용자의 허리의 위치 측정을 위한 제스처를 유도하는 음성(예: 아이템(539)을 무릎 위에 올려 몇초 동안 유지하는 동작을 수행하세요) 또는 영상 컨텐츠를 출력할 수 있다. 디스플레이(410)는 사용자의 반사 이미지(531)가 표시되면서, 아이템(539)을 디스플레이할 수 있다. 디스플레이 상에 디스플레이되는 아이템(539)은 전자 장치(400)가 가상으로 출력하는 정지 이미지 또는 움직임이 가능한 이미지로써, 전자 장치(400)는 아이템(539)의 위치에 기반하여 사용자의 허리의 위치를 측정할 수 있다. 전자 장치(400)는 사용자의 동작을 감지함에 대응하여, 아이템(539)의 위치 정보에 기반하여 사용자의 허리의 위치를 결정할 수 있다. 도 5h는 사용자의 허리의 위치를 측정하는 실시예이나, 도 5h에 기재된 방식을 통해 사용자의 다양한 신체 부분에 대한 위치를 측정할 수 있다.5H is a diagram illustrating an example in which the electronic device 400 measures the position of a user's waist. Referring to FIG. 5H, the electronic device 400 performs an operation of placing an item 539 on the knee and holding it for several seconds with a voice that induces a gesture for measuring the position of the user's waist included in the first content. ) Or video content can be output. The display 410 may display the item 539 while the user's reflection image 531 is displayed. The item 539 displayed on the display is a still image or an image that can be moved virtually output by the electronic device 400, and the electronic device 400 determines the position of the user's waist based on the position of the item 539. Can be measured. In response to detecting the user's motion, the electronic device 400 may determine the location of the user's waist based on the location information of the item 539. 5H is an embodiment of measuring the position of the user's waist, but positions of various body parts of the user may be measured through the method described in FIG. 5H.
도 5i는 전자 장치(400)가 사용자의 이동 반경을 측정하는 실시예를 도시한 도면이다. 도 5i를 참조하면, 전자 장치(400)는 제 1 컨텐츠에 포함된 사용자의 이동 반경을 측정을 위한 제스처를 유도하는 음성(예; 특정 운동 도구(예: 공 또는 아령)를 디스플레이(410) 상의 지정된 위치에 가져다 놓으세요) 또는 영상 컨텐츠를 출력할 수 있다. 디스플레이(410) 상에는 사용자의 반사 이미지(531), 특정 운동 도구의 반사 이미지(541)가 표시될 수 있다. 전자 장치(400)는 특정 운동 도구를 디스플레이(410) 상에 지정된 영역에 비추도록 특정 운동 도구를 이동시키는 사용자 입력을 감지하고, 사용자의 이동 반경을 측정할 수 있다. 전자 장치(400)는 사용자의 이동 반경에 기반하여 디스플레이될 제 2 컨텐츠를 결정할 수 있다.5I is a diagram illustrating an example in which the electronic device 400 measures a moving radius of a user. Referring to FIG. 5I, the electronic device 400 displays a voice (eg, a specific exercise tool (eg, ball or dumbbell)) on the display 410 for inducing a gesture for measuring a moving radius of a user included in the first content. Place it in a designated location) or output video content. A reflection image 531 of a user and a reflection image 541 of a specific exercise tool may be displayed on the display 410. The electronic device 400 may detect a user input for moving a specific exercise tool to illuminate a specific exercise tool on a designated area on the display 410 and measure a moving radius of the user. The electronic device 400 may determine the second content to be displayed based on the user's moving radius.
도 6a 및 도 6b는 본 발명의 다양한 실시예에 따른 전자 장치에서, 제 1 컨텐츠 및 비쥬얼 오브젝트를 디스플레이하는 실시예를 도시한 도면이다.6A and 6B are diagrams illustrating an embodiment of displaying a first content and a visual object in an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 4의 전자 장치(400))(또는, 프로세서(예: 도 4의 프로세서(420))는 외부 객체의 특정 부분에 대응하는 디스플레이(예: 도 4의 디스플레이(410)) 상에 적어도 하나 이상의 비쥬얼 오브젝트를 디스플레이할 수 있다. 비쥬얼 오브젝트의 위치 정보는 전자 장치(400)가 외부 객체(예: 사람)의 적어도 하나의 영역(예: 신체 부분)의 반사 이미지의 위치를 획득하는 동작에 이용될 수 있다. 전자 장치(400)는, 외부 객체의 일부분의 반사 이미지의 위치가 비쥬얼 오브젝트의 디스플레이(420) 상의 위치와 일치함을 확인함에 대응하여, 외부 객체의 일부분의 반사 이미지의 위치가 비쥬얼 오브젝트의 위치에 해당함을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(400)는 외부 객체의 일부분의 반사 이미지의 위치가 비쥬얼 오브젝트의 디스플레이(420) 상의 위치와 일치함을 지시하는 사용자 입력(예: 음성 입력, 제스처 입력)을 수신 여부에 따라 외부 객체의 일부분의 반사 이미지의 위치가 비쥬얼 오브젝트의 디스플레이(420) 상의 위치와 일치하는지 여부를 확인할 수 있다.According to various embodiments of the present disclosure, an electronic device (eg, the electronic device 400 of FIG. 4) (or a processor (eg, the processor 420 of FIG. 4 )) is a display corresponding to a specific part of an external object (eg, the electronic device 400 of FIG. 4 ). : At least one visual object may be displayed on the display 410 of Fig. 4. The location information of the visual object includes at least one area (eg, a body) of an external object (eg, a person). The electronic device 400 responds to confirming that the position of the reflection image of the part of the external object matches the position on the display 420 of the visual object. Accordingly, it may be determined that the position of the reflection image of a part of the external object corresponds to the position of the visual object. 420) Whether the position of the reflection image of a part of the external object coincides with the position on the display 420 of the visual object according to whether a user input (eg, voice input, gesture input) indicating that the position on the image is identical is received. I can confirm.
도 6a는 사용자의 신체의 일부분(예: 머리, 어깨, 무릎 또는 발)의 반사 이미지의 위치를 확인하기 위해 비쥬얼 오브젝트를 디스플레이하는 실시예를 도시한 도면이다.6A is a diagram illustrating an embodiment of displaying a visual object to check a position of a reflection image of a part of a user's body (eg, head, shoulders, knees, or feet).
도 6a를 참조하면, 전자 장치(400)는 비쥬얼 오브젝트(621)를 이용하여 사용자의 신체의 일부분의 반사 이미지(610)의 위치를 확인할 수 있다. 비쥬얼 오브젝트(621)는 이동 가능한 이미지로, 도 6a에서는 수직 방향으로 이동할 수 있다. 전자 장치(400)는 음성 컨텐츠(예: 머리, 어깨, 무릎 또는 발에 그림이 도착하면 손을 움직여 주세요) 및 비쥬얼 오브젝트를 포함하는 제 1 컨텐츠를 출력할 수 있다. 전자 장치(400)는 사용자의 제스처를 수신하기 위해 카메라(예: 도 4의 카메라(430))를 활성화한 상태일 수 있다.Referring to FIG. 6A, the electronic device 400 may check a location of a reflection image 610 of a part of a user's body using a visual object 621. The visual object 621 is a movable image, and in FIG. 6A, it can be moved in a vertical direction. The electronic device 400 may output first content including audio content (eg, move your hand when a picture arrives on your head, shoulders, knees, or feet) and a visual object. The electronic device 400 may be in a state in which a camera (eg, the camera 430 of FIG. 4) is activated to receive a user's gesture.
도 6a의 (1)을 참조하면, 전자 장치(400)는 카메라(430)를 이용하여 사용자 제스처(예: 비쥬얼 오브젝트(621)가 머리에 도달할 때의 사용자 제스처)를 감지할 수 있다. 전자 장치(400)는 사용자 제스처를 수신한 시간에 대응하는 비쥬얼 오브젝트(421)의 위치(또는, 좌표)에 기반하여 사용자의 머리의 반사 이미지의 위치를 결정할 수 있다.Referring to (1) of FIG. 6A, the electronic device 400 may detect a user gesture (eg, a user gesture when the visual object 621 reaches the head) using the camera 430. The electronic device 400 may determine the location of the reflection image of the user's head based on the location (or coordinates) of the visual object 421 corresponding to the time at which the user gesture is received.
도 6a의 (2)를 참조하면, 전자 장치(400)는 카메라(430)를 이용하여 사용자 제스처(예: 비쥬얼 오브젝트(621)가 어깨에 도달할 때의 사용자 제스처)를 감지할 수 있다. 전자 장치(400)는 사용자 제스처를 수신한 시간에 대응하는 비쥬얼 오브젝트(421)의 위치(또는, 좌표)에 기반하여 사용자의 어깨의 반사 이미지의 위치를 결정할 수 있다.Referring to (2) of FIG. 6A, the electronic device 400 may detect a user gesture (eg, a user gesture when the visual object 621 reaches a shoulder) using the camera 430. The electronic device 400 may determine the location of the reflection image of the user's shoulder based on the location (or coordinates) of the visual object 421 corresponding to the time at which the user gesture is received.
도 6a의 (3)를 참조하면, 전자 장치(400)는 카메라(430)를 이용하여 사용자 제스처(예: 비쥬얼 오브젝트(621)가 무릎에 도달할 때의 사용자 제스처)를 감지할 수 있다. 전자 장치(400)는 사용자 제스처를 수신한 시간에 대응하는 비쥬얼 오브젝트(421)의 위치(또는, 좌표)에 기반하여 사용자의 무릎의 반사 이미지의 위치를 결정할 수 있다.Referring to (3) of FIG. 6A, the electronic device 400 may detect a user gesture (eg, a user gesture when the visual object 621 reaches a knee) using the camera 430. The electronic device 400 may determine the location of the reflection image of the user's knee based on the location (or coordinates) of the visual object 421 corresponding to the time at which the user gesture is received.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여 사용자 이외의 다른 외부 객체(예: 운동 기구)가 존재하는지 여부 및 다른 외부 객체의 종류(예: 아령, 공)를 확인할 수 있다. 전자 장치(400)는 외부 객체의 식별 결과에 기반하여 비쥬얼 오브젝트의 특성을 변경할 수 있다. 비쥬얼 오브젝트의 특성은 비쥬얼 오브젝트의 크기, 모양을 포함할 수 있다. According to various embodiments of the present disclosure, the electronic device 400 is based on a result of analyzing an image acquired using the camera 430 while displaying the first content. ), and the type of other external objects (eg, dumbbells, balls) can be checked. The electronic device 400 may change the characteristics of the visual object based on the identification result of the external object. The characteristics of the visual object may include the size and shape of the visual object.
도 6b의 (1)을 참조하면, 전자 장치(400)는 사용자의 신체의 특성(예; 사용자의 키, 사용자의 이동 반경)을 측정하기 위한 비쥬얼 오브젝트(630)를 포함하는 제 1 컨텐츠를 디스플레이할 수 있다. 디스플레이(410) 상에는 비쥬얼 오브젝트(630) 및 사용자의 반사 이미지(631)가 표시될 수 있다. 전자 장치(400)는 제 1 컨텐츠를 디스플레이하는 동안, 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여 사용자 이외의 다른 외부 객체(예: 공)를 식별하고, 비쥬얼 오브젝트(630)의 특성을 변경할 수 있다. Referring to (1) of FIG. 6B, the electronic device 400 displays first content including a visual object 630 for measuring a user's body characteristics (eg, a user's height, a user's moving radius). can do. A visual object 630 and a reflection image 631 of a user may be displayed on the display 410. While displaying the first content, the electronic device 400 identifies an external object (for example, a ball) other than the user based on the result of analyzing the image acquired using the camera 430, and identifies the visual object 630 )'S characteristics can be changed.
도 6b의 (2)를 참조하면, 전자 장치(400)는 다른 외부 객체를 식별함에 대응하여, 기존에 디스플레이되던 비쥬얼 오브젝트(630)의 특성(예: 크기, 모양)이 변경된 비쥬얼 오브젝트(640)를 디스플레이할 수 있다. 디스플레이(410) 상에는 비쥬얼 오브젝트(640), 사용자의 반사 이미지(633) 및 다른 외부 객체의 반사 이미지(635)가 표시될 수 있다.Referring to (2) of FIG. 6B, in response to identifying other external objects, the electronic device 400 has a visual object 640 whose characteristics (eg, size, shape) of the visual object 630 that has been displayed have been changed. Can be displayed. A visual object 640, a reflection image 633 of a user, and a reflection image 635 of another external object may be displayed on the display 410.
도 7a, 도 7b, 도 7c 및 도 7d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보를 추가로 획득하는 실시예를 도시한 도면이다.7A, 7B, 7C, and 7D are diagrams illustrating an embodiment of additionally obtaining body information of a user in an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 4의 전자 장치(400))는 제 1 컨텐츠를 디스플레이하는 동안, 외부 객체(예: 도 5a의 외부 객체(511))의 특성을 획득할 수 있다. 예를 들어, 외부 객체(511)가 사용자에 해당하는 경우, 외부 객체(511)의 특성은 사용자의 키, 사용자의 팔의 활동 반경, 사용자의 무릎의 위치를 포함할 수 있다. 이하에서 서술되는 실시예는 외부 객체(511)가 사용자의 신체임을 가정하고 서술한다. According to various embodiments of the present disclosure, an electronic device (eg, the electronic device 400 of FIG. 4) acquires characteristics of an external object (eg, the external object 511 of FIG. 5A) while displaying the first content. can do. For example, when the external object 511 corresponds to a user, the characteristics of the external object 511 may include the user's height, the user's arm activity radius, and the user's knee position. The embodiments described below assume that the external object 511 is the user's body.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 사용자(511)의 일부분에 대한 특성의 정확도가 미리 설정된 값 이하임을 확인할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may determine that the accuracy of a characteristic of a part of the user 511 is equal to or less than a preset value.
도 7a는 전자 장치(400)가 외부 객체(511)의 특성을 확인한 결과를 도시한 도면으로, 전자 장치(400)는 사용자의 신체 중 일부 영역(예: 사용자의 다리, 손목, 허리, 배)(711)의 특성을 확인했으나, 사용자의 신체 중 다른 일부 영역(예: 사용자의 팔뚝, 겨드랑이 부분)(715) 또는 사용자의 팔의 이동 반경(713)의 특성을 확인하지 못했거나, 팔의 이동 반경(713) 또는 다른 일부 영역(715)의 확인된 특성의 정확도가 미리 설정된 값 이하임을 확인할 수 있다. 도 7a에 도시된 화면은 디스플레이(410) 상에 디스플레이되는 것으로 도시하고 있으나, 사용자의 신체의 특성을 확인한 결과를 포함하는 화면은 디스플레이(410) 상에 디스플레이되지 않을 수도 있다.7A is a diagram showing a result of the electronic device 400 checking the characteristics of the external object 511, and the electronic device 400 is a partial area of the user's body (eg, the user's leg, wrist, waist, stomach) Although the characteristics of (711) were checked, other parts of the user's body (e.g., the user's forearm, armpit) 715 or the characteristics of the user's arm movement radius 713 were not confirmed, or the movement of the arm It can be seen that the accuracy of the confirmed characteristic of the radius 713 or other partial region 715 is less than or equal to a preset value. Although the screen shown in FIG. 7A is shown to be displayed on the display 410, the screen including the result of checking the characteristics of the user's body may not be displayed on the display 410.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 사용자(511)의 일부분(713, 715)에 대한 특성의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 외부 객체의 일부 영역의 특성의 정확도를 높이기 위한 추가 컨텐츠인 제 3 컨텐츠를 제공할 수 있다. 제 3 컨텐츠는 외부 객체의 일부 영역의 특성을 획득하기 위한 컨텐츠일 수 있다. According to various embodiments of the present disclosure, in response to confirming that the accuracy of the characteristics of the portions 713 and 715 of the user 511 is less than or equal to a preset value, the electronic device 400 Third content, which is additional content for increasing accuracy, may be provided. The third content may be content for acquiring characteristics of a partial area of an external object.
도 7b를 참조하면, 전자 장치(400)는 제 3 컨텐츠를 제공하기 위한 화면(721)을 디스플레이(410) 상에 디스플레이할 수 있다.Referring to FIG. 7B, the electronic device 400 may display a screen 721 for providing third content on the display 410.
도 7c를 참조하면, 전자 장치(400)는 팔 부분에 대한 준비 운동이 포함된 제 3 컨텐츠를 디스플레이(410) 상에 디스플레이할 수 있다. 전자 장치(400)는 사용자의 팔 부분에 대한 측정을 위한 제스처를 유도하는 음성(예: 팔을 위아래로 흔들어봐요) 또는 영상 컨텐츠를 출력할 수 있다. 전자 장치(400)는 왼쪽 팔을 움직이는 사용자 입력(731) 또는 오른쪽 팔을 움직이는 사용자 입력(733)을 감지하고, 사용자 입력(731, 733)에 기반하여 사용자의 팔의 반경을 확인할 수 있다. 전자 장치(400)는 팔의 반경을 확인하는 동안, 비쥬얼 오브젝트(735, 737)를 팔의 움직임에 대응하도록 이동하는 동작을 디스플레이(410) 상에 디스플레이할 수 있다. 비쥬얼 오브젝트(735, 737)는 사용자의 반사 이미지(739)와 함께 디스플레이(410) 상에 표시될 수 있다.Referring to FIG. 7C, the electronic device 400 may display third content including a warm-up exercise for an arm on the display 410. The electronic device 400 may output voice (eg, shake your arm up or down) or video content that induces a gesture for measuring a user's arm. The electronic device 400 may detect the user input 731 moving the left arm or the user input 733 moving the right arm, and check the radius of the user's arm based on the user inputs 731 and 733. While checking the radius of the arm, the electronic device 400 may display an operation of moving the visual objects 735 and 737 to correspond to the movement of the arm on the display 410. The visual objects 735 and 737 may be displayed on the display 410 together with the user's reflection image 739.
도 7d를 참조하면, 전자 장치(400)는 팔 부분의 특성 또는 팔의 이동 반경을 측정함을 완료함에 대응하여, 준비 운동이 종료됨을 지시하는 인디케이터(741)를 디스플레이(410) 상에 디스플레이할 수 있다. Referring to FIG. 7D, the electronic device 400 displays on the display 410 an indicator 741 indicating the end of the warm-up exercise in response to the completion of measuring the characteristics of the arm portion or the moving radius of the arm. I can.
도 8a, 도 8b 및 도 8c는 본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보에 기반하여 디스플레이될 제 2 컨텐츠를 도시한 도면이다.8A, 8B, and 8C are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 4의 전자 장치(400))의 메모리(예: 도 1의 메모리(130)) 상에는 복수의 제 2 컨텐츠들이 저장될 수 있다. 메모리에 저장된 제 2 컨텐츠들은 외부 전자 장치(예: 도 1의 서버(108), 도 1의 전자 장치(104)))로부터 수신하거나, 전자 장치(400)의 제조 당시에 미리 저장될 수 있다. 저장된 제 2 컨텐츠들 각각은 선택을 위한 메타 데이터가 포함될 수 있다. 메타 데이터는 제 2 컨텐츠에 포함된 가이드 음성의 특성(예: 부드러운 음성), 제 2 컨텐츠에 포함된 배경 음악의 특성, 제 2 컨텐츠에 포함된 운동의 특성(예: 운동 난이도, 운동 속도, 운동 횟수), 운동 도구가 요구되는지 지시하는 인디케이터, 필요한 운동 도구 중 적어도 하나 이상의 정보가 포함될 수 있다. 전자 장치(400)는 사용자의 신체 정보를 확인하고, 사용자의 신체 정보 및 메타 데이터에 기반하여 디스플레이될 제 2 컨텐츠를 선택 또는 결정할 수 있다. 예를 들면, 전자 장치(400)는 사용자의 신체 정보에 기반하여 사용자의 키가 미리 설정된 값(예: 130cm) 이하(또는, 미만)임을 확인함에 대응하여, 어린이들이 사용 가능한 제 2 컨텐츠를 제공할 수 있다. 다른 예를 들면, 전자 장치(400)는 사용자의 신체 정보에 기반하여 사용자의 나이가 미리 설정된 값(예: 65세) 이상임을 확인함에 대응하여, 노인이 사용 가능한 제 2 컨텐츠를 제공할 수 있다. 또 다른 예를 들면, 전자 장치(400)는 사용자의 신체 정보(예: 강한 근력을 가짐)를 확인하고, 신체 정보에 대응하는 제 2 컨텐츠(예: 상대적으로 무거운 운동 기구(덤벨)를 이용한 운동이 포함된 컨텐츠)를 선택할 수 있다. 또 다른 예를 들면, 전자 장치(400)는 사용자의 신체 정보(예: 약한 근력을 가짐)를 확인하고, 신체 정보에 대응하는 제 2 컨텐츠(예: 상대적으로 가벼운 운동 기구(폼-롤러)를 이용한 운동이 포함된 컨텐츠)를 선택할 수 있다.According to various embodiments of the present disclosure, a plurality of second contents may be stored on a memory (eg, the memory 130 of FIG. 1) of an electronic device (eg, the electronic device 400 of FIG. 4 ). The second content stored in the memory may be received from an external electronic device (eg, the server 108 of FIG. 1 or the electronic device 104 of FIG. 1 ), or may be stored in advance at the time of manufacture of the electronic device 400. Each of the stored second contents may include metadata for selection. Meta data includes the characteristics of the guide voice included in the second content (eg, soft voice), the properties of the background music included in the second content, and the characteristics of the movement included in the second content (eg, exercise difficulty, exercise speed, exercise). Number), an indicator indicating whether an exercise tool is required, and information of at least one of a necessary exercise tool may be included. The electronic device 400 may check the user's body information, and select or determine the second content to be displayed based on the user's body information and metadata. For example, in response to confirming that the user's height is less than (or less than) a preset value (eg, 130cm) based on the user's body information, the electronic device 400 provides second content that can be used by children. can do. For another example, in response to confirming that the user's age is equal to or greater than a preset value (eg, 65 years old) based on the user's body information, the electronic device 400 may provide second content that can be used by the elderly. . As another example, the electronic device 400 checks the user's body information (eg, having strong muscle strength), and second content corresponding to the body information (eg, exercise using a relatively heavy exercise device (dumbell)). Content) can be selected. As another example, the electronic device 400 checks the user's body information (eg, having weak muscle strength), and provides second content corresponding to the body information (eg, a relatively light exercise device (foam-roller)). Contents including the exercise used) can be selected.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 선택된 제 2 컨텐츠를 디스플레이(410) 상에 디스플레이할 수 있다. According to various embodiments of the present disclosure, the electronic device 400 may display the selected second content on the display 410.
도 8a는 제 2 컨텐츠가 디스플레이(410) 상에 디스플레이되는 실시예를 도시한 도면으로, 제 2 컨텐츠는 사용자가 운동 도구(예: 공)을 가지고 하는 운동을 가이드하는 컨텐츠를 의미할 수 있다. 제 2 컨텐츠는 사용자의 운동 상태와 관련된 데이터를 디스플레이하는 영역(811), 사용자의 운동과 관련된 영상을 디스플레이하는 영역(813), 사용자의 운동과 관련된 시각 가이드(817)를 포함할 수 있다.FIG. 8A is a diagram illustrating an embodiment in which second content is displayed on the display 410, and the second content may refer to content that guides an exercise performed by a user with an exercise tool (eg, a ball). The second content may include an area 811 displaying data related to the user's exercise state, an area 813 displaying an image related to the user's exercise, and a visual guide 817 related to the user's exercise.
본 발명의 다양한 실시예에 따르면, 시각 가이드(817)는 증강 현실 형태로 구현될 수 있고, 시각 가이드(817)는 사용자의 반사 이미지(815) 상에 오버레이되어 디스플레이될 수 있다.According to various embodiments of the present disclosure, the visual guide 817 may be implemented in the form of an augmented reality, and the visual guide 817 may be overlaid and displayed on the reflection image 815 of the user.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 제 2 컨텐츠를 제공함에 있어, 사용자의 신체 정보에 기반하여 제 2 컨텐츠을 구성하는 구성 요소들의 레이아웃을 변경할 수 있다. 전자 장치(400)는 사용자의 운동 상태와 관련된 데이터를 디스플레이하는 영역(811), 사용자의 운동과 관련된 영상을 디스플레이하는 영역(813)이 사용자의 반사 이미지와 겹치지 않도록 영역들(811, 813)의 위치를 변경하거나, 크기를 변경하는 방식으로 구성 요소들의 레이아웃을 변경할 수 있다.According to various embodiments of the present disclosure, in providing the second content, the electronic device 400 may change the layout of elements constituting the second content based on the user's body information. The electronic device 400 includes an area 811 displaying data related to a user's exercise state and an area 813 displaying an image related to the user’s exercise. You can change the layout of the components by changing their position or size.
도 8b는 제 2 컨텐츠가 디스플레이(410) 상에 디스플레이되는 실시예를 도시한 도면이다.8B is a diagram illustrating an embodiment in which second content is displayed on the display 410.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 운동 도구(예: 공)의 이동과 관련된 가이드(817)를 디스플레이(410) 상에 디스플레이 할 수 있다. 디스플레이(410)는 사용자의 반사 이미지(815), 운동 도구의 반사 이미지(819) 및 가이드(817)를 표시할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may display a guide 817 related to movement of an exercise tool (eg, a ball) on the display 410. The display 410 may display a reflection image 815 of a user, a reflection image 819 of an exercise tool, and a guide 817.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 운동 도구의 움직임을 추적하고, 운동 도구의 움직임에 대한 특성(예: 운동 도구의 움직임이 가이드(817)와 일치하는 정도, 운동 종류, 운동 도구의 이동 거리, 운동 도구의 이동 속도 또는 운동 도구의 종류)에 기반하여 사용자의 운동과 관련된 점수를 계산할 수 있다. 운동과 관련된 점수는 사용자가 운동에 포함된 복수의 동작들 중 하나의 동작을 수행할 때마다 측정될 수 있다. 계산된 점수는 사용자의 운동 상태와 관련된 데이터를 디스플레이하는 영역(811) 상에 디스플레이될 수 있다.According to various embodiments of the present disclosure, the electronic device 400 tracks the movement of an exercise tool using the camera 430, and characteristics of the movement of the exercise tool (for example, the movement of the exercise tool corresponds to the guide 817). A score related to the user's exercise may be calculated based on the degree of matching, the type of exercise, the movement distance of the exercise tool, the movement speed of the exercise tool, or the type of exercise tool. The exercise-related score may be measured each time a user performs one of a plurality of movements included in the exercise. The calculated score may be displayed on the area 811 displaying data related to the user's exercise state.
도 8c는 도 8b에 도시된 다른 제 2 컨텐츠가 디스플레이(410) 상에 디스플레이되는 실시예를 도시한 도면이다.FIG. 8C is a diagram illustrating an embodiment in which another second content shown in FIG. 8B is displayed on the display 410.
본 발명의 다양한 실시예에 따르면, 제 2 컨텐츠는 사용자의 운동 상태와 관련된 데이터를 디스플레이하는 영역(811), 사용자의 운동과 관련된 영상을 디스플레이하는 영역(813), 사용자의 운동과 관련된 시각 가이드(821)를 포함할 수 있다.According to various embodiments of the present disclosure, the second content includes an area 811 displaying data related to a user's exercise state, an area 813 displaying an image related to a user's exercise, and a visual guide related to the user's exercise ( 821).
본 발명의 다양한 실시예에 따르면, 사용자의 운동과 관련된 시각 가이드(821)는 사용자가 운동을 수행하면서 발생하는 사용자 또는 운동 도구의 이동의 예상 경로를 시각적으로 표시(예: 점선, 실선, 면 또는 애니메이션 형태)한 가이드를 의미할 수 있다. 전자 장치(400)는 제 1 컨텐츠를 디스플레이하는 동안 획득한 사용자의 신체 정보에 기반하여 시각 가이드(821)의 위치 또는 크기를 조절할 수 있다. According to various embodiments of the present invention, the visual guide 821 related to the user's exercise visually displays the expected path of the movement of the user or exercise tool that occurs while the user performs the exercise (eg, dotted line, solid line, plane, or Animation type) can mean a guide. The electronic device 400 may adjust the position or size of the visual guide 821 based on the user's body information acquired while displaying the first content.
도 8c에 도시된 시각 가이드(821)는 사용자가 팔을 이용한 스트레칭을 수행하면서 발생하는 사용자의 이동 경로를 도시하고 있다. 전자 장치(400)는 제 1 컨텐츠를 디스플레이하는 동안 획득한 사용자의 이동 반경에 기반하여 시각 가이드(821)의 길이를 설정할 수 있다.The visual guide 821 shown in FIG. 8C shows a moving path of the user that occurs while the user performs stretching using an arm. The electronic device 400 may set the length of the visual guide 821 based on the moving radius of the user acquired while displaying the first content.
도 9a, 도 9b, 도 9c 및 도 9d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 사용자의 신체 정보에 기반하여 디스플레이될 제 2 컨텐츠를 도시한 도면이다. 9A, 9B, 9C, and 9D are diagrams illustrating second content to be displayed based on user's body information in an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 제 2 컨텐츠는 사용자의 운동 상태와 관련된 데이터를 디스플레이하는 영역(예: 도 8a의 811), 사용자의 운동과 관련된 영상을 디스플레이하는 영역(예: 도 8a의 813), 사용자의 운동과 관련된 시각 가이드(예; 도 8a의 817)를 포함할 수 있다.According to various embodiments of the present disclosure, the second content includes an area displaying data related to the user's exercise state (eg, 811 in FIG. 8A), and an area displaying an image related to the user’s exercise (eg, 813 in FIG. 8A). ), a visual guide related to the user's exercise (eg, 817 of FIG. 8A ).
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 획득한 사용자의 신체 정보 및/또는 전자 장치(400)와 연결된 다른 전자 장치(104, 108)로부터 수신한 사용자의 신체 정보에 기반하여 운동 목표 및 운동과 관련된 시각 가이드를 생성할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 displays body information of a user acquired using the camera 430 while displaying the first content and/or other electronic device 104 connected to the electronic device 400. , Based on the user's body information received from (108), an exercise goal and a visual guide related to the exercise may be generated.
도 9a는 제 2 컨텐츠에 포함된 사용자의 운동 상태와 관련된 데이터(예: 도 8a의 811)를 도시한 도면이다.9A is a diagram illustrating data related to an exercise state of a user included in second content (eg, 811 in FIG. 8A ).
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 사용자의 신체 정보 및/또는 전자 장치(400)와 연결된 다른 전자 장치(104, 108)로부터 수신한 사용자의 신체 정보에 기반하여 운동 목표를 설정할 수 있다. 사용자의 신체 정보를 고려한 운동 목표를 설정함으로써, 사용자마다 서로 다른 운동 목표가 설정될 수 있다. 운동 목표는 운동 도구의 움직임이 가이드(817)와 일치하는 정도, 운동 종류, 운동 도구의 이동 거리, 운동 도구의 이동 속도, 운동 도구의 종류 중 적어도 하나 이상에 따라서 사용자의 운동과 관련된 목표 점수, 운동을 통해 사용자가 소비하는 칼로리와 관련된 목표 칼로리, 사용자가 운동을 하는 시간과 관련된 목표 운동 시간 및 사용자가 운동을 수행할 때 측정된 사용자의 심박수와 관련된 목표 심박수 중 적어도 하나 이상을 포함할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 includes body information of a user acquired using the camera 430 and/or a user received from other electronic devices 104 and 108 connected to the electronic device 400. You can set an exercise goal based on your body information. By setting an exercise target in consideration of the user's body information, different exercise targets may be set for each user. The exercise target is a target score related to the user's exercise according to at least one or more of the degree to which the movement of the exercise tool coincides with the guide 817, the type of exercise, the movement distance of the exercise tool, the movement speed of the exercise tool, and the type of exercise tool, It may include at least one or more of a target calorie related to calories consumed by the user through exercise, a target exercise time related to a time when the user exercised, and a target heart rate related to the user's heart rate measured when the user performs an exercise. .
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 운동 목표 및 운동 상태와 관련된 정보를 운동 상태와 관련된 데이터를 디스플레이하는 영역(811) 상에 디스플레이할 수 있다. 도 9a를 참조하면, 운동 상태와 관련된 데이터를 디스플레이하는 영역(811)은 사용자의 운동 점수 및 목표 점수를 디스플레이하는 점수 영역(901), 사용자가 실제로 소비한 칼로리 및 목표 칼로리를 디스플레이하는 칼로리 영역(903), 사용자가 실제로 운동한 운동 시간 및 목표 운동 시간을 디스플레이하는 운동 시간 영역(905) 및 사용자의 심박수 및 목표 심박수를 디스플레이하는 심박수 영역(907) 중 적어도 하나 이상을 포함할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may display information related to an exercise goal and an exercise state on an area 811 displaying data related to an exercise state. Referring to FIG. 9A, an area 811 displaying data related to an exercise state includes a score area 901 displaying a user's exercise score and a target score, and a calorie area displaying calories actually consumed and target calories by the user ( 903), an exercise time region 905 displaying an exercise time and a target exercise time actually exercised by the user, and a heart rate region 907 displaying the user's heart rate and target heart rate may be included.
도 9b 및 도 9c는 제 2 컨텐츠에 포함된 운동과 관련된 시각 가이드를 도시한 도면이다. 9B and 9C are diagrams illustrating a visual guide related to exercise included in the second content.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 사용자의 신체 정보 및/또는 전자 장치(400)와 연결된 다른 전자 장치(104, 108)로부터 수신한 사용자의 신체 정보에 기반하여 시각 가이드를 생성할 수 있다. 시각 가이드는 운동 동작 별 사용자의 신체 정보를 고려하여 적정 자세 및 이동 범위를 포함할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 includes body information of a user acquired using the camera 430 and/or a user received from other electronic devices 104 and 108 connected to the electronic device 400. It is possible to create a visual guide based on the body information. The visual guide may include an appropriate posture and movement range in consideration of the user's body information for each exercise operation.
본 발명의 다양한 실시예에 따르면, 시각 가이드는 사용자의 신체 정보에 기반하여 생성되는 적어도 하나 이상의 운동 기준점을 포함할 수 있다. 운동 기준점은 기준점에 대응하는 사용자의 신체 부분의 위치 또는 자세를 표시하는 인디케이터를 의미할 수 있다. 일 실시예에 따르면, 시각 가이드는 적어도 하나 이상의 운동 기준점들을 연결한 선으로 구현될 수 있다.According to various embodiments of the present disclosure, the visual guide may include at least one exercise reference point generated based on the user's body information. The exercise reference point may mean an indicator that displays the position or posture of the user's body part corresponding to the reference point. According to an embodiment, the visual guide may be implemented as a line connecting at least one or more exercise reference points.
도 9b를 참조하면, 전자 장치(400)는 디스플레이(410) 상에 특정 사용자에게 제공되는 시각 가이드(911)를 디스플레이할 수 있다. 디스플레이(410) 상에는 시각 가이드(911) 및 사용자의 반사 이미지(912)가 같이 표시될 수 있다. Referring to FIG. 9B, the electronic device 400 may display a visual guide 911 provided to a specific user on the display 410. The visual guide 911 and the user's reflection image 912 may be displayed together on the display 410.
도 9c를 참조하면, 전자 장치(400)는 디스플레이(410) 상에 다른 사용자에게 제공되는 시각 가이드(913)를 디스플레이할 수 있다. 디스플레이(410)는, 사용자의 반사 이미지(914)가 표시되면서, 시각 가이드(913)를 디스플레이할 수 있다. Referring to FIG. 9C, the electronic device 400 may display a visual guide 913 provided to another user on the display 410. The display 410 may display the visual guide 913 while the user's reflection image 914 is displayed.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 사용자의 신체 정보에 기반하여 시각 가이드를 생성 및 디스플레이함으로써, 사용자마다 서로 다른 시각 가이드가 생성 및 디스플레이될 수 있다. 예를 들면, 특정 사용자가 다른 사용자들에 비해 상대적으로 운동 능력이 좋은 경우, 전자 장치(400)는 특정 사용자에게 제공되는 시각 가이드는 다른 사용자에게 제공되는 시각 가이드에 비해 상대적으로 높은 기준(예: 운동 자세, 운동 속도, 동작 범위)을 가질 수 있다. According to various embodiments of the present disclosure, by generating and displaying a visual guide based on the user's body information, the electronic device 400 may generate and display different visual guides for each user. For example, when a specific user has relatively good athletic ability compared to other users, the electronic device 400 provides a visual guide provided to a specific user with a relatively high standard (eg: Movement posture, movement speed, movement range).
도 9b에 도시된 시각 가이드(912)는 도 9c에 도시된 시각 가이드(913)에 비해 상대적으로 높은 기준을 가짐을 확인할 수 있다.It can be seen that the visual guide 912 illustrated in FIG. 9B has a relatively higher standard than the visual guide 913 illustrated in FIG. 9C.
도 9d는 본 발명의 다양한 실시예에 따른 전자 장치(400)가 디스플레이(410) 상에 디스플레이하는 가이드 정보를 도시한 도면이다.9D is a diagram illustrating guide information displayed on the display 410 by the electronic device 400 according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 사용자에 신체 정보에 기반하여 생성되는 적어도 하나 이상의 운동 기준점(924, 925, 926, 927, 928, 929, 930)을 포함하는 운동 가이드(930)를 사용자의 신체 정보에 기반하여 생성할 수 있다. 운동 기준점(924, 925, 926, 927, 928, 929, 930)은 운동 기준점에 대응하는 사용자의 신체 부분의 위치 또는 자세를 표시하는 인디케이터를 의미할 수 있다. 일 실시예에 따르면, 시각 가이드(930)는 적어도 하나 이상의 운동 기준점들(924, 925, 926, 927, 928, 929, 930)을 연결한 선으로 구현될 수 있다.According to various embodiments of the present disclosure, the electronic device 400 includes an exercise guide including at least one exercise reference point 924, 925, 926, 927, 928, 929, 930 that is generated based on body information to the user. 930) may be generated based on the user's body information. The exercise reference points 924, 925, 926, 927, 928, 929, and 930 may refer to an indicator that displays the position or posture of the user's body part corresponding to the exercise reference point. According to an embodiment, the visual guide 930 may be implemented as a line connecting at least one or more exercise reference points 924, 925, 926, 927, 928, 929, and 930.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 수집한 영상에 기반하여 운동 기준점들(924, 925, 926, 927, 928, 929, 930) 중 사용자의 신체의 위치와 일치하는 운동 기준점들의 개수에 기반하여 사용자의 운동 점수를 결정할 수 있다. 전자 장치(400)는 운동의 난이도에 따라 운동 기준점들의 개수를 조절할 수 있다. 예를 들면, 전자 장치(400)는 같은 동작이라도 운동의 난이도를 높일수록 운동 기준점들의 개수를 증가시킬 수 있다.According to various embodiments of the present disclosure, the electronic device 400 includes a user's body among exercise reference points 924, 925, 926, 927, 928, 929, and 930 based on an image collected using the camera 430. The user's exercise score may be determined based on the number of exercise reference points that match the position of. The electronic device 400 may adjust the number of exercise reference points according to the difficulty of the exercise. For example, even in the same motion, the electronic device 400 may increase the number of exercise reference points as the difficulty of the exercise increases.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 사용자의 운동과 관련된 영상(921)을 운동 가이드(930)와 함께 디스플레이할 수 있다. 디스플레이(410)는, 사용자의 반사 이미지가 표시되면서, 운동 가이드(930)를 사용자의 반사 이미지가 표시된 영역에 디스플레이할 수 있어, 사용자는 운동 가이드(930) 및 반사 이미지를 동시에 확인하면서, 운동을 수행할 수 있다. According to various embodiments of the present disclosure, the electronic device 400 may display an image 921 related to a user's exercise together with the exercise guide 930. The display 410 can display the exercise guide 930 in the area where the user's reflection image is displayed while the user's reflection image is displayed, so that the user can exercise while simultaneously checking the exercise guide 930 and the reflection image. You can do it.
도 10a, 도 10b, 도 10c 및 도 10d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 다른 외부 객체를 식별한 결과에 기반하여 디스플레이될 제 2 컨텐츠를 도시한 도면이다.10A, 10B, 10C, and 10D are diagrams illustrating second content to be displayed based on a result of identifying another external object in an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 4의 전자 장치(400))는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여 다른 외부 객체가 존재하는지 여부 및 외부 객체의 종류를 확인할 수 있다. 다른 외부 객체는 사용자가 구비한 운동 기구(예: 폼 롤러, 아령)를 포함할 수 있다. 전자 장치(400)는 외부 객체의 식별 결과에 기반하여 제 2 컨텐츠를 선택 또는 결정할 수 있다. 전자 장치(400)는 특정 외부 객체를 이용할 수 있는 제 2 컨텐츠를 선택하고, 선택된 제 2 컨텐츠를 디스플레이(예: 도 4의 디스플레이(410)) 상에 디스플레이할 수 있다.According to various embodiments of the present disclosure, an electronic device (for example, the electronic device 400 of FIG. 4) may display other external devices based on a result of analyzing an image acquired using the camera 430 while displaying the first content. You can check whether an object exists and the type of external object. Other external objects may include exercise equipment (eg, foam rollers, dumbbells) provided by the user. The electronic device 400 may select or determine the second content based on the identification result of the external object. The electronic device 400 may select second content that can use a specific external object and display the selected second content on a display (eg, the display 410 of FIG. 4 ).
도 10a을 참조하면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여, 공이 존재함을 확인하고, 공을 이용할 수 있는 제 2 컨텐츠를 선택 및 디스플레이할 수 있다.Referring to FIG. 10A, the electronic device 400 confirms that the ball exists, and selects and displays second content that can use the ball, based on the result of analyzing the image acquired using the camera 430. I can.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 공을 이용한 운동과 관련된 공의 이동 지점(1005) 및 공을 이용한 운동과 관련된 신체의 이동 지점을 지시하는 운동 기준점(1007)을 포함하는 시각 가이드를 디스플레이(410) 상에 디스플레이할 수 있다. 디스플레이(410)는 운동을 수행하는 사용자의 반사 이미지(1001) 및 공의 반사 이미지(1003)가 표시되면서, 시각 가이드를 디스플레이할 수 있다. 전자 장치(400)는 적어도 하나 이상의 운동 기준점(1007) 중 사용자의 신체와 일치하는 운동 기준점의 개수 및 공이 공의 이동 지점(1005)으로 근접한 정도에 기반하여 운동 점수를 계산하고, 운동 점수와 관련된 피드백을 다양한 수단(예: 음성)을 통해 사용자에게 제공할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 includes a movement point 1005 of a ball related to an exercise using a ball and an exercise reference point 1007 indicating a movement point of a body related to an exercise using the ball. A visual guide may be displayed on the display 410. The display 410 may display a visual guide while displaying a reflection image 1001 of a user performing an exercise and a reflection image 1003 of a ball. The electronic device 400 calculates an exercise score based on the number of exercise reference points that match the user's body among at least one exercise reference point 1007 and the degree to which the ball is close to the movement point 1005 of the ball, and is related to the exercise score. Feedback can be provided to the user through a variety of means (eg, voice).
도 10b를 참조하면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여, 아령이 존재함을 확인하고, 아령을 이용할 수 있는 제 2 컨텐츠를 선택 및 디스플레이할 수 있다.Referring to FIG. 10B, the electronic device 400 confirms the existence of a dumbbell based on a result of analyzing an image acquired using the camera 430, and selects and displays a second content that can use the dumbbell. can do.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 아령을 이용한 운동과 관련된 아령의 이동 지점(1015) 및 아령을 이용한 운동과 관련된 신체의 이동 지점을 지시하는 운동 기준점(1017)을 포함하는 시각 가이드를 디스플레이(410) 상에 디스플레이할 수 있다. 디스플레이(410)는 운동을 수행하는 사용자의 반사 이미지(1011) 및 아령의 반사 이미지(1013)가 표시되면서, 시각 가이드를 디스플레이할 수 있다. 전자 장치(400)는 적어도 하나 이상의 운동 기준점(1017) 중 사용자의 신체와 일치하는 운동 기준점의 개수 및 아령이 아령의 이동 지점(1015)으로 근접한 정도에 기반하여 운동 점수를 계산하고, 운동 점수와 관련된 피드백을 다양한 수단(예: 음성)을 통해 사용자에게 제공할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 includes a movement point 1015 of a dumbbell related to an exercise using a dumbbell and an exercise reference point 1017 indicating a movement point of a body related to an exercise using the dumbbell. A visual guide may be displayed on the display 410. The display 410 may display a visual guide while displaying a reflection image 1011 of a user performing an exercise and a reflection image 1013 of a dumbbell. The electronic device 400 calculates an exercise score based on the number of exercise reference points coincident with the user's body among at least one exercise reference point 1017 and the degree of proximity of the dumbbell to the movement point 1015 of the dumbbell, and calculates the exercise score and Relevant feedback can be provided to the user through various means (eg, voice).
본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 4의 전자 장치(400))는 제 1 컨텐츠를 디스플레이하는 동안 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여 다른 외부 객체가 존재하지 않음을 확인할 수 있다. 전자 장치(400)는 특정 운동 기구를 사용하지 않는 운동(예: 맨손 운동)과 관련된 제 2 컨텐츠를 선택하고, 선택된 제 2 컨텐츠를 디스플레이(410) 상에 디스플레이할 수 있다.According to various embodiments of the present disclosure, an electronic device (for example, the electronic device 400 of FIG. 4) may display other external devices based on a result of analyzing an image acquired using the camera 430 while displaying the first content. It can be confirmed that the object does not exist. The electronic device 400 may select second content related to exercise (eg, bare hand exercise) without using a specific exercise device, and display the selected second content on the display 410.
도 10c 및 도 10d는 전자 장치(400)가 특정 운동 기구를 사용하지 않는 운동과 관련된 제 2 컨텐츠를 디스플레이하는 실시예를 도시한 도면이다.10C and 10D are diagrams illustrating an embodiment in which the electronic device 400 displays second content related to exercise without using a specific exercise device.
도 10c를 참조하면, 전자 장치(400)는 운동(예: 스쿼트)과 관련된 신체의 이동 지점을 지시하는 운동 기준점(1025), 운동 기준점(1025)에 기반하여 생성된 신체의 이동 방향을 지시하는 인디케이터(1023)를 포함하는 시각 가이드를 디스플레이(410) 상에 디스플레이할 수 있다. 디스플레이(410)는 운동을 수행하는 사용자의 반사 이미지(1021)가 표시되면서, 시각 가이드를 디스플레이할 수 있다. 전자 장치(400)는 적어도 하나 이상의 운동 기준점(1025) 중 사용자의 신체와 일치하는 운동 기준점의 개수에 기반하여 운동 점수를 계산하고, 운동 점수와 관련된 피드백 또는 운동 자세와 관련된 피드백(예: 허벅지와 무릎이 수평이 되도록 유지하세요)을 다양한 수단(예: 음성)을 통해 사용자에게 제공할 수 있다. 일 실시예에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여, 사용자의 자세를 확인하고, 사용자의 자세와 시각 가이드를 비교하는 정보를 디스플레이(410) 상에 출력할 수도 있다.Referring to FIG. 10C, the electronic device 400 indicates an exercise reference point 1025 indicating a movement point of the body related to an exercise (eg, squat), and a movement direction of the body generated based on the exercise reference point 1025. A visual guide including the indicator 1023 may be displayed on the display 410. The display 410 may display a visual guide while a reflection image 1021 of a user performing an exercise is displayed. The electronic device 400 calculates an exercise score based on the number of exercise reference points that match the user's body among at least one exercise reference point 1025, and provides feedback related to exercise score or exercise posture (eg, thigh and Keep your knees level) can be provided to the user through a variety of means (e.g. voice). According to an embodiment, the electronic device 400 checks the user's posture and displays information for comparing the user's posture and a visual guide based on a result of analyzing an image acquired using the camera 430 ( 410).
도 10d를 참조하면, 전자 장치(400)는 운동(예: 다운 레그)과 관련된 신체의 이동 지점을 지시하는 운동 기준점(1035), 운동 기준점(1035)에 기반하여 생성된 신체의 이동 방향을 지시하는 인디케이터(1033)를 포함하는 시각 가이드를 디스플레이(410) 상에 디스플레이할 수 있다. 디스플레이(410)는 운동을 수행하는 사용자의 반사 이미지(1031)가 표시되면서, 시각 가이드를 디스플레이할 수 있다. 전자 장치(400)는 적어도 하나 이상의 운동 기준점(1035) 중 사용자의 신체와 일치하는 운동 기준점의 개수에 기반하여 운동 점수를 계산하고, 운동 점수와 관련된 피드백 또는 운동 자세와 관련된 피드백(예: 발바닥을 바닥에 붙이고 무릎고 등을 완전히 피세요)을 다양한 수단(예: 음성)을 통해 사용자에게 제공할 수 있다. 일 실시예에 따르면, 전자 장치(400)는 카메라(430)를 이용하여 획득한 이미지를 분석한 결과에 기반하여, 사용자의 자세를 확인하고, 사용자의 자세와 시각 가이드를 비교하는 정보를 디스플레이(410) 상에 출력할 수도 있다.Referring to FIG. 10D, the electronic device 400 indicates an exercise reference point 1035 indicating a movement point of the body related to an exercise (eg, down leg), and a movement direction of the body generated based on the exercise reference point 1035 A visual guide including the indicator 1033 to be displayed may be displayed on the display 410. The display 410 may display a visual guide while a reflection image 1031 of a user performing an exercise is displayed. The electronic device 400 calculates an exercise score based on the number of exercise reference points that match the user's body among at least one exercise reference point 1035, and provides feedback related to exercise score or exercise posture (for example, the sole of the foot). Attach it to the floor and keep your knee high and back completely open) can be provided to the user through a variety of means (e.g., voice). According to an embodiment, the electronic device 400 checks the user's posture and displays information for comparing the user's posture and a visual guide based on a result of analyzing an image acquired using the camera 430 ( 410).
도 11a, 도 11b, 도 11c 및 도 11d는 본 발명의 다양한 실시예에 따른 전자 장치에서, 전자 장치와 외부 객체 사이의 거리에 따라 디스플레이될 제 2 컨텐츠를 도시한 도면이다.11A, 11B, 11C, and 11D are diagrams illustrating second content to be displayed according to a distance between the electronic device and an external object in an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 4의 전자 장치(400))는 디스플레이(예: 도 4의 디스플레이(410))와 외부 객체의 거리에 기반하여 제 2 컨텐츠가 디스플레이될 위치를 결정할 수 있다. 전자 장치(400)는 카메라(예: 도 4의 카메라(430))가 수집한 뎁스 이미지에 기반하여 카메라(430)와 외부 객체의 거리를 결정하고, 카메라(430)와 외부 객체 사이의 거리에 기반하여 디스플레이(410)와 외부 객체의 거리를 결정할 수 있다. 카메라(430)와 외부 객체의 거리는 디스플레이(410)와 외부 객체의 거리와 동일하거나, 유사할 수 있다. 전자 장치(400)는 디스플레이(410)와 외부 객체 사이의 거리에 기반하여 디스플레이될 제 2 컨텐츠의 디스플레이 방식을 다르게 설정할 수 있다.According to various embodiments of the present disclosure, an electronic device (eg, the electronic device 400 of FIG. 4) may display second content based on a distance between a display (eg, the display 410 of FIG. 4) and an external object. You can determine the location. The electronic device 400 determines the distance between the camera 430 and the external object based on the depth image collected by the camera (eg, the camera 430 of FIG. 4 ), and determines the distance between the camera 430 and the external object. Based on this, a distance between the display 410 and an external object may be determined. The distance between the camera 430 and the external object may be the same as or similar to the distance between the display 410 and the external object. The electronic device 400 may set a different display method of the second content to be displayed based on a distance between the display 410 and an external object.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 디스플레이(410)와 외부 객체 사이의 거리가 증가할수록 표시되는 정보(예: 운동 기준점, 시각 가이드)의 양은 감소시키고, 정보의 디스플레이되는 크기를 증가시킬 수 있다. 반대로, 전자 장치(400)는 디스플레이(410)와 외부 객체 사이의 거리가 감소할수록 표시되는 정보의 양을 증가시킬 수 있다.According to various embodiments of the present disclosure, as the distance between the display 410 and an external object increases, the electronic device 400 decreases the amount of displayed information (eg, exercise reference point, visual guide), and displays the size of the information. Can increase Conversely, the electronic device 400 may increase the amount of displayed information as the distance between the display 410 and the external object decreases.
도 11a 및 도 11b는 디스플레이(410)와 외부 객체 사이의 거리에 따라 다르게 디스플레이되는 시각 가이드를 도시한 도면이다.11A and 11B are diagrams illustrating a visual guide displayed differently according to a distance between the display 410 and an external object.
도 11a의 시각 가이드는 디스플레이(410)와 외부 객체 사이의 거리가 도 11b에 비해 큰 경우에 디스플레이되는 시각 가이드(1110)를 도시하고 있고, 도 11b의 시각 가이드는 디스플레이(410)와 외부 객체 사이의 거리가 도 11a에 비해 작은 경우 디스플레이되는 시각 가이드(1120)를 도시한다. The visual guide of FIG. 11A shows the visual guide 1110 displayed when the distance between the display 410 and the external object is larger than that of FIG. 11B, and the visual guide of FIG. 11B is between the display 410 and the external object. A visual guide 1120 displayed when the distance of is smaller than that of FIG. 11A is shown.
도 11a를 참조하면, 전자 장치(400)는 디스플레이(410)와 외부 객체 사이의 거리가 상대적으로 큰 경우, 표시되는 정보를 크게 표시하면서, 표시되는 정보의 양을 최소화할 수 있다. 디스플레이(410)와 외부 객체 사이의 거리가 증가할수록 표시되는 정보(예: 운동 기준점(1111, 1113, 1115))의 양은 도 11b에 도시된 정보(예; 운동 기준점(1121, 1122, 1123, 1124, 1125))에 비해 작을 수 있다. Referring to FIG. 11A, when the distance between the display 410 and an external object is relatively large, the electronic device 400 may minimize the amount of displayed information while displaying displayed information in a large size. As the distance between the display 410 and the external object increases, the amount of information displayed (e.g., exercise reference points 1111, 1113, 1115) is determined as shown in FIG. 11B (e.g., exercise reference points 1121, 1122, 1123, 1124). , 1125)).
도 11b를 참조하면, 전자 장치(400)는 디스플레이(410)와 외부 객체 사이의 거리가 감소할수록, 표시되는 정보의 양을 증가시킬 수 있다. 표시되는 정보의 양이 증가하는 것은 사용자에게 좀 더 세부적인 정보를 제공할 수 있으며, 더 나아가 사용자에게 정확한 운동 자세를 제공할 수 있다. 전자 장치(400)는 디스플레이(410)와 외부 객체 사이의 거리가 감소할수록, 제 2 컨텐츠의 디스플레이 위치를 디스플레이(410)의 상부로 이동시킬 수 있다. 전자 장치(400)는 외부 객체와 디스플레이(410) 사이의 거리가 감소하면서, 특정 위치(1126) 상에는 제 2 컨텐츠를 제공하지 않을 수 있다. 특정 위치(1126) 상에는 외부 객체의 반사 이미지만 표시될 수 있다.Referring to FIG. 11B, as the distance between the display 410 and the external object decreases, the electronic device 400 may increase the amount of displayed information. Increasing the amount of displayed information may provide more detailed information to the user, and furthermore, an accurate exercise posture may be provided to the user. As the distance between the display 410 and the external object decreases, the electronic device 400 may move the display position of the second content to the upper portion of the display 410. As the distance between the external object and the display 410 decreases, the electronic device 400 may not provide the second content on the specific location 1126. Only a reflection image of an external object may be displayed on a specific location 1126.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 외부 객체와 디스플레이(410) 사이의 거리에 기반하여 디스플레이될 제 2 컨텐츠를 결정할 수 있다. 예를 들면, 전자 장치(400)는 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값을 이상(또는, 초과)임을 확인함에 대응하여, 전신 운동과 관련된 제 2 컨텐츠를 선택 또는 결정할 수 있다. 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 이상인 경우, 사용자의 전신이 디스플레이(410) 상에 반사될 수 있기 때문이다. 도 11c를 참조하면, 전자 장치(400)는 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 전신 운동과 관련된 시각 가이드(1130)가 포함된 제 2 컨텐츠를 디스플레이(410) 상에 디스플레이할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may determine the second content to be displayed based on the distance between the external object and the display 410. For example, in response to confirming that the distance between the user and the display 410 exceeds (or exceeds) a preset value, the electronic device 400 may select or determine the second content related to the full-body exercise. This is because when the distance between the user and the display 410 is greater than or equal to a preset value, the user's whole body may be reflected on the display 410. Referring to FIG. 11C, in response to confirming that the distance between the user and the display 410 is greater than or equal to a preset value, the electronic device 400 displays second content including a visual guide 1130 related to a full-body exercise ( 410).
다른 예를 들면, 전자 장치(400)는 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 미만(또는, 이하)임을 확인함에 대응하여, 사용자의 신체의 일부와 관련된 제 2 컨텐츠를 선택 또는 결정할 수 있다. 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 이하인 경우, 사용자의 특정 신체 부위가 디스플레이(410) 상에 반사될 수 있어, 신체의 일부와 관련된 운동 컨텐츠가 적절할 수 있다. 도 11d를 참조하면, 전자 장치(400)는 사용자와 디스플레이(410) 사이의 거리가 미리 설정된 값 이하임을 확인함에 대응하여, 상반신 운동과 관련된 시각 가이드(1140) 또는 하반신 운동과 관련된 시각 가이드(1150)가 포함된 제 2 컨텐츠를 디스플레이(410) 상에 디스플레이할 수 있다.For another example, in response to confirming that the distance between the user and the display 410 is less than (or less than) a preset value, the electronic device 400 selects or determines the second content related to a part of the user's body. I can. When the distance between the user and the display 410 is less than or equal to a preset value, a specific body part of the user may be reflected on the display 410, so that exercise content related to a part of the body may be appropriate. Referring to FIG. 11D, in response to confirming that the distance between the user and the display 410 is less than or equal to a preset value, the electronic device 400 displays a visual guide 1140 related to upper body movement or a visual guide 1150 related to lower body movement. The second content including) may be displayed on the display 410.
본 발명의 다양한 실시예에 따른 전자 장치는 디스플레이; 카메라; 및 프로세서를 포함하고, 상기 프로세서는 제 1 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 제 1 컨텐츠에 포함된 비쥬얼 오브젝트의 위치와 상기 디스플레이에 의해 반사되어 표시되는 상기 외부 객체의 반사 이미지(reflective image)의 위치가 일치함을 확인함에 대응하여, 상기 반사 이미지의 위치 정보를 상기 비쥬얼 오브젝트의 위치 정보에 기반하여 결정하고, 제 2 컨텐츠가 디스플레이될 위치를 상기 반사 이미지의 위치 정보에 기반하여 결정하도록 설정될 수 있다.An electronic device according to various embodiments of the present disclosure includes a display; camera; And a processor, wherein the processor controls the display to display the first content, and while the first content is displayed, the position of the visual object included in the first content and the position of the visual object included in the first content are reflected and displayed by the display. In response to confirming that the location of the reflective image of the external object is identical, the location information of the reflection image is determined based on the location information of the visual object, and the location where the second content is to be displayed is determined by the reflection. It may be set to determine based on the location information of the image.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 반사 이미지의 위치와 상기 제 2 컨텐츠의 위치가 서로 일치하도록 상기 제 2 컨텐츠의 위치를 조절하도록 설정될 수 있다.In the electronic device according to various embodiments of the present disclosure, the processor may be configured to adjust the position of the second content so that the position of the reflection image and the position of the second content coincide with each other.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 외부 객체의 적어도 일부에 대한 정보의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 획득하기 위한 비쥬얼 오브젝트를 포함하는 제 3 컨텐츠를 상기 디스플레이 상에 디스플레이하고, 상기 비쥬얼 오브젝트에 대한 상기 사용자의 인터랙션에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 상기 카메라를 이용하여 획득하도록 설정될 수 있다.In the electronic device according to various embodiments of the present disclosure, the processor is configured to obtain information on at least a part of the external object in response to confirming that the accuracy of information on at least a part of the external object is less than or equal to a preset value. It may be set to display third content including a visual object on the display, and to obtain information on at least part of the external object using the camera in response to the user's interaction with the visual object. .
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 외부 객체와 상기 디스플레이 사이의 거리 정보를 상기 카메라를 이용하여 획득하고, 상기 거리 정보에 기반하여 상기 디스플레이될 컨텐츠의 위치를 조절하도록 설정될 수 있다.In an electronic device according to various embodiments of the present disclosure, the processor obtains distance information between the external object and the display using the camera, and sets the location of the content to be displayed based on the distance information. Can be.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 컨텐츠를 디스플레이하기 이전, 상기 카메라를 이용하여 획득한 상기 외부 객체의 위치 정보에 기반하여 상기 제 1 컨텐츠의 디스플레이될 위치를 결정하도록 설정될 수 있다.In an electronic device according to various embodiments of the present disclosure, before displaying the first content, the processor determines a location to be displayed of the first content based on location information of the external object acquired using the camera. Can be set to
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 외부 객체는 상기 전자 장치의 사용자를 포함하고, 상기 프로세서는 상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 카메라를 이용하여 획득한 상기 사용자를 포함하는 이미지의 분석 결과에 기반하여 상기 사용자의 신체 정보를 획득하고, 디스플레이될 제 2 컨텐츠를 상기 신체 정보에 기반하여 결정하도록 설정될 수 있다.In an electronic device according to various embodiments of the present disclosure, the external object includes a user of the electronic device, and the processor includes an image obtained by using the camera while the first content is displayed. It may be set to obtain the user's body information based on the analysis result of and to determine the second content to be displayed based on the body information.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 카메라를 이용하여 획득한 상기 이미지를 분석하여 다른 외부 객체를 식별하고, 상기 다른 외부 객체의 식별 결과에 기반하여 상기 제 2 컨텐츠를 결정하도록 설정될 수 있다.In the electronic device according to various embodiments of the present disclosure, while the first content is displayed, the processor analyzes the image acquired using the camera to identify another external object, and an identification result of the other external object It may be set to determine the second content based on.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 외부 객체와 상기 디스플레이 사이의 거리 정보를 상기 카메라를 이용하여 획득하고, 상기 거리 정보에 기반하여 상기 제 2컨텐츠를 결정하도록 설정될 수 있다.In the electronic device according to various embodiments of the present disclosure, the processor may be configured to obtain distance information between the external object and the display using the camera and determine the second content based on the distance information. have.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 외부 객체와 상기 디스플레이 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 상기 사용자의 신체 전체와 관련된 제 2 컨텐츠를 디스플레이하고, 상기 외부 객체와 상기 디스플레이 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 상기 사용자의 신체의 일부와 관련된 제 2 컨텐츠를 디스플레이하도록 설정될 수 있다.In an electronic device according to various embodiments of the present disclosure, in response to determining that the distance between the external object and the display is equal to or greater than a preset value, the processor displays second content related to the entire body of the user, and the In response to confirming that the distance between the external object and the display is equal to or greater than a preset value, it may be set to display second content related to a part of the user's body.
본 발명의 다양한 실시예에 따른 전자 장치에서, 상기 제 1 컨텐츠는 사용자의 준비 운동과 관련된 컨텐츠를 포함하고, 상기 제 2 컨텐츠는 상기 준비 운동 이후에 수행되는 상기 사용자의 운동을 위한 컨텐츠일 수 있다.In the electronic device according to various embodiments of the present disclosure, the first content may include content related to a user's warm-up exercise, and the second content may be content for the user's exercise performed after the warm-up exercise. .
도 12는 본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법(1200)을 도시한 동작 흐름도이다.12 is a flowchart illustrating a method 1200 of operating an electronic device according to various embodiments of the present disclosure.
본 발명의 다양한 실시예에 따르면, 동작 1210에서, 전자 장치(예: 도 4의 전자 장치(400))는 제 1 컨텐츠를 디스플레이(예: 도 4의 디스플레이(410)) 상에 디스플레이할 수 있다.According to various embodiments of the present disclosure, in operation 1210, the electronic device (eg, the electronic device 400 of FIG. 4) may display the first content on the display (eg, the display 410 of FIG. 4 ). .
본 발명의 다양한 실시예에 따르면, 제 1 컨텐츠는 전자 장치(400)가 외부 객체에 대한 정보를 획득하기 위해 제공되는 컨텐츠일 수 있다. 일 실시예에 따르면, 제 1 컨텐츠는 디스플레이될 컨텐츠의 위치를 캘리브레이션하기 위한 다양한 정보들을 획득하기 위해서 제공되는 컨텐츠일 수 있다. 전자 장치(400)가 디스플레이될 제 2 컨텐츠의 위치를 결정하기 위한 다양한 정보들은 컨텐츠가 디스플레이될 영역의 위치(또는, 디스플레이 상의 좌표)를 결정하기 위해 요구되는 변수들로, 외부 객체의 반사 이미지의 디스플레이(410) 상에서의 위치 정보를 포함할 수 있다. According to various embodiments of the present disclosure, the first content may be content provided by the electronic device 400 to obtain information on an external object. According to an embodiment, the first content may be content provided to obtain various pieces of information for calibrating the location of the content to be displayed. Various pieces of information for determining the location of the second content to be displayed by the electronic device 400 are variables required to determine the location (or coordinates on the display) of the area in which the content is to be displayed. It may include location information on the display 410.
본 발명의 다양한 실시예에 따르면, 외부 객체(예: 사람)의 적어도 하나 이상의 특징점(예: 손목)의 반사 이미지의 위치를 획득하기 위해서, 제 1 컨텐츠가 디스플레이될 영역 중 특징점에 대응하는 영역에 적어도 하나 이상의 비쥬얼 오브젝트를 디스플레이할 수 있다. 비쥬얼 오브젝트는 제 1 컨텐츠에 포함될 수 있다. 비쥬얼 오브젝트가 디스플레이되는 위치는 특징점에 대응하는 영역으로부터 미리 설정된 거리 이내에 존재하는 위치일 수 있다.According to various embodiments of the present disclosure, in order to obtain a position of a reflection image of at least one feature point (eg, wrist) of an external object (eg, a person), the first content is displayed in an area corresponding to the feature point. At least one or more visual objects may be displayed. The visual object may be included in the first content. The position at which the visual object is displayed may be a position that exists within a preset distance from the area corresponding to the feature point.
본 발명의 다양한 실시예에 따르면, 제 1 컨텐츠는 전자 장치(400)의 사용자의 준비 운동(예: 스트레칭, 팔 흔들기 또는 무릎 굽히기)과 관련된 컨텐츠일 수 있다. 사용자가 디스플레이(410)의 전면에 존재하는 경우, 사용자는 외부 객체에 대응할 수 있다. 사용자는 사용자의 준비 운동과 관련된 컨텐츠를 제공 받으면서, 준비 운동을 수행할 수 있다. According to various embodiments of the present disclosure, the first content may be content related to a warm-up exercise (eg, stretching, shaking an arm, or bending a knee) of a user of the electronic device 400. When the user exists in front of the display 410, the user may correspond to an external object. The user may perform the warm-up exercise while being provided with content related to the user's warm-up exercise.
본 발명의 다양한 실시예에 따르면, 동작 1220에서, 전자 장치(400)는 비쥬얼 오브젝트의 위치와 외부 객체의 반사 이미지의 위치가 일치하는지 여부를 확인할 수 있다.According to various embodiments of the present disclosure, in operation 1220, the electronic device 400 may check whether the position of the visual object and the position of the reflection image of the external object match.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 디스플레이(410) 상의 특정 영역에 비쥬얼 오브젝트를 디스플레이하고, 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 사용자 입력을 수신할 수 있다. 사용자 입력은 다양한 형태로 수신될 수 있다. 예를 들면, 사용자 입력은 사용자가 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 음성으로 구현된 입력일 수 있다. 다른 예를 들면, 사용자 입력은 외부 객체의 반사 이미지의 위치와 비쥬얼 오브젝트의 위치가 일치함을 지시하는 제스처 형태로 구현된 입력일 수 있다. 전자 장치(400)는 사용자 입력을 수신함에 대응하여, 비쥬얼 오브젝트의 위치와 외부 객체의 반사 이미지의 위치가 일치하는 것으로 판단할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 displays a visual object in a specific area on the display 410, and receives a user input indicating that the position of the reflection image of the external object matches the position of the visual object. You can receive it. User input may be received in various forms. For example, the user input may be an input implemented with a voice indicating that the location of the reflection image of the external object and the location of the visual object match. For another example, the user input may be an input implemented in the form of a gesture indicating that the position of the reflection image of the external object and the position of the visual object match. In response to receiving a user input, the electronic device 400 may determine that the location of the visual object and the location of the reflection image of the external object match.
본 발명의 다양한 실시예에 따르면, 동작 1230에서, 전자 장치(400)는 비쥬얼 오브젝트의 위치와 외부 객체의 반사 이미지가 일치함을 확인함에 대응하여, 반사 이미지의 위치 정보를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 1230, the electronic device 400 may obtain location information of the reflection image in response to confirming that the location of the visual object matches the reflection image of the external object.
본 발명의 다양한 실시예에 따르면, 전자 장치(400)는 반사 이미지의 위치를 비쥬얼 오브젝트의 위치로 결정할 수 있다.According to various embodiments of the present disclosure, the electronic device 400 may determine the position of the reflection image as the position of the visual object.
본 발명의 다양한 실시예에 따르면, 동작 1240에서, 전자 장치(400)는 제 2 컨텐츠의 디스플레이 위치를 반사 이미지의 위치 정보에 기반하여 결정할 수 있다.According to various embodiments of the present disclosure, in operation 1240, the electronic device 400 may determine the display position of the second content based on the position information of the reflected image.
일 실시예에 따르면, 전자 장치(400)는 제 1 컨텐츠가 디스플레이된 위치를 반사 이미지의 위치에 일치시키도록 캘리브레이션하고, 캘리브레이션된 좌표를 제 2 컨텐츠가 디스플레이될 위치로 결정할 수 있다.According to an embodiment, the electronic device 400 may calibrate the position where the first content is displayed to match the position of the reflection image, and determine the calibrated coordinates as the position where the second content is to be displayed.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은 제 1 컨텐츠를 디스플레이하는 동작; 상기 제1 컨텐츠가 디스플레이되는 동안 상기 제 1 컨텐츠에 포함된 비쥬얼 오브젝트와 관련된 외부 객체의 이동을 감지하는 동작; 상기 비쥬얼 오브젝트의 위치와 상기 디스플레이에 의해 반사되어 표시되는 상기 외부 객체의 반사 이미지(reflective image)의 위치가 일치함을 확인함에 대응하여, 상기 반사 이미지의 위치 정보를 상기 비쥬얼 오브젝트의 위치 정보에 기반하여 획득하는 동작; 및 제 2 컨텐츠가 디스플레이될 위치를 상기 반사 이미지의 위치 정보에 기반하여 결정하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, a method of operating an electronic device may include displaying first content; Detecting movement of an external object related to a visual object included in the first content while the first content is displayed; In response to confirming that the location of the visual object and the location of the reflective image of the external object reflected and displayed by the display match, the location information of the reflected image is based on the location information of the visual object An operation to be obtained; And determining a location where the second content is to be displayed based on location information of the reflected image.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 2 컨텐츠가 디스플레이될 위치를 결정하는 동작은 상기 반사 이미지의 위치와 상기 제 2 컨텐츠의 위치가 서로 일치하도록 상기 제 2 컨텐츠의 위치를 조절하는 동작을 포함할 수 있다.In a method of operating an electronic device according to various embodiments of the present disclosure, the operation of determining a position in which the second content is to be displayed includes the position of the second content so that the position of the reflection image and the position of the second content coincide with each other. It may include an operation of adjusting.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은 상기 외부 객체의 적어도 일부에 대한 정보의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 획득하기 위한 비쥬얼 오브젝트를 포함하는 제 3 컨텐츠를 상기 미러 디스플레이 상에 디스플레이하는 동작; 및 상기 비쥬얼 오브젝트에 대한 상기 사용자의 인터랙션에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 상기 카메라를 이용하여 획득하는 동작을 더 포함할 수 있다.In the method of operating an electronic device according to various embodiments of the present disclosure, in response to confirming that the accuracy of information on at least part of the external object is less than or equal to a preset value, a visual method for acquiring information on at least part of the external object Displaying third content including an object on the mirror display; And acquiring information on at least part of the external object using the camera in response to the user's interaction with the visual object.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은 상기 외부 객체와 상기 디스플레이 사이의 거리 정보를 상기 카메라를 이용하여 획득하는 동작; 및 상기 거리 정보에 기반하여 상기 제 2 컨텐츠의 위치를 조절하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, a method of operating an electronic device may include obtaining distance information between the external object and the display using the camera; And adjusting the location of the second content based on the distance information.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은 상기 제 1 컨텐츠를 디스플레이하기 이전, 상기 카메라를 이용하여 획득한 상기 외부 객체의 위치 정보에 기반하여 상기 제 1 컨텐츠의 디스플레이될 위치를 결정하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, before displaying the first content, the method of determining the position to be displayed of the first content is based on the location information of the external object acquired using the camera. It may further include an operation.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 외부 객체는 상기 전자 장치의 사용자를 포함하고, 상기 전자 장치의 동작 방법은 상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 카메라를 이용하여 획득한 상기 사용자를 포함하는 이미지의 분석 결과에 기반하여 상기 사용자의 신체 정보를 획득하는 동작; 및 디스플레이될 제 2 컨텐츠를 상기 신체 정보에 기반하여 결정하는 동작을 더 포함할 수 있다.In a method of operating an electronic device according to various embodiments of the present disclosure, the external object includes a user of the electronic device, and the method of operating the electronic device is obtained using the camera while the first content is displayed. Acquiring body information of the user based on the analysis result of the image including the user; And determining the second content to be displayed based on the body information.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은 상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 카메라를 이용하여 획득한 상기 이미지를 분석하여 다른 외부 객체를 식별하는 동작; 및 상기 다른 외부 객체의 식별 결과에 기반하여 상기 제 2 컨텐츠를 결정하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, a method of operating an electronic device may include identifying another external object by analyzing the image acquired using the camera while the first content is displayed; And determining the second content based on the identification result of the other external object.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 2 컨텐츠를 결정하는 동작은 상기 외부 객체와 상기 디스플레이 사이의 거리 정보를 상기 카메라를 이용하여 획득하는 동작; 및 상기 거리 정보에 기반하여 상기 제 2컨텐츠를 결정하는 동작을 포함할 수 있다.In a method of operating an electronic device according to various embodiments of the present disclosure, the determining of the second content may include obtaining distance information between the external object and the display using the camera; And determining the second content based on the distance information.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 2 컨텐츠를 결정하는 동작은 상기 외부 객체와 상기 디스플레이 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 상기 사용자의 신체 전체와 관련된 제 2 컨텐츠를 디스플레이하도록 결정하는 동작; 또는 상기 외부 객체와 상기 디스플레이 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 상기 사용자의 신체의 일부와 관련된 제 2 컨텐츠를 디스플레이하도록 결정하는 동작을 포함할 수 있다.In a method of operating an electronic device according to various embodiments of the present disclosure, in the determining of the second content, in response to confirming that a distance between the external object and the display is equal to or greater than a preset value, the entire body of the user Determining to display related second content; Alternatively, in response to confirming that the distance between the external object and the display is equal to or greater than a preset value, determining to display second content related to a part of the user's body may be included.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 1 컨텐츠는 사용자의 준비 운동과 관련된 컨텐츠를 포함하고, 상기 제 2 컨텐츠는 상기 준비 운동 이후에 수행되는 상기 사용자의 운동을 위한 컨텐츠일 수 있다.In a method of operating an electronic device according to various embodiments of the present disclosure, the first content includes content related to a user's warm-up exercise, and the second content is a content for the user's exercise performed after the warm-up exercise. Can be
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.An electronic device according to various embodiments disclosed in this document may be a device of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance. The electronic device according to the embodiment of the present document is not limited to the above-described devices.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of the present document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various modifications, equivalents, or substitutes of the corresponding embodiment. In connection with the description of the drawings, similar reference numerals may be used for similar or related components. The singular form of a noun corresponding to an item may include one or a plurality of the items unless clearly indicated otherwise in a related context. In this document, “A or B”, “at least one of A and B”, “at least one of A or B,” “A, B or C,” “at least one of A, B and C,” and “A Each of phrases such as "at least one of B, or C" may include all possible combinations of items listed together in the corresponding phrase among the phrases. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish the component from other Order) is not limited. Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components may be connected to the other components directly (eg by wire), wirelessly, or via a third component.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term "module" used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits. The module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them. For example, the processor (eg, the processor 120) of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here,'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product. Computer program products can be traded between sellers and buyers as commodities. Computer program products are distributed in the form of a device-readable storage medium (e.g., compact disc read only memory (CD-ROM)), or through an application store (e.g., Play StoreTM) or two user devices (e.g., compact disc read only memory (CD-ROM)). It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.

Claims (15)

  1. 전자 장치에 있어서,In the electronic device,
    디스플레이;display;
    카메라; 및camera; And
    프로세서를 포함하고,Including a processor,
    상기 프로세서는The processor is
    제 1 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어하고, Controlling the display to display the first content,
    상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 제 1 컨텐츠에 포함된 비쥬얼 오브젝트의 위치와 상기 디스플레이에 의해 반사되어 표시되는 상기 외부 객체의 반사 이미지(reflective image)의 위치가 일치함을 확인함에 대응하여, 상기 반사 이미지의 위치 정보를 상기 비쥬얼 오브젝트의 위치 정보에 기반하여 결정하고,In response to confirming that the position of the visual object included in the first content and the position of the reflective image of the external object reflected and displayed by the display coincide while the first content is being displayed, Determine the location information of the reflection image based on the location information of the visual object,
    제 2 컨텐츠가 디스플레이될 위치를 상기 반사 이미지의 위치 정보에 기반하여 결정하도록 설정된 전자 장치.An electronic device configured to determine a location where the second content is to be displayed based on location information of the reflected image.
  2. 제 1항에 있어서,The method of claim 1,
    상기 프로세서는The processor is
    상기 반사 이미지의 위치와 상기 제 2 컨텐츠의 위치가 서로 일치하도록 상기 제 2 컨텐츠의 위치를 조절하도록 설정된 전자 장치.The electronic device configured to adjust the location of the second content so that the location of the reflection image and the location of the second content coincide with each other.
  3. 제 1항에 있어서,The method of claim 1,
    상기 프로세서는The processor is
    상기 외부 객체의 적어도 일부에 대한 정보의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 획득하기 위한 비쥬얼 오브젝트를 포함하는 제 3 컨텐츠를 상기 디스플레이 상에 디스플레이하고,In response to confirming that the accuracy of information on at least part of the external object is less than or equal to a preset value, display third content including a visual object for obtaining information on at least part of the external object on the display, and ,
    상기 비쥬얼 오브젝트에 대한 상기 사용자의 인터랙션에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 상기 카메라를 이용하여 획득하도록 설정된 전자 장치.In response to the user's interaction with the visual object, an electronic device configured to obtain information on at least a part of the external object using the camera.
  4. 제 1항에 있어서,The method of claim 1,
    상기 프로세서는The processor is
    상기 외부 객체와 상기 디스플레이 사이의 거리 정보를 상기 카메라를 이용하여 획득하고,Obtaining distance information between the external object and the display using the camera,
    상기 거리 정보에 기반하여 상기 디스플레이될 컨텐츠의 위치를 조절하도록 설정된 전자 장치.An electronic device configured to adjust the location of the content to be displayed based on the distance information.
  5. 제 1 항에 있어서,The method of claim 1,
    상기 프로세서는The processor is
    상기 제 1 컨텐츠를 디스플레이하기 이전, 상기 카메라를 이용하여 획득한 상기 외부 객체의 위치 정보에 기반하여 상기 제 1 컨텐츠의 디스플레이될 위치를 결정하도록 설정된 전자 장치.Before displaying the first content, an electronic device configured to determine a location to be displayed of the first content based on location information of the external object acquired using the camera.
  6. 제 1항에 있어서,The method of claim 1,
    상기 외부 객체는 상기 전자 장치의 사용자를 포함하고,The external object includes a user of the electronic device,
    상기 프로세서는The processor is
    상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 카메라를 이용하여 획득한 상기 사용자를 포함하는 이미지의 분석 결과에 기반하여 상기 사용자의 신체 정보를 획득하고,While the first content is displayed, the body information of the user is acquired based on the analysis result of the image including the user acquired using the camera,
    디스플레이될 제 2 컨텐츠를 상기 신체 정보에 기반하여 결정하도록 설정된 전자 장치.An electronic device configured to determine second content to be displayed based on the body information.
  7. 제 1항에 있어서,The method of claim 1,
    상기 프로세서는The processor is
    상기 제 1 컨텐츠가 디스플레이되는 동안, 상기 카메라를 이용하여 획득한 상기 이미지를 분석하여 다른 외부 객체를 식별하고,While the first content is displayed, the image acquired using the camera is analyzed to identify other external objects,
    상기 다른 외부 객체의 식별 결과에 기반하여 상기 제 2 컨텐츠를 결정하도록 설정된 전자 장치.An electronic device configured to determine the second content based on the identification result of the other external object.
  8. 제 7항에 있어서,The method of claim 7,
    상기 프로세서는The processor is
    상기 외부 객체와 상기 디스플레이 사이의 거리 정보를 상기 카메라를 이용하여 획득하고,Obtaining distance information between the external object and the display using the camera,
    상기 거리 정보에 기반하여 상기 제 2컨텐츠를 결정하도록 설정된 전자 장치.An electronic device configured to determine the second content based on the distance information.
  9. 제 8항에 있어서,The method of claim 8,
    상기 프로세서는The processor is
    상기 외부 객체와 상기 디스플레이 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 상기 사용자의 신체 전체와 관련된 제 2 컨텐츠를 디스플레이하고,In response to confirming that the distance between the external object and the display is equal to or greater than a preset value, display second content related to the entire body of the user,
    상기 외부 객체와 상기 디스플레이 사이의 거리가 미리 설정된 값 이상임을 확인함에 대응하여, 상기 사용자의 신체의 일부와 관련된 제 2 컨텐츠를 디스플레이하도록 설정된 전자 장치.The electronic device configured to display second content related to a part of the user's body in response to confirming that the distance between the external object and the display is equal to or greater than a preset value.
  10. 제 1항에 있어서,The method of claim 1,
    상기 제 1 컨텐츠는The first content is
    사용자의 준비 운동과 관련된 컨텐츠를 포함하고,Includes content related to the user's warm-up exercise,
    상기 제 2 컨텐츠는 The second content is
    상기 준비 운동 이후에 수행되는 상기 사용자의 운동을 위한 컨텐츠인 전자 장치.An electronic device that is content for the user's exercise performed after the warm-up exercise.
  11. 전자 장치의 동작 방법에 있어서,In the method of operating an electronic device,
    제 1 컨텐츠를 디스플레이하는 동작;Displaying the first content;
    상기 제1 컨텐츠가 디스플레이되는 동안 상기 제 1 컨텐츠에 포함된 비쥬얼 오브젝트와 관련된 외부 객체의 이동을 감지하는 동작;Detecting movement of an external object related to a visual object included in the first content while the first content is displayed;
    상기 비쥬얼 오브젝트의 위치와 상기 디스플레이에 의해 반사되어 표시되는 상기 외부 객체의 반사 이미지(reflective image)의 위치가 일치함을 확인함에 대응하여, 상기 반사 이미지의 위치 정보를 상기 비쥬얼 오브젝트의 위치 정보에 기반하여 획득하는 동작; 및In response to confirming that the location of the visual object and the location of the reflective image of the external object reflected and displayed by the display match, the location information of the reflected image is based on the location information of the visual object An operation to be obtained; And
    제 2 컨텐츠가 디스플레이될 위치를 상기 반사 이미지의 위치 정보에 기반하여 결정하는 동작을 포함하는 전자 장치의 동작 방법.A method of operating an electronic device, comprising determining a location where the second content is to be displayed based on location information of the reflected image.
  12. 제 11항에 있어서,The method of claim 11,
    상기 제 2 컨텐츠가 디스플레이될 위치를 결정하는 동작은The operation of determining the location where the second content is to be displayed is
    상기 반사 이미지의 위치와 상기 제 2 컨텐츠의 위치가 서로 일치하도록 상기 제 2 컨텐츠의 위치를 조절하는 동작을 포함하는 전자 장치의 동작 방법.And adjusting a location of the second content such that a location of the reflection image and a location of the second content coincide with each other.
  13. 제 11항에 있어서,The method of claim 11,
    상기 전자 장치의 동작 방법은The method of operating the electronic device
    상기 외부 객체의 적어도 일부에 대한 정보의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 획득하기 위한 비쥬얼 오브젝트를 포함하는 제 3 컨텐츠를 상기 미러 디스플레이 상에 디스플레이하는 동작; 및In response to confirming that the accuracy of information on at least a portion of the external object is less than or equal to a preset value, third content including a visual object for acquiring information on at least a portion of the external object is displayed on the mirror display. Action; And
    상기 비쥬얼 오브젝트에 대한 상기 사용자의 인터랙션에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 상기 카메라를 이용하여 획득하는 동작을 더 포함하는 전자 장치의 동작 방법.In response to the user's interaction with the visual object, the method of operating an electronic device further comprising: acquiring information on at least a part of the external object using the camera.
  14. 제 11항에 있어서,The method of claim 11,
    상기 전자 장치의 동작 방법은The method of operating the electronic device
    상기 외부 객체의 적어도 일부에 대한 정보의 정확도가 미리 설정된 값 이하임을 확인함에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 획득하기 위한 비쥬얼 오브젝트를 포함하는 제 3 컨텐츠를 상기 미러 디스플레이 상에 디스플레이하는 동작; 및In response to confirming that the accuracy of information on at least a portion of the external object is less than or equal to a preset value, third content including a visual object for acquiring information on at least a portion of the external object is displayed on the mirror display. Action; And
    상기 비쥬얼 오브젝트에 대한 상기 사용자의 인터랙션에 대응하여, 상기 외부 객체의 적어도 일부에 대한 정보를 상기 카메라를 이용하여 획득하는 동작을 더 포함하는 전자 장치의 동작 방법.In response to the user's interaction with the visual object, the method of operating an electronic device further comprising: acquiring information on at least a part of the external object using the camera.
  15. 제 11 항에 있어서,The method of claim 11,
    상기 전자 장치의 동작 방법은The method of operating the electronic device
    상기 제 1 컨텐츠를 디스플레이하기 이전, 상기 카메라를 이용하여 획득한 상기 외부 객체의 위치 정보에 기반하여 상기 제 1 컨텐츠의 디스플레이될 위치를 결정하는 동작을 더 포함하는 전자 장치의 동작 방법.Before displaying the first content, determining a location of the first content to be displayed based on the location information of the external object acquired using the camera.
PCT/KR2020/008628 2019-11-19 2020-07-02 Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device WO2021101006A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0148827 2019-11-19
KR1020190148827A KR20210061062A (en) 2019-11-19 2019-11-19 Electronic device for providing content based on a location of reflect image of external object and method for the same

Publications (1)

Publication Number Publication Date
WO2021101006A1 true WO2021101006A1 (en) 2021-05-27

Family

ID=75980685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008628 WO2021101006A1 (en) 2019-11-19 2020-07-02 Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device

Country Status (2)

Country Link
KR (1) KR20210061062A (en)
WO (1) WO2021101006A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7201850B1 (en) 2022-01-24 2023-01-10 三菱ケミカルグループ株式会社 Information processing apparatus, method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510048B1 (en) * 2022-07-25 2023-03-15 주식회사 컴플렉시온 Control method of electronic device to output augmented reality data according to the exercise motion
KR102528108B1 (en) * 2022-11-02 2023-05-02 홍미영 Digital content output system using mirror media

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180054293A (en) * 2016-11-15 2018-05-24 박종찬 Appratus for smart training
KR102000763B1 (en) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 Smart mirror device for providing personal training service
KR20190101827A (en) * 2018-02-23 2019-09-02 삼성전자주식회사 Electronic apparatus for providing second content associated with first content displayed through display according to motion of external object, and operating method thereof
KR20190113265A (en) * 2018-03-28 2019-10-08 주식회사 스탠스 Augmented reality display apparatus for health care and health care system using the same
KR20190117099A (en) * 2018-04-06 2019-10-16 엘지전자 주식회사 Training system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180054293A (en) * 2016-11-15 2018-05-24 박종찬 Appratus for smart training
KR102000763B1 (en) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 Smart mirror device for providing personal training service
KR20190101827A (en) * 2018-02-23 2019-09-02 삼성전자주식회사 Electronic apparatus for providing second content associated with first content displayed through display according to motion of external object, and operating method thereof
KR20190113265A (en) * 2018-03-28 2019-10-08 주식회사 스탠스 Augmented reality display apparatus for health care and health care system using the same
KR20190117099A (en) * 2018-04-06 2019-10-16 엘지전자 주식회사 Training system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7201850B1 (en) 2022-01-24 2023-01-10 三菱ケミカルグループ株式会社 Information processing apparatus, method, and program
WO2023139944A1 (en) * 2022-01-24 2023-07-27 三菱ケミカルグループ株式会社 Information processing device, method, and program
JP2023107347A (en) * 2022-01-24 2023-08-03 三菱ケミカルグループ株式会社 Information processor, method, and program

Also Published As

Publication number Publication date
KR20210061062A (en) 2021-05-27

Similar Documents

Publication Publication Date Title
WO2020171582A1 (en) Method for determining watch face image and electronic device therefor
WO2020085789A1 (en) Foldable electronic device for controlling user interface and operating method thereof
WO2021101006A1 (en) Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device
WO2020246727A1 (en) Foldable electronic device and method for displaying information in foldable electronic device
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2021162435A1 (en) Electronic device and method for activating fingerprint sensor
WO2018216868A1 (en) Electronic device and input processing method of input device
WO2020022780A1 (en) Method and apparatus for establishing device connection
WO2021025272A1 (en) Foldable electronic device for detecting folding angle and operating method thereof
WO2018208093A1 (en) Method for providing haptic feedback, and electronic device for performing same
WO2020050636A1 (en) User intention-based gesture recognition method and apparatus
EP3808097A1 (en) Method and apparatus for establishing device connection
WO2020171563A1 (en) Electronic device and method for controlling operation of display in same
WO2020032720A1 (en) Electronic device including button and method for operation in electronic device
WO2020218848A1 (en) Electronic device and method for performing biometric authenticaion function and intelligent agent function using user input in electronic device
WO2021080360A1 (en) Electronic device and method for controlling display operation thereof
WO2020101435A1 (en) Method for sensing external shock and electronic device therefor
WO2021080171A1 (en) Method and device for sensing wearing using inertial sensor
WO2019135548A1 (en) Method for compensating for pressure value of force sensor and electronic device using same
WO2020159302A1 (en) Electronic device for performing various functions in augmented reality environment, and operation method for same
WO2020171342A1 (en) Electronic device for providing visualized artificial intelligence service on basis of information about external object, and operating method for electronic device
WO2019039729A1 (en) Method for changing the size of the content displayed on display and electronic device thereof
WO2020130301A1 (en) Electronic device for tracking user activity and method of operating the same
WO2022158692A1 (en) Electronic device for identifying force touch and method for operating same
WO2021133123A1 (en) Electronic device including flexible display, and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890889

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20890889

Country of ref document: EP

Kind code of ref document: A1