WO2024101688A1 - 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법 - Google Patents
미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법 Download PDFInfo
- Publication number
- WO2024101688A1 WO2024101688A1 PCT/KR2023/015889 KR2023015889W WO2024101688A1 WO 2024101688 A1 WO2024101688 A1 WO 2024101688A1 KR 2023015889 W KR2023015889 W KR 2023015889W WO 2024101688 A1 WO2024101688 A1 WO 2024101688A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- electronic device
- information
- haptic
- media content
- haptic information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000010438 heat treatment Methods 0.000 claims abstract description 86
- 238000004891 communication Methods 0.000 claims abstract description 44
- 230000001360 synchronised effect Effects 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims description 76
- 230000005236 sound signal Effects 0.000 claims description 37
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 19
- 230000001276 controlling effect Effects 0.000 description 65
- 230000000694 effects Effects 0.000 description 20
- 230000006399 behavior Effects 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005679 Peltier effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Definitions
- the descriptions below relate to an electronic device and method for obtaining haptic information from media content.
- the electronic device can output media content.
- Electronic devices are being developed to enhance user experience while outputting media content.
- an electronic device may include a display, a speaker, a communication circuit, and a processor.
- the processor may acquire haptic information for outputting haptic feedback synchronized with the media content while the media content is being output through the speaker and the display.
- the processor may identify capability information about haptic feedback supported by an external electronic device connected through the communication circuit.
- the processor may transmit haptic information adjusted by the capability information indicating whether the external electronic device includes at least one of a heat generating element or a vibration actuator to the external electronic device through the communication circuit.
- a method of an electronic device includes an operation of acquiring haptic information for outputting haptic feedback synchronized with the media content in a state of outputting media content through a speaker and a display. can do.
- the method of the electronic device may include identifying capability information for haptic feedback supported by an external electronic device connected through a communication circuit.
- the method of the electronic device transmits haptic information adjusted by the capability information indicating whether the external electronic device includes at least one of a heat generating element or a vibration actuator to the external electronic device through the communication circuit. It may include actions such as:
- a computer-readable storage medium storing one or more programs
- the one or more programs when executed by a processor of an electronic device, output media content through a speaker and a display, and cause the processor of the electronic device to obtain haptic information for outputting haptic feedback synchronized with media content.
- the one or more programs when executed by the processor of the electronic device, cause the processor of the electronic device to identify capability information for haptic feedback supported by an external electronic device connected through a communication circuit.
- the one or more programs when executed by the processor of the electronic device, display haptic information adjusted by the capability information indicating whether the external electronic device includes at least one of a heating element or a vibration actuator, and the communication may cause the processor of the electronic device to transmit to the external electronic device through a circuit.
- FIG. 1A shows an example of a block diagram of an electronic device, according to an embodiment.
- FIG. 1B shows an example of a block diagram of an electronic device, according to an embodiment.
- FIG. 2A illustrates an example of media content output by an electronic device, according to an embodiment.
- FIG. 2B illustrates an example of media content output by an electronic device, according to an embodiment.
- FIG. 3 illustrates an example of media content output by an electronic device, according to an embodiment.
- Figure 4 shows an example of the frequency of an audio signal for obtaining haptic information, according to an embodiment.
- Figure 5 shows an example of haptic information, according to one embodiment.
- Figure 6 shows an example of a flowchart regarding the operation of an electronic device, according to an embodiment.
- Figure 7 shows an example of a flowchart regarding the operation of an electronic device, according to an embodiment.
- the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
- module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
- a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
- a module may be comprised of an application-specific integrated circuit (ASIC).
- ASIC application-specific integrated circuit
- FIG. 1A shows an example of a block diagram of an electronic device, according to an embodiment.
- FIG. 1B shows an example of a block diagram of an electronic device, according to an embodiment.
- 1A and/or the electronic device 101 of FIG. 1A may include a terminal that is owned by a user.
- terminals include personal computers (PCs) such as laptops and desktops, smartphones, smartpads, tablet PCs, smartwatches, and head-mounted devices (HMDs). It may include smart accessories such as:
- the terminal may include a device for augmented reality, such as augmented reality (AR) glasses.
- the terminal may include devices for virtual reality (VR), extended reality (XR), and/or mixed reality (MR).
- VR virtual reality
- XR extended reality
- MR mixed reality
- the electronic device 101 includes a processor 120, a memory 130, a display 140, a speaker 150, a communication circuit 160, and a heating element. (170) and may include at least one of the vibration actuator (180).
- the processor 120, memory 130, display 140, speaker 150, communication circuit 160, heating element 170, and vibration actuator 180 are connected to a communication bus (110) and They may be electrically and/or operably coupled to each other by the same electronic component.
- hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can. Although shown in different blocks, the embodiment is not limited thereto. Some of the hardware of FIGS.
- 1A and/or 1B may be implemented as a single integrated circuit, such as a system on a chip (SoC). It can be included in a single integrated circuit).
- SoC system on a chip
- the type and/or number of hardware included within the electronic device 101 is not limited to that shown in FIGS. 1A and/or 1B.
- the electronic device 101 may include only some of the hardware shown in FIGS. 1A and/or 1B.
- the electronic device 101 may include hardware for processing data based on one or more instructions.
- Hardware for processing data includes, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP).
- ALU arithmetic and logic unit
- FPU floating point unit
- FPGA field programmable gate array
- CPU central processing unit
- AP application processor
- the processor 120 has the structure of a single-core processor, or is a multi-core processor such as dual core, quad core, hexa core, or octa core. It may have a structure of
- the memory 130 of the electronic device 101 may include hardware components for storing data and/or instructions that are input and/or output to the processor 120 of the electronic device 101.
- the memory 130 may include volatile memory, such as random-access memory (RAM), and/or non-volatile memory, such as read-only memory (ROM).
- volatile memory may include at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
- non-volatile memory includes programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi-media (eMMC). card) may be included.
- the memory 130 may include a platform layer 135.
- programs classified by the platform layer 135 may be executed by the processor 120 of the electronic device 101.
- Programs divided by different blocks in FIG. 1A and/or FIG. 1B are stored within the memory 130 of the electronic device 101 based on a format executable by the processor 120 of the electronic device 101. It can be saved.
- programs designed to target any one of the programs classified into a different layer from the platform layer 135 e.g., environment analysis engine 135-1, motion and behavior analysis engine (135-2), color and tone analysis engine (135-3), effects analysis engine (135-4), sound analysis engine (135-5), and/or voice analysis engine (135-6)
- Programs classified as the platform layer 135 may provide an executable API (application programming interface) based on other programs.
- the electronic device 101 may include haptic information for outputting haptic feedback in the memory 130.
- the haptic information may include information for controlling the external electronic device 103, and/or the heating element 170 included in the electronic device 101, and/or the vibration actuator 180. there is.
- the haptic information may be obtained based on at least a portion of media content executed by the electronic device 101.
- the display 140 of the electronic device 101 may output visualized information to the user.
- the display 140 may be controlled by the processor 120 including a circuit such as a graphic processing unit (GPU) and output visualized information to the user.
- the display 140 may include a flat panel display (FPD) and/or electronic paper.
- the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
- the LED may include an organic LED (OLED).
- the speaker 150 of the electronic device 101 includes at least one voice coil that provides vibration to a diaphragm within the speaker 150, and a magnet that can form a magnetic field. may include.
- the magnetic field formed by the voice coil may interact with the magnetic field formed by the magnet, causing the voice coil to vibrate.
- the diaphragm connected to the voice coil may vibrate based on the vibration of the voice coil.
- the speaker 150 may output an audio signal based on the vibration of the diaphragm.
- the communication circuit 160 of the electronic device 101 may include hardware components to support transmission and/or reception of electrical signals between external electronic devices 103.
- the communication circuit 160 may include hardware components to support transmission and/or reception of electrical signals between the electronic device 101 and the external electronic device 103.
- the communication circuit 160 may include at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
- the communication circuit 160 includes Ethernet, local area network (LAN), wide area network (WAN), wireless fidelity (WiFi), Bluetooth, Bluetooth low energy (BLE), ZigBee, and long term (LTE). evolution) and 5G NR (5th generation new radio) may support transmission and/or reception of electrical signals based on various types of protocols.
- the communication circuit 160 is in association with a terminal such as a high definition multimedia interface (HDMI) connector, a universal serial bus (USB) connector, an SD card connector, or an audio connector. It may include HDMI, USB interface, SD card interface, or audio interface.
- HDMI high definition multimedia interface
- USB universal serial bus
- SD card connector Secure Digital Card
- audio connector an audio connector.
- the electronic device 101 may be electrically and/or operationally connected to the external electronic device 103 based on the above examples.
- the electronic device 101 and the external electronic device 103 may be connected through a communication circuit 160.
- the electronic device 101 may transmit haptic information obtained based on media content to the external electronic device 103 connected through the communication circuit 160.
- the external electronic device 103 that receives the haptic information may operate the heating element 170 and/or the vibration actuator 180 included in the external electronic device 103.
- the external electronic device 103 can control the temperature of the heating element 170.
- the external electronic device 103 can control the vibration of the vibration actuator 180.
- the external electronic device 103 and/or the electronic device 101 may include a heating element 170 or a vibration actuator 180.
- the heating element 170 or the vibration actuator 180 may be controlled by the processor 120 to change temperature or generate vibration.
- the heating element 170 may include a Peltier element.
- the heating element 170 may change the temperature based on the Peltier effect.
- the Peltier effect may be an effect that causes a change in temperature using the movement of heat generated by the flow of current.
- the vibration actuator 180 may include a piezoelectric element.
- the vibration actuator 180 may be controlled by the processor 120 and operate at a specified frequency and amplitude.
- the vibration actuator 180 may output haptic feedback to the user by having the specified frequency, amplitude, and/or period.
- the specified frequency, amplitude, and/or period may be obtained based on media content. The operation of acquiring haptic information for outputting haptic feedback by the heating element 170 and/or the vibration actuator 180 will be described later with reference to FIGS. 2A to 4 .
- the electronic device 101 may output media content through the speaker 150 and/or the display 140. While outputting the media content, the electronic device 101 may obtain haptic information to output haptic feedback synchronized with the media content. For example, the electronic device 101 may obtain haptic information stored in the memory 130 while outputting media content. For example, the haptic feedback may be related to heat or vibration regulated by components included within the electronic device 101. The electronic device 101 may acquire haptic information based on media content.
- the electronic device 101 may execute the color and tone analysis engine 135-3 in response to a call to a designated API based on execution of a software application for outputting media content.
- the electronic device 101 may analyze the frame of the media content based on execution of the color and tone analysis engine 135-3.
- the electronic device 101 may obtain haptic information from a frame of media content based on at least one of reference colors for forming a color space.
- the electronic device 101 may obtain the haptic information based on representative values of the reference colors.
- the representative value may include a maximum value, a minimum value, a mode value, a median value, and an average value.
- the electronic device 101 may obtain an average value for the colors of pixels in the frame based on at least one of the reference colors.
- the electronic device 101 may obtain haptic information based on the average value of the colors of pixels within the frame.
- reference colors for forming the color space may include red, green, blue (RGB), cyan, magenta, yellow (CMYK), hue, saturation, value (HSV), and YUV.
- the YUV may be configured based on a Y component that is a luminance component, a U component that is a blue chromatic aberration component, and a V component that is a red chromatic aberration component.
- the electronic device 101 may obtain haptic information for controlling temperature based on the RGB.
- the electronic device 101 may obtain RGB values corresponding to each of the pixels based on the colors of the pixels.
- the RGB value may include an R value (red value) indicating red, a G value (green value) indicating green, and a B value (blue value) indicating blue.
- the electronic device 101 may identify RGB values corresponding to each of the pixels included in the designated area.
- the electronic device 101 may identify the average value of RGB values of pixels included in a designated area.
- the electronic device 101 may obtain haptic information for outputting the first temperature based on identifying the R value of the average RGB values that is relatively high compared to the B value of the average RGB values.
- the electronic device 101 may obtain haptic information for outputting the second temperature based on identifying the B value of the average RGB value that is relatively high compared to the R value of the average RGB value.
- the first temperature may include a higher temperature than the second temperature. However, it is not limited to this.
- the electronic device 101 may identify an audio signal included in media content.
- the electronic device 101 executes the sound analysis engine 135-5 and/or the speech analysis engine 135-6 in response to a call to a designated API based on execution of a software application for outputting media content. You can.
- the electronic device 101 may analyze the audio signal included in the media content based on the execution of the sound analysis engine 135-5 and/or the voice analysis engine 135-6.
- the electronic device 101 can identify the frequency distribution of the audio signal. For example, the electronic device 101 may obtain haptic information corresponding to the first designated range based on an audio signal identified as the frequency of the first designated range.
- the electronic device 101 may obtain haptic information corresponding to the second designated range based on the audio signal identified as the frequency of the second designated range.
- the electronic device 101 may obtain haptic information corresponding to the third designated range based on the audio signal identified as the frequency of the third designated range.
- the first designated range may include approximately 10 to 100 hertz (hz).
- the second designated range may include about 100 to 1,000 hertz.
- the third specified range may include about 1,000 to 10,000 hertz.
- the electronic device 101 may obtain haptic information for outputting vibration of a first intensity based on identifying the audio signal in the first designated range.
- the electronic device 101 may acquire haptic information for outputting vibration of a second intensity based on identifying the audio signal in the second designated range.
- the electronic device 101 may obtain haptic information for outputting vibration of a third intensity based on identifying the audio signal in the third designated range.
- it is not limited to this. Descriptions related to the audio signal are described later in FIG. 4.
- the electronic device 101 in response to a call of a designated API based on the execution of a software application for outputting media content, executes an environment analysis engine 135-1 and/or an effect analysis engine ( 135-4) can be executed.
- the electronic device 101 may analyze frames included in the media content based on execution of the environment analysis engine 135-1 and/or the effect analysis engine 135-4.
- the electronic device 101 may identify frames included in media content.
- the electronic device 101 may perform scene analysis on frames included in the media content. For example, the scene analysis may be performed based on the environment analysis engine 135-1 and/or the effects analysis engine 135-4.
- the electronic device 101 may acquire haptic information based on the scene analysis.
- the scene analysis may be related to changes in the screen and the environment of the scene displayed within the screen.
- the scene analysis may be related to screen shaking or screen movement.
- the scene analysis may include specified events.
- the designated event may include visual effects such as firework effects, fog effects, and/or laser effects displayed within the screen.
- the electronic device 101 may obtain haptic information for controlling the vibration actuator 180 based on the scene analysis. Descriptions related to screen analysis are described later in FIGS. 2A to 2B. Descriptions related to the designated events are described later in FIG. 3.
- the electronic device 101 may execute the motion and behavior analysis engine 135-2 in response to a call to a designated API based on the execution of a software application for outputting media content.
- the electronic device 101 determines the motion and/or behavior of a visual object (e.g., virtual object) included in media content based on execution of the motion and behavior analysis engine 135-2. can be analyzed.
- the electronic device 101 may identify the motion and/or behavior of the visual object.
- the electronic device 101 may acquire haptic information based on the motion or behavior of the visual object.
- the electronic device 101 may identify the walking motion of the visual object.
- the electronic device 101 may acquire haptic information for controlling the vibration actuator 180 of an external electronic device based on the motion of a visual object.
- the electronic device 101 may acquire vibration information in response to a part of the visual object (eg, a foot of the virtual object) touching the ground displayed in the media content.
- the electronic device 101 may transmit haptic information including the vibration information to an external electronic device based on obtaining the vibration information.
- the operation of analyzing the motion and/or behavior of a visual object is described later in FIG. 2A.
- the electronic device 101 includes an environment analysis engine 135-1, a motion and behavior analysis engine 135-2, and a color and tone analysis engine 135-3 included in the platform layer 135. ), based on the execution of the effect analysis engine 135-4, the sound analysis engine 135-5, and/or the voice analysis engine 135-6, to analyze the media content output by the electronic device 101 can do.
- the electronic device 101 includes hardware (e.g., neural processing unit (NPU), and/or graphic processing unit (GPU)) for performing operations related to artificial intelligence, and functions related to artificial intelligence.
- the media content may be analyzed based on a software application for providing and/or an external electronic device (eg, a server related to the artificial intelligence).
- the electronic device 101 may obtain haptic information for outputting haptic feedback based on analysis of the media content.
- the electronic device 101 may obtain haptic information corresponding to the acquired data from the memory based on data obtained based on analysis of the media content.
- the electronic device 101 may acquire haptic information based on movement of the screen.
- the electronic device 101 may acquire haptic information to output haptic feedback corresponding to movement of the screen.
- the electronic device 101 may acquire haptic information for outputting vibration feedback from left to right based on the screen moving from left to right.
- the vibration feedback output from left to right may include vibration feedback generated based on a single external electronic device 103.
- the vibration feedback output from left to right may include vibration feedback generated based on a plurality of external electronic devices.
- the external electronic device is a wearable device such as a glove worn by the user
- an operation of generating vibration feedback from a first external electronic device worn on the left hand to a second external electronic device worn on the right hand is included. can do. However, it is not limited to this.
- the electronic device 101 may acquire haptic information for representing texture.
- the electronic device 101 may acquire haptic information for controlling haptic feedback of the vibration actuator 180.
- Haptic information for expressing the texture may be related to a frequency for controlling the vibration actuator 180.
- haptic information for expressing the texture may be related to the amplitude and/or period of the frequency for controlling the vibration actuator 180.
- the electronic device 101 may acquire haptic information for controlling the heat generated by the heating element 170.
- haptic information for controlling heat generated by the heating element 170 may include information related to current and/or voltage for controlling the heating element 170.
- the electronic device 101 may indicate an output of a relatively high temperature to an external electronic device based on haptic information indicating the flow of a relatively high current.
- the electronic device 101 may identify a plurality of heating elements included in the external electronic device 103.
- the electronic device 101 may transmit haptic information for controlling each of the heating elements to the external electronic device 103.
- the electronic device 101 may identify information related to the positions of a plurality of heating elements included in the external electronic device 103.
- the electronic device 101 may transmit haptic information for controlling each of the plurality of heat-generating elements based on identifying the information related to the positions of the plurality of heat-generating elements.
- the electronic device 101 may obtain haptic information for controlling each of the plurality of heating elements based on media content.
- the electronic device 101 may identify first heating elements disposed in the first area among the plurality of heating elements.
- the first area may include the left area of the external electronic device 103.
- the electronic device 101 may obtain first haptic information for controlling the first heating elements.
- the electronic device 101 may identify second heat-generating elements disposed in the second area among the plurality of heat-generating elements.
- the second area may include the right area of the external electronic device 103.
- the electronic device 101 may obtain second haptic information for controlling the second heating elements.
- the electronic device 101 may transmit the first haptic information and the second haptic information to the external electronic device 103.
- the electronic device 101 may sequentially transmit the first haptic information and the second haptic information.
- the electronic device 101 may sequentially change the temperatures of the first area and the second area by sequentially transmitting the first haptic information and the second haptic information.
- the first area and the second area are examples and are not limited thereto.
- the positions of the first area and the second area are not limited.
- the number of regions eg, first region and/or second region
- the electronic device 101 may acquire haptic information stored in the memory 130.
- the haptic information stored in the memory 130 may include first information for controlling the heating element 170.
- the haptic information stored in the memory 130 may include second information for controlling the vibration actuator 180.
- the haptic information may include hardware (e.g., neural processing unit (NPU), and/or graphic processing unit (GPU)) for performing operations related to artificial intelligence, and for providing functions related to artificial intelligence. It may be generated based on information obtained based on software and/or an external electronic device (eg, a server related to the artificial intelligence).
- NPU neural processing unit
- GPU graphic processing unit
- the electronic device 101 includes programs included in the platform layer 135 (e.g., environment analysis engine 135-1, motion and behavior analysis engine 135-2, color and tone analysis). Media content may be analyzed based on the engine 135-3, effects analysis engine 135-4, sound analysis engine 135-5, and/or voice analysis engine 135-6.
- the electronic device 101 may obtain haptic information as shown in Table 1 below, based on analyzing the media content.
- the electronic device 101 may analyze the background of a screen displayed based on media content.
- the electronic device 101 may execute an environment analysis engine 135-1 to analyze the background of the screen.
- the electronic device 101 may obtain haptic information for expressing the environment on the screen based on execution of the environment analysis engine 135-1.
- the electronic device 101 can represent the screen environment and obtain haptic information to control the heating element 170.
- the electronic device 101 may analyze the motion and/or behavior of visual objects included in media content.
- the electronic device 101 may execute a motion and behavior analysis engine 135-2 to analyze the motion and/or behavior of the visual object.
- the electronic device 101 may acquire haptic information for expressing the motion and/or behavior of the visual object based on execution of the motion and behavior analysis engine 135-2.
- haptic information for expressing the motion and/or behavior of the visual object may include haptic information for controlling the vibration actuator 180.
- the electronic device 101 may analyze the color and/or tone of the displayed screen based on media content.
- the electronic device 101 may execute a color and tone analysis engine 135-3 to analyze the color and/or tone of the screen.
- the electronic device 101 may obtain haptic information for expressing the color and/or tone of the screen based on execution of the color and tone analysis engine 135-3.
- haptic information for expressing the color and/or tone of the screen may include haptic information for controlling the heating element 170.
- the electronic device 101 may identify a visual effect that is output while outputting media content.
- the visual effects may include visual effects such as firework effects, fog effects, and/or laser effects.
- the visual effect may include a visual effect set to output haptic feedback.
- the electronic device 101 may execute an effect analysis engine 135-4 to analyze the visual effect based on identifying the visual effect.
- the electronic device 101 may acquire haptic information for expressing the visual effect based on execution of the effect analysis engine 135-4.
- haptic information for expressing the visual effect may include haptic information for controlling the heating element 170 and/or the vibration actuator 180.
- the electronic device 101 may perform scene analysis on frames included in media content.
- the electronic device 101 may perform the scene analysis based on screen shaking and/or screen movement.
- the electronic device 101 may execute the effect analysis engine 135-4 for scene analysis.
- the electronic device 101 may acquire haptic information for expressing the screen shaking and/or screen movement based on the execution of the effect analysis engine 135-4.
- the haptic information for expressing screen shaking and/or screen movement may include haptic information for controlling the vibration actuator 180.
- the electronic device 101 may analyze sound and/or voice output based on media content.
- the electronic device 101 may execute a sound analysis engine 135-5 to analyze the sound.
- the electronic device 101 may obtain haptic information for expressing the sound based on execution of the sound analysis engine 135-5.
- the haptic information for expressing the sound may include haptic information for controlling the vibration actuator 180.
- the electronic device 101 may analyze voice output based on media content.
- the electronic device 101 may execute a voice analysis engine 135-6 to analyze the voice.
- the electronic device 101 may obtain haptic information for expressing the voice based on the execution of the voice analysis engine 135-6.
- haptic information for expressing the voice may include haptic information for controlling the vibration actuator 180.
- the electronic device 101 may transmit haptic information to the external electronic device 103.
- the electronic device 101 can identify components included within the external electronic device 103.
- the electronic device 101 connected to the external electronic device 103 through the communication circuit 160 is configured to output haptic feedback included in the external electronic device 103 through the communication circuit 160.
- Capability information related to components can be obtained.
- the electronic device 101 may transmit a first signal for obtaining the capability information to the external electronic device 103.
- the electronic device 101 may receive a second signal including the capability information indicating whether it includes at least one of the heating element 170 or the vibration actuator 180 from the external electronic device 103. .
- the electronic device 101 may identify the capability information based on receiving the second signal.
- the electronic device 101 may identify capability information of the external electronic device 103.
- the electronic device 101 may identify capability information for haptic feedback supported by the external electronic device 103.
- the electronic device 101 may selectively transmit haptic information based on identifying the capability information.
- the electronic device 101 uses the heating element 170 based on the fact that the external electronic device 103 includes the heating element 170 among the heating element 170 and the vibration actuator 180.
- First information which is haptic information for control, can be transmitted to the external electronic device 103.
- the electronic device 101 uses the vibration actuator 180 based on the fact that the external electronic device 103 includes the vibration actuator 180 among the heating element 170 and the vibration actuator 180.
- Second information for control may be transmitted to the external electronic device 103.
- the electronic device 101 may identify first information for controlling the heating element 170 included in haptic information.
- the electronic device 101 may identify second information for controlling the vibration actuator 180 included in the haptic information.
- the electronic device 101 provides first information for controlling the heating element 170 to the vibration actuator 180 based on identifying the vibration actuator 180 among the heating element 170 and the vibration actuator 180. It can be changed to third information for controlling.
- the electronic device 101 may obtain third information corresponding to the first information.
- the electronic device 101 may change first information for adjusting the heating element 170 to the first temperature into third information for outputting vibration of the first intensity.
- the electronic device 101 may transmit the second information and the third information to the external electronic device 103 based on changing the first information to the third information.
- the external electronic device 103 that has received the second information and the third information may output haptic feedback based on at least one of the second information or the third information.
- the electronic device 101 may identify second information for controlling the vibration actuator 180 included in haptic information.
- the electronic device 101 may identify first information for controlling the heating element 170 included in the haptic information. Based on identifying the heating element 170 among the heating element 170 and the vibration actuator 180, the electronic device 101 provides second information for controlling the vibration actuator 180 to the heating element 170. ) can be changed to fourth information for controlling.
- the electronic device 101 may acquire fourth information corresponding to the second information.
- the electronic device 101 may transmit the fourth information to the external electronic device 103 based on the acquisition of the fourth information.
- the electronic device 101 may obtain haptic information to output haptic feedback synchronized with media content. For example, the electronic device 101 may adjust the first information for controlling the heating element 170 included in the haptic information. For example, the electronic device 101 may adjust the first information based on capability information of the external electronic device 103. The capability information may be related to specifications of the heating element 170 and/or the vibration actuator 180. For example, the electronic device 101 may adjust the haptic feedback output by the heating element 170 based on capability information of the heating element 170 included in the external electronic device 103. The electronic device 101 may transmit the adjusted first information to the external electronic device 103. According to one embodiment, the electronic device 101 may adjust second information for controlling the vibration actuator 180 included in haptic information.
- the electronic device 101 may adjust haptic feedback output by the vibration actuator 180 based on capability information of the vibration actuator 180 included in the external electronic device 103.
- the electronic device 101 may transmit the adjusted second information to the external electronic device 103 based on adjusting the second information included in the haptic information.
- the electronic device 101 while outputting media content, may obtain haptic information for outputting haptic feedback synchronized with the media content.
- the electronic device 101 may identify capability information for haptic feedback supported by the external electronic device 103 connected through the communication circuit 160.
- the electronic device 101 may transmit haptic information adjusted by the capability information indicating whether the external electronic device 103 includes at least one of a heating element 170 or a vibration actuator 180. .
- the electronic device 101 may enhance the user experience of the electronic device 101 and/or the external electronic device 103 by transmitting the adjusted haptic information.
- FIG. 2A illustrates an example of media content output by an electronic device, according to an embodiment.
- FIG. 2B illustrates an example of media content output by an electronic device, according to an embodiment.
- the electronic device 101 of FIGS. 2A and 2B may include the electronic device 101 of FIGS. 1A and/or 1B.
- the operations of FIGS. 2A-2B may be executed by the processor 120 of FIGS. 1A and/or 1B.
- the electronic device 101 includes a speaker (e.g., speaker 150 in FIGS. 1A and/or 1B) and a display (e.g., the speaker 150 in FIG. 1A and/or 1B). , and/or the media content may be output through the display 140 of FIG. 1B.
- the electronic device 101 may obtain haptic information for outputting haptic feedback synchronized with the media content while outputting the media content.
- 2A and/or 2B may be an example of an electronic device 101 that performs scene analysis to obtain the haptic information.
- the electronic device 101 may output media content.
- the electronic device 101 may display a screen 200 related to media content through a display.
- the electronic device 101 may perform scene analysis of the screen 200.
- the scene analysis may include recognition of objects displayed within the screen 200, analysis of feature points, and/or scene analysis based on an artificial intelligence model.
- the electronic device 101 may perform scene analysis based on a frame displayed on the screen 200.
- the electronic device 101 may identify the environment displayed on the screen 200.
- an example of FIG. 2A may include an example of media content including an icy mountain.
- the electronic device 101 may obtain haptic information for representing the screen 200 based on identifying the ice mountain within the screen 200.
- the electronic device 101 acquires haptic information for controlling a heating element (e.g., the heating element 170 in FIG. 1A) of an external electronic device (e.g., the external electronic device 103 in FIG. 1A). can do.
- the electronic device 101 may obtain temperature information to output haptic feedback of a specified temperature.
- the electronic device 101 may transmit haptic information including the temperature information to an external electronic device based on obtaining the temperature information.
- the electronic device 101 may identify the visual object 210 displayed on the screen 200.
- the electronic device 101 can identify the motion of the visual object 210.
- the electronic device 101 may acquire haptic information based on the motion or movement of the visual object 210.
- the electronic device 101 may identify the walking motion of the visual object 210.
- the electronic device 101 may acquire haptic information for controlling a vibration actuator (e.g., the vibration actuator 180 in FIG. 1A) of an external electronic device based on the motion of the visual object 210.
- the electronic device 101 may acquire vibration information in response to a portion (eg, a foot) of the visual object 210 touching the ground displayed on the screen.
- the electronic device 101 may transmit haptic information including the vibration information to an external electronic device based on acquiring the vibration information.
- the electronic device 101 may output media content.
- the electronic device 101 may display a screen 250 related to the media content.
- the electronic device 101 may identify a visual object 260 included in the screen 250.
- the electronic device 101 may obtain haptic information related to the visual object 260 based on identifying the visual object 260 .
- haptic information related to the visual object 260 may be related to controlling a heating element of an external electronic device.
- the visual object 260 may be directly or indirectly related to temperature, such as fire, water, or ice.
- the electronic device 101 may obtain haptic information for representing the visual object 260 based on identifying the visual object 260 related to the temperature.
- the electronic device 101 may acquire temperature information to express fire in order to express a relatively high temperature compared to ice.
- the electronic device 101 may transmit the temperature information to an external electronic device.
- the electronic device 101 can output media content through a speaker and a display.
- the electronic device 101 may perform scene analysis of the media content while outputting the media content.
- the electronic device 101 may obtain haptic information for controlling a heating element or a vibration actuator based on the scene analysis.
- the electronic device 101 may transmit the haptic information to an external electronic device.
- the electronic device 101 may enhance the user experience of the electronic device 101 or an external electronic device by transmitting haptic information obtained based on scene analysis to an external electronic device.
- FIG. 3 illustrates an example of media content output by an electronic device, according to an embodiment.
- the electronic device 101 of FIG. 3 may include the electronic device 101 of FIGS. 1A, 1B, 2A, and/or 2B.
- the operations of FIG. 3 may be executed by the processor 120 of FIGS. 1A and/or 1B.
- the electronic device 101 includes a speaker (e.g., speaker 150 in FIG. 1A and/or FIG. 1B) and a display (e.g., FIG. 1A and/or FIG. 1B).
- Media content can be output through the display 140).
- the electronic device 101 may display a screen 300 related to media content.
- the electronic device 101 may identify a designated event displayed within the screen 300 based on the display of the screen 300.
- the designated event may include visual effects displayed within the screen 300, such as firework effects, fog effects, and/or laser effects.
- the designated event may include a visual effect set to output haptic feedback among the visual effects displayed through the screen 300.
- the electronic device 101 may obtain haptic information for outputting haptic feedback to represent the specified event, based on identifying the specified event.
- the haptic information for outputting the haptic feedback may include information for controlling a vibration actuator (eg, the vibration actuator 180 in FIGS. 1A and/or 1B).
- the electronic device 101 may identify a visual object 310 related to a specified event.
- the electronic device 101 may obtain haptic information corresponding to the visual object 310 based on identifying the visual object 310 related to the designated event.
- the electronic device 101 may obtain haptic information based on the size of the visual object 310.
- the electronic device 101 may acquire haptic information to generate stronger vibration feedback as the size of the visual object 310 becomes larger.
- the electronic device 101 may obtain haptic information based on at least one of the reference colors of the visual object 310.
- the electronic device 101 may obtain the haptic information based on representative values of the reference colors.
- the representative value may include a maximum value, a minimum value, a mode value, a median value, and an average value.
- the electronic device 101 may obtain the haptic information based on the colors of pixels forming the visual object 310.
- the electronic device 101 may identify RGB values of pixels forming the visual object 310.
- the electronic device 101 may obtain haptic information for controlling the temperature of the heating element based on the R value being identified as being relatively larger than the B value among the identified RGB values.
- the electronic device 101 may obtain haptic information to output the temperature of the heating element relatively higher than when the B value is identified, based on the fact that the R value is identified as relatively large compared to the B value. there is.
- the electronic device 101 may identify RGB values of pixels forming the visual object 310.
- the electronic device 101 may obtain haptic information based on the RGB values of pixels forming the visual object 310.
- the electronic device 101 may obtain the average value of the R value, G value, and B value constituting the RGB values obtained based on the pixels forming the visual object 310.
- the electronic device 101 may obtain haptic information based on the average value of each of the R value, G value, and B value.
- the electronic device 101 may identify that the average value of R values forming the visual object 310 is greater than the average value of B values forming the visual object 310.
- the electronic device 101 acquires haptic information to output a high temperature for expressing the visual object 310, based on identifying the average value of the R value as being greater than the average value of the B value. can do.
- the electronic device 101 may identify the average value of B values forming the visual object 310 as being greater than the average value of R values forming the visual object 310 .
- the electronic device 101 acquires haptic information to output a low temperature for expressing the visual object 310, based on identifying the average value of the B value as being greater than the average value of the R value. can do.
- the electronic device 101 may obtain haptic information related to a specified temperature corresponding to the average value of the R value or the average value of the B value.
- the electronic device 101 may transmit haptic information obtained based on RGB values forming the visual object 310 to an external electronic device.
- the electronic device 101 may output media content.
- the electronic device 101 may identify a designated event while outputting the media content.
- the electronic device 101 may identify a visual object 310 related to the specified event.
- the electronic device 101 may obtain haptic information related to the visual object 310 based on identifying the visual object 310 .
- the electronic device 101 may obtain haptic information to represent the visual object 310.
- the electronic device 101 may transmit haptic information for representing the visual object 310 to an external electronic device.
- the electronic device 101 may enhance the user experience of the electronic device 101 and/or the external electronic device by transmitting the haptic information for representing the visual object 310 to an external electronic device.
- Figure 4 shows an example of the frequency of an audio signal for obtaining haptic information, according to an embodiment.
- the electronic device 101 of FIG. 4 may include the electronic device 101 of FIGS. 1A, 1B, 2A, 2B, and/or 3.
- the operations of FIG. 4 may be executed by the processor 120 of FIG. 1A and/or FIG. 1B.
- the electronic device 101 includes a speaker (e.g., speaker 150 in FIGS. 1A and/or 1B) and a display (e.g., the speaker 150 in FIGS. 1A and/or 1B).
- Media content can be output through the display 140).
- the electronic device 101 may obtain haptic information for outputting haptic feedback synchronized with the media content while outputting the media content.
- An example of FIG. 4 may include an example of an audio signal output through the speaker.
- the electronic device 101 may identify an audio signal of the first frequency 410.
- the first frequency 410 may include a frequency between about 10 and 100 hertz.
- the electronic device 101 may obtain haptic information including haptic data corresponding to the first frequency 410 based on identifying the audio signal of the first frequency 410 .
- the electronic device 101 may acquire first haptic information for expressing an audio signal corresponding to the first frequency 410.
- the first haptic information may include information for outputting a vibration actuator (eg, the vibration actuator 180 of FIGS. 1A and/or 1B) at a first intensity.
- the electronic device 101 may identify an audio signal of the second frequency 420.
- the second frequency 420 may include about 100 to about 1,000 hertz.
- the electronic device 101 may obtain haptic information including haptic data corresponding to the second frequency 420 based on identifying the audio signal of the second frequency 420 .
- the electronic device 101 may obtain second haptic information to represent an audio signal corresponding to the second frequency 420.
- the second haptic information may include information for outputting the vibration actuator at a second intensity.
- the electronic device 101 may identify an audio signal of the third frequency 430.
- the third frequency 430 may include approximately 1,000 to 10,000 hertz.
- the electronic device 101 may obtain haptic information including haptic data corresponding to the third frequency 430 based on identifying the audio signal of the third frequency 430.
- the electronic device 101 may acquire third haptic information for expressing an audio signal corresponding to the third frequency 430.
- the third haptic information may include information for outputting the vibration actuator at a third intensity.
- the first intensity may include a relatively weak intensity compared to the second intensity.
- the second intensity may include an intensity that is relatively strong compared to the first intensity and an intensity that is relatively weak compared to the third intensity.
- the third intensity may include an intensity that is relatively strong compared to the first intensity and the second intensity.
- the intensity may refer to the vibration intensity of the vibration actuator.
- the electronic device 101 may transmit the haptic information obtained based on the audio signal to an external electronic device.
- the electronic device 101 may transmit the haptic information obtained based on the frequency of the audio signal to the external electronic device.
- the electronic device 101 may obtain haptic information for controlling the vibration actuator based on the frequency of the audio signal output through the speaker.
- the electronic device 101 may store the haptic information in a memory (e.g., memory 130 of FIGS. 1A and/or 1B) based on the acquisition of the haptic information.
- the electronic device 101 may load haptic information stored in the memory based on the frequency of the identified audio signal.
- the electronic device 101 may transmit the loaded haptic information to an external electronic device.
- the electronic device 101 can output media content through a speaker and a display.
- the electronic device 101 may identify an audio signal included in the media content while outputting the media content.
- the electronic device 101 can identify the frequency of the audio signal.
- the electronic device 101 may obtain haptic information for outputting haptic feedback corresponding to the frequency, based on the frequency of the audio signal.
- the electronic device 101 may transmit the haptic information to an external electronic device based on obtaining the haptic information for outputting the haptic feedback.
- the electronic device 101 may enhance the user experience of the electronic device 101 and/or the external electronic device by transmitting the haptic information obtained based on the audio signal to the external electronic device.
- Figure 5 shows an example of haptic information, according to one embodiment.
- the electronic device 101 of FIG. 5 may include the electronic device 101 of FIGS. 1A, 1B, 2A, 2B, 3, and/or 4.
- the operations of FIG. 5 may be executed by the processor 120 of FIG. 1A and/or FIG. 1B.
- the electronic device 101 may acquire haptic information for controlling a vibration actuator (e.g., the vibration actuator 180 of FIGS. 1A and/or 1B).
- a vibration actuator e.g., the vibration actuator 180 of FIGS. 1A and/or 1B.
- An example of FIG. 5 is an example of a frequency transmitted to an external electronic device including a vibration actuator (e.g., the external electronic device 103 of FIG. 1A) or output by a vibration actuator included in the electronic device 101. may include.
- the electronic device 101 may transmit haptic information for adjusting the frequency output by the vibration actuator to an external electronic device.
- the electronic device 101 may adjust the current and/or voltage of the frequency.
- the electronic device 101 may transmit haptic information including the current and/or voltage of the frequency to an external electronic device based on adjusting the current and/or voltage of the frequency.
- the horizontal axis of the graph shown in FIG. 5 may indicate time.
- the vertical axis of the graph shown in FIG. 5 may represent voltage. However, it is not limited to this.
- the electronic device 101 may obtain haptic information for outputting haptic feedback synchronized with the media content. It may include an example of a frequency waveform of the first form 510 to the third form 530 of FIG. 5 . However, it is not limited to this.
- the frequency waveforms of the first form 510 to the third form 530 may include a frequency waveform output by a vibration actuator. However, it is not limited to this.
- the electronic device 101 may acquire haptic information including a frequency waveform of the first type 510.
- the electronic device 101 may obtain haptic information including a frequency waveform of the first type 510 based on identifying the first visual object included in the media content.
- the first visual object may include an object with a smooth texture, such as an ice cube.
- the electronic device 101 may transmit haptic information including the frequency waveform of the first type 510 to an external electronic device.
- the haptic information including the frequency waveform of the first shape 510 may include haptic information for expressing a smooth texture such as an ice cube.
- the electronic device 101 may acquire haptic information including a frequency waveform of the second type 520.
- the electronic device 101 may obtain haptic information including a frequency waveform of the second type 520 based on identifying a second visual object included in the media content.
- the second visual object may include an object with a regular and rough texture, such as the surface of wood.
- the same electronic device 101 may transmit haptic information including the frequency waveform of the second type 520 to an external electronic device.
- the haptic information including the frequency waveform of the second form 520 may include haptic information for expressing a regular, rough texture such as the surface of a tree. But it is not limited to this.
- the electronic device 101 may acquire haptic information including a frequency waveform of the third type 530.
- the electronic device 101 may obtain haptic information including a frequency waveform of the third type 530 based on identifying a third visual object.
- the third visual object may include an object with an irregular and rough texture, such as a scrub brush (rough-sponge).
- the electronic device 101 may transmit haptic information including the frequency waveform of the third type 530 to an external electronic device.
- the haptic information including the frequency waveform of the third form 530 may include haptic information for expressing an irregular and rough texture, such as a scrub brush.
- the electronic device 101 may output media content.
- the electronic device 101 may identify visual objects included in the media content while outputting the media content.
- the electronic device 101 may obtain haptic information for expressing a texture corresponding to the visual object, based on identifying the visual object.
- the electronic device 101 may transmit the haptic information to an external electronic device.
- the electronic device 101 transmits haptic information for expressing a texture corresponding to the visual object to an external electronic device, and the external electronic device can control a vibration actuator based on the haptic information.
- the electronic device 101 and/or the external electronic device may enhance the user experience of the electronic device 101 and/or the external electronic device by controlling the vibration actuator based on haptic information for expressing texture.
- Figure 6 shows an example of a flowchart regarding the operation of an electronic device, according to an embodiment.
- the electronic device of FIG. 6 may include the electronic device 101 of FIGS. 1A, 1B, 2A, 2B, 3, 4, and/or 5.
- the operations of FIG. 6 may be executed by the processor 120 of FIG. 1A and/or FIG. 1B.
- each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
- the electronic device uses a speaker (e.g., speaker 150 in FIG. 1A and/or FIG. 1B) and a display (e.g., speaker 150 in FIG. 1A and/or FIG. Media content can be output through the display 140 of 1b.
- the electronic device may obtain haptic information to output haptic feedback synchronized with the media content while outputting the media content.
- the haptic information may be generated from a heating element (e.g., the heating element 170 of FIG. 1A) included in an external electronic device (e.g., the external electronic device 103 of FIG. 1A), and/or a vibration actuator (e.g. , may include information for controlling the vibration actuator 180 of FIG. 1A.
- the haptic information may be related to haptic feedback generated by the heating element and/or the vibration actuator.
- the electronic device may identify capability information for haptic feedback supported by an external electronic device connected through a communication circuit (e.g., the communication circuit 160 of FIG. 1A).
- the capability information may be related to components included in an external electronic device.
- the capability information may be related to whether components are included in an external electronic device.
- the capability information may be related to specifications of the components included in the external electronic device.
- the electronic device may identify capability information indicating whether the external electronic device includes at least one of a heat generating element or a vibration actuator.
- the electronic device may adjust haptic information based on identifying the capability information. For example, based on the capability information, the electronic device may identify first information for controlling a heating element included in the haptic information. For example, based on the capability information, the electronic device may identify second information for controlling a vibration actuator included in the haptic information. For example, the electronic device may change the first information to third information based on identifying capability information related to the vibration actuator among the heat generating element and the vibration actuator. For example, the electronic device may change the first information into third information for controlling the vibration actuator based on identifying the capability information.
- the electronic device may change the second information into fourth information based on identifying capability information related to the heat-generating element among the heat-generating element and the vibration actuator. For example, the electronic device may change the second information into fourth information for controlling a heating element based on identifying the capability information.
- the electronic device may transmit haptic information including the changed information to an external electronic device. For example, the electronic device may transmit haptic information adjusted by capability information indicating whether the external electronic device includes at least one of a heating element or a vibration actuator to the external electronic device through a communication circuit.
- the electronic device can output media content.
- the electronic device may obtain haptic information related to the media content while outputting the media content.
- the electronic device can obtain haptic information to output haptic feedback synchronized with the media content.
- the electronic device may identify capability information for haptic feedback supported by an external electronic device connected through a communication circuit.
- the electronic device may identify capability information indicating whether the external electronic device includes at least one of a heat generating element or a vibration actuator.
- the electronic device may adjust haptic information based on capability information indicating whether the external electronic device includes at least one of the heating element or the vibration actuator.
- the electronic device may transmit the adjusted haptic information to an external electronic device through a communication circuit.
- the electronic device may enhance the user experience of the electronic device by adjusting haptic information based on identifying capability information of an external electronic device and transmitting the adjusted haptic information.
- Figure 7 shows an example of a flowchart regarding the operation of an electronic device, according to an embodiment.
- the electronic device of FIG. 7 may include the electronic device 101 of FIGS. 1A, 1B, 2A, 2B, 3, 4, and/or 5, and/or the electronic device of FIG. 6. .
- the operations of FIG. 7 may be executed by the processor 120 of FIG. 1A and/or FIG. 1B.
- each operation may be performed sequentially, but is not necessarily performed sequentially.
- the order of each operation may be changed, and at least two operations may be performed in parallel.
- the electronic device uses a speaker (e.g., speaker 150 in FIG. 1A and/or FIG. 1B) and a display (e.g., speaker 150 in FIG. 1A and/or FIG. 1B).
- Media content can be output through the display 140 of 1b.
- the electronic device may obtain haptic information related to the media content while outputting the media content.
- the electronic device may obtain haptic information to output haptic feedback synchronized with the media content while outputting the media content.
- the electronic device may obtain the haptic information based on a frame of media content and/or an audio signal.
- the electronic device connects to an external electronic device (e.g., the external electronic device (e.g., the external electronic device of FIG. 1a) connected through a communication circuit (e.g., the communication circuit 160 of FIG. 1A and/or FIG. 1B).
- Capability information for haptic feedback supported by 103) can be identified.
- the capability information may be related to components included in an external electronic device.
- the capability information may be related to specifications of components included in an external electronic device.
- the electronic device may identify whether the external electronic device includes a heating element and a vibration actuator based on capability information.
- the electronic device can identify a heating element included in an external electronic device.
- the electronic device can identify a vibration actuator included within the external electronic device.
- the electronic device may transmit haptic information. For example, the electronic device may identify first information for controlling a heating element included in the haptic information. The electronic device may identify second information for controlling the vibration actuator included in the haptic information. The electronic device may transmit the first information and the second information to the external electronic device based on identifying that the external electronic device includes a heat generating element and a vibration actuator.
- the electronic device is configured to configure the external electronic device to include at least one of a heating element or a vibration actuator. You can identify whether you are doing it or not. For example, the electronic device can identify whether the external electronic device includes the heating element. For example, the electronic device can identify a heating element included in the external electronic device. For example, the electronic device may identify whether the external electronic device includes the vibration actuator. For example, the electronic device may identify a vibration actuator included in the external electronic device.
- the electronic device may identify a vibration actuator included in the external electronic device.
- the electronic device may change the first information included in the haptic information into third information based on identifying the vibration actuator included in the external electronic device.
- the first information may include information for controlling a heating element.
- the third information may include information for controlling a vibration actuator.
- the electronic device may transmit the second information and third information to an external electronic device based on changing the first information to the third information.
- the second information may include information for controlling a vibration actuator.
- the electronic device may identify the heating element included in the external electronic device.
- the electronic device may change the second information included in the haptic information into the fourth information based on identifying the heating element included in the external electronic device.
- the second information may include information for controlling a vibration actuator.
- the fourth information may include information for controlling a heating element.
- the electronic device may transmit the third information and the fourth information to an external electronic device based on changing the second information to the fourth information.
- an electronic device may change haptic information based on capability information of an external electronic device.
- the electronic device may change the haptic information based on capability information for haptic feedback supported by an external electronic device.
- the electronic device may adjust the haptic information based on specifications of components included in the external electronic device.
- an electronic device can identify components included in an external electronic device.
- the electronic device may change haptic information obtained from media content based on components included in the external electronic device.
- the electronic device may change the haptic information based on capability information for haptic feedback supported by an external electronic device.
- the electronic device may change the haptic information and transmit it to an external electronic device, thereby enhancing the user experience of the electronic device and/or the external electronic device.
- the electronic device 101 may include a display 140, a speaker 150, a communication circuit 160, and a processor 120.
- the processor 120 may obtain haptic information to output haptic feedback synchronized with the media content while the media content is being output through the speaker 150 and the display 140.
- the processor 120 may identify capability information about haptic feedback supported by the external electronic device 103 connected through the communication circuit 160.
- the processor 120 sends haptic information adjusted by the capability information indicating whether the external electronic device 103 includes at least one of a heating element 170 or a vibration actuator 180 to the communication circuit. It can be transmitted to the external electronic device 103 through (160).
- the electronic device 101 while outputting media content, may obtain haptic information for outputting haptic feedback synchronized with the media content.
- the electronic device 101 may identify capability information for haptic feedback supported by the external electronic device 103 connected through the communication circuit 160.
- the electronic device 101 may transmit haptic information adjusted by the capability information indicating whether the external electronic device 103 includes at least one of a heating element 170 or a vibration actuator 180. .
- the electronic device 101 may enhance the user experience of the electronic device 101 and/or the external electronic device 103 by transmitting the adjusted haptic information.
- the processor 120 calculates, from a frame of the media content, an average of the colors of pixels within the frame, based on at least one of reference colors for forming a color space.
- the value can be obtained.
- the processor 120 may obtain the haptic information based on the average value.
- the processor 120 may obtain the haptic information based on the frequency distribution of the audio signal included in the media content.
- the processor 120 may obtain the haptic information based on scene analysis of frames included in the media content.
- the processor 120 may obtain the haptic information based on the motion of a visual object identified within frames included in the media content.
- the processor 120 may provide first information for controlling the heating element 170 included in the haptic information or first information for controlling the vibration actuator 180 included in the haptic information. 2 Information can be identified.
- the processor 120 may change the first information into third information for controlling the vibration actuator 180, based on identifying the capability information.
- the processor 120 may change the second information into fourth information for controlling the heating element 170 based on identifying the capability information.
- the method of the electronic device 101 is to synchronize with the media content within the state of outputting the media content through the speaker 150 and the display 140. It may include an operation of acquiring haptic information to output haptic feedback.
- the method of the electronic device 101 may include identifying capability information for haptic feedback supported by an external electronic device 103 connected through the communication circuit 160.
- the method of the electronic device 101 includes haptic information adjusted by the capability information indicating whether the external electronic device 103 includes at least one of a heating element 170 or a vibration actuator 180. , may include an operation of transmitting to the external electronic device 103 through the communication circuit 160.
- the method of the electronic device 101 determines the color of pixels within the frame based on at least one of reference colors for forming a color space from a frame of the media content. It may include an operation of obtaining an average value for the values. The method of the electronic device 101 may include an operation of acquiring the haptic information based on the average value.
- the method of the electronic device 101 may include an operation of acquiring the haptic information based on the frequency distribution of the audio signal included in the media content.
- the method of the electronic device 101 may include an operation of acquiring the haptic information based on scene analysis of frames included in the media content.
- the method of the electronic device 101 may include an operation of acquiring the haptic information based on the motion of a visual object identified within frames included in the media content.
- the method of the electronic device 101 includes first information for controlling the heating element 170 included in the haptic information or the vibration actuator 180 included in the haptic information. It may include an operation of identifying second information for control.
- the method of the electronic device 101 includes an operation of changing the first information into third information for controlling the vibration actuator 180 based on identifying the capability information. It can be included.
- the method of the electronic device 101 includes an operation of changing the second information into fourth information for controlling the heating element 170 based on identifying the capability information. It can be included.
- the one or more programs when executed by the processor 120 of the electronic device 101, cause the speaker 150 to and in a state of outputting media content through the display 140, cause the processor 120 of the electronic device 101 to obtain haptic information for outputting haptic feedback synchronized with the media content.
- the one or more programs when executed by the processor 120 of the electronic device 101, provide capability information for haptic feedback supported by an external electronic device 103 connected through a communication circuit 160. ) may cause the processor 120 of the electronic device 101 to identify.
- the one or more programs When executed by the processor 120 of the electronic device 101, the one or more programs determine whether the external electronic device 103 includes at least one of a heating element 170 or a vibration actuator 180. This may cause the processor 120 of the electronic device 101 to transmit haptic information adjusted by the capability information indicated to the external electronic device 103 through the communication circuit 160.
- the one or more programs when executed by the processor 120 of the electronic device 101, select among reference colors for forming a color space from a frame of the media content. Based on at least one, it may cause the processor 120 of the electronic device 101 to obtain an average value for the colors of pixels in the frame.
- the one or more programs when executed by the processor 120 of the electronic device 101, cause the processor 120 of the electronic device 101 to obtain the haptic information based on the average value. can cause
- the one or more programs when executed by the processor 120 of the electronic device 101, are configured to obtain the haptic information based on the frequency distribution of the audio signal included in the media content. , may cause the processor 120 of the electronic device 101.
- the one or more programs when executed by the processor 120 of the electronic device 101, obtain the haptic information based on scene analysis of frames included in the media content.
- the processor 120 of the electronic device 101 may be triggered.
- the one or more programs when executed by the processor 120 of the electronic device 101, based on the motion of a visual object identified within frames included in the media content, This may cause the processor 120 of the electronic device 101 to acquire haptic information.
- the first information for controlling the heating element 170 included in the haptic information or the This may cause the processor 120 of the electronic device 101 to identify second information for controlling the vibration actuator 180 included in the haptic information.
- the one or more programs when executed by the processor 120 of the electronic device 101, transmit the first information to the vibration actuator 180 based on identifying the capability information. may cause the processor 120 of the electronic device 101 to change to third information for controlling.
- the second information is transmitted to the heating element 170 based on identifying the capability information. This may cause the processor 120 of the electronic device 101 to change to fourth information for controlling.
- Electronic devices may be of various types.
- Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, electronic devices, or home appliances.
- Electronic devices according to embodiments of this document are not limited to the above-described devices.
- first, second, or first or second may be used simply to distinguish one component from another, and to refer to those components in other respects (e.g., importance or order) is not limited.
- One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.” Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
- module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
- ASIC application-specific integrated circuit
- Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
- a processor e.g., processor 120
- the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
- a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
- 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
- Computer program products are commodities and can be traded between sellers and buyers.
- the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
- a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
- an application store e.g. Play StoreTM
- two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
- at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
- each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
- one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
- multiple components eg, modules or programs
- the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
- operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
일 실시 예에 따른, 전자 장치는, 스피커 및 디스플레이를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치는, 통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 전자 장치는, 상기 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신할 수 있다.
Description
아래의 설명들은, 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법에 관한 것이다.
전자 장치는, 미디어 콘텐트를 출력할 수 있다. 미디어 콘텐트를 출력하는 상태 내에서, 사용자 경험(user experience)를 강화하기 위한 전자 장치들이 개발되고 있다.
일 실시 예(an embodiment)에 따른, 전자 장치(electronic device)는, 디스플레이, 스피커, 통신 회로, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 스피커 및 상기 디스플레이를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 상기 프로세서는, 상기 통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별할 수 있다. 상기 프로세서는, 상기 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신할 수 있다.
일 실시 예에 따른, 전자 장치(electronic device)의 방법은, 스피커 및 디스플레이를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하는 동작을 포함할 수 있다. 상기 전자 장치의 상기 방법은, 통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별하는 동작을 포함할 수 있다. 상기 전자 장치의 상기 방법은, 상기 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
일 실시 예에 따른, 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체에 있어서, 상기 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 때에, 스피커 및 디스플레이를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하도록, 상기 전자 장치의 상기 프로세서를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 전자 장치의 상기 프로세서에 의해 실행될 때에, 통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별하도록, 상기 전자 장치의 상기 프로세서를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 전자 장치의 상기 프로세서에 의해 실행될 때에, 상기 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하도록, 상기 전자 장치의 상기 프로세서를 야기할 수 있다.
도 1a는, 일 실시 예에 따른, 전자 장치의 블록도에 관한 일 예를 도시한다.
도 1b는, 일 실시 예에 따른, 전자 장치의 블록도에 관한 일 예를 도시한다.
도 2a는, 일 실시 예에 따른, 전자 장치에 의해 출력되는 미디어 콘텐트의 일 예를 도시한다.
도 2b는, 일 실시 예에 따른, 전자 장치에 의해 출력되는 미디어 콘텐트의 일 예를 도시한다.
도 3은, 일 실시 예에 따른, 전자 장치에 의해 출력되는 미디어 콘텐트의 일 예를 도시한다.
도 4는, 일 실시 예에 따른, 햅틱 정보를 획득하기 위한 오디오 신호의 주파수의 일 예를 도시한다.
도 5는, 일 실시 예에 따른, 햅틱 정보의 일 예를 도시한다.
도 6은, 일 실시 예에 따른, 전자 장치의 동작에 관한 흐름도의 일 예를 도시한다.
도 7은, 일 실시 예에 따른, 전자 장치의 동작에 관한 흐름도의 일 예를 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1a는, 일 실시 예에 따른, 전자 장치의 블록도에 관한 일 예를 도시한다. 도 1b는, 일 실시 예에 따른, 전자 장치의 블록도에 관한 일 예를 도시한다. 도 1a 및/또는 도 1a의 전자 장치(101)는, 사용자에 의해 소유되는(be owned by) 단말을 포함할 수 있다. 예를 들어, 단말은, 랩톱 및 데스크톱과 같은 개인용 컴퓨터(personal computer, PC), 스마트폰(smartphone), 스마트패드(smartpad), 태블릿 PC, 스마트워치(smartwatch) 및 HMD(head-mounted device)와 같은 스마트 액세서리를 포함할 수 있다. 예를 들어, 단말은, AR(augmented reality) 글래스와 같은 증강 현실을 위한 장치를 포함할 수 있다. 예를 들어, 단말은, 가상 현실(VR, virtual reality), 확장 현실(XR, extended reality), 및/또는 혼합 현실(MR, mixed reality)를 위한 장치를 포함할 수 있다.
도 1a 및 도 1b를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 프로세서(120), 메모리(130), 디스플레이(140), 스피커(150), 통신 회로(160), 발열 소자(170), 진동 액추에이터(180) 중 적어도 하나를 포함할 수 있다. 프로세서(120), 메모리(130), 디스플레이(140), 스피커(150), 통신 회로(160), 발열 소자(170), 및 진동 액추에이터(180)는 통신 버스(a communication bus)(110)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 도시되었으나, 실시 예가 이에 한정되는 것은 아니다. 도 1a, 및/또는 도 1b의 하드웨어들 중 일부분(예, 프로세서(120), 메모리(130), 및 통신 회로(150)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 전자 장치(101) 내에 포함된 하드웨어의 타입, 및/또는 개수는 도 1a 및/또는 도 1b에 도시된 바에 제한되지 않는다. 예를 들어, 전자 장치(101)는, 도 1a, 및/또는 도 1b에 도시된 하드웨어 중 일부만 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(120)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core), 옥타 코어(octa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
전자 장치(101)의 메모리(130)는, 전자 장치(101)의 프로세서(120)에 입력, 및/또는 출력되는 데이터, 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 예를 들어, 메모리(130)는, RAM(random-access memory)와 같은 휘발성 메모리(volatile memory), 및/또는ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 예를 들어, 휘발성 메모리는, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM(pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 예를 들어, 비휘발성 메모리는, PROM(programmable ROM), EPROM(erasable PROM), EEPROM(electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi-media card) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른, 메모리(130)는, 플랫폼 레이어(135)를 포함할 수 있다. 예를 들어, 상기 플랫폼 레이어(135)에 의해 구분된 프로그램들은, 전자 장치(101)의 프로세서(120)에 의해 실행될 수 있다. 도 1a, 및/또는 도 1b의 상이한 블록들에 의해 구분된 프로그램들은, 전자 장치(101)의 메모리(130) 내에서, 전자 장치(101)의 프로세서(120)에 의해 실행가능한 포맷에 기반하여 저장될 수 있다. 예를 들어, 상기 플랫폼 레이어(135) 내에, 상기 플랫폼 레이어(135)와 상이한 레이어로 분류된 프로그램들 중 어느 하나를 타겟으로 설계된 프로그램들(예, 환경 분석 엔진(135-1), 모션 및 행동 분석 엔진(135-2), 색상 및 톤 분석 엔진(135-3), 효과 분석 엔진(135-4), 사운드 분석 엔진(135-5), 및/또는 음성 분석 엔진(135-6))이 분류될 수 있다. 플랫폼 레이어(135)로 분류되는 프로그램들은, 다른 프로그램에 기반하여 실행가능한 API(application programming interface)를 제공할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 메모리(130) 내에, 햅틱 피드백을 출력하기 위한 햅틱 정보를 포함할 수 있다. 예를 들어, 상기 햅틱 정보는, 외부 전자 장치(103), 및/또는 전자 장치(101) 내에 포함된 발열 소자(170), 및/또는 진동 액추에이터(180)를 제어하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 햅틱 정보는, 상기 전자 장치(101)에 의해 실행되는 미디어 콘텐트의 적어도 일부에 기반하여 획득될 수 있다.
일 실시 예에 따른, 전자 장치(101)의 디스플레이(140)는, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 예를 들어, 디스플레이(140)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(120)에 의해 제어되어, 사용자에게 시각화된 정보를 출력할 수 있다. 디스플레이(140)는, FPD(flat panel display), 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는, LCD(liquid crystal display), PDP(plasma display panel), 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는, OLED(organic LED)를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)의 스피커(150)는, 스피커(150) 내에 진동판으로 진동을 제공하는 적어도 하나의 보이스 코일(voice coil), 및 자기장을 형성할 수 있는 마그넷(magnet)을 포함할 수 있다. 상기 적어도 하나의 보이스 코일에 전류가 흐를 때, 상기 보이스 코일에 의해 형성된 자기장은, 상기 마그넷에 의해 형성된 자기장과 상호작용(interaction)하여, 상기 보이스 코일을 진동시킬 수 있다. 상기 보이스 코일과 연결된 상기 진동판은, 상기 보이스 코일의 상기 진동에 기반하여 진동할 수 있다. 상기 스피커(150)는, 상기 진동판의 진동에 기반하여, 오디오 신호를 출력할 수 있다.
일 실시 예에 따른, 전자 장치(101)의 통신 회로(160)는, 외부 전자 장치(103) 사이의 전기 신호의 송신, 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 상기 통신 회로(160)는, 전자 장치(101), 외부 전자 장치(103) 사이의 전기 신호의 송신, 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 예를 들어, 통신 회로(160)는, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(160)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), 블루투스(Bluetooth), BLE(Bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(5th generation new radio)와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신, 및/또는 수신을 지원할 수 있다.
예를 들어, 통신 회로(160)는, HDMI(high definition multimedia interface) 커넥터, USB(universal serial bus) 커넥터, SD 카드 커넥터, 또는 오디오 커넥터와 같은 연결 단자(terminal)와 연동되는(in association with) HDMI, USB 인터페이스, SD 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다. 전자 장치(101)는, 상기 예시들에 기반하여 외부 전자 장치(103)와 전기적으로 및/또는 작동적으로 연결될 수 있다.
도 1a를 참고하면, 일 실시 예에 따른, 전자 장치(101) 및 외부 전자 장치(103)는, 통신 회로(160)를 통해 연결될 수 있다. 예를 들어, 전자 장치(101)는, 상기 통신 회로(160)를 통해 연결된 외부 전자 장치(103)로, 미디어 콘텐트에 기반하여 획득된 햅틱 정보를 송신할 수 있다. 상기 햅틱 정보를 수신한 외부 전자 장치(103)는, 외부 전자 장치(103) 내에 포함된 발열 소자(170), 및/또는 진동 액추에이터(180)를 작동할 수 있다. 예를 들어, 외부 전자 장치(103)는, 상기 발열 소자(170)의 온도를 제어할 수 있다. 예를 들어, 외부 전자 장치(103)는, 상기 진동 액추에이터(180)의 진동 제어할 수 있다.
도 1a, 및/또는 도 1b를 참고하면, 일 실시 예에 따른, 외부 전자 장치(103), 및/또는 전자 장치(101)는, 발열 소자(170) 또는 진동 액추에이터(180)를 포함할 수 있다. 상기 발열 소자(170) 또는 진동 액추에이터(180)는, 프로세서(120)에 의해 제어되어, 온도를 변화시키거나, 진동을 발생시킬 수 있다. 예를 들어, 상기 발열 소자(170)는, 펠티어 소자(peltier element)를 포함할 수 있다. 예를 들어, 상기 발열 소자(170)는, 펠티어 효과(peltier effect)에 기반하여 온도를 변화시킬 수 있다. 예를 들어, 상기 펠티어 효과는, 전류의 흐름에 의해 발생하는 열의 이동을 이용하여 온도의 변화를 야기하는 효과일 수 있다. 예를 들어, 상기 진동 액추에이터(180)는, 압전 소자(piezoelectric element)를 포함할 수 있다. 예를 들어, 상기 진동 액추에이터(180)는, 프로세서(120)에 의해 제어되어 지정된 주파수, 진폭으로 작동할 수 있다. 예를 들어, 상기 진동 액추에이터(180)는, 상기 지정된 주파수, 진폭, 및/또는 주기를 가짐으로써, 사용자에게 햅틱 피드백을 출력할 수 있다. 예를 들어, 상기 지정된 주파수, 진폭, 및/또는 주기는, 미디어 콘텐트에 기반하여 획득될 수 있다. 상기 발열 소자(170), 및/또는 상기 진동 액추에이터(180)에 의해 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하는 동작은, 도 2a 내지 도 4에서 후술된다.
도 1a 내지 도 1b를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 스피커(150), 및/또는 디스플레이(140)를 통해 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 출력하는 동안, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 미디어 콘텐트를 출력하는 동안, 메모리(130) 내에 저장된 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 햅틱 피드백은, 전자 장치(101) 내에 포함된 컴포넌트에 의해 조절되는 열, 또는 진동과 관련될 수 있다. 전자 장치(101)는, 미디어 콘텐트에 기반하여 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하기 위한 소프트웨어 어플리케이션의 실행에 기반하는 지정된 API의 호출에 응답하여, 색상 및 톤 분석 엔진(135-3)를 실행할 수 있다. 전자 장치(101)는, 색상 및 톤(tone) 분석 엔진(135-3)의 실행에 기반하여, 상기 미디어 콘텐트의 프레임을 분석할 수 있다. 예를 들어, 전자 장치(101)는, 미디어 콘텐트의 프레임으로부터, 색상 공간을 형성하기 위한 기준 색상들(reference colors) 중 적어도 하나에 기반하여, 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 기준 색상들의 대표 값에 기반하여, 상기 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 대표 값은, 최대 값, 최소 값, 최빈 값, 중앙 값, 평균 값을 포함할 수 있다. 예를 들어, 전자 장치(101)는, 상기 기준 색상들 중 적어도 하나에 기반하여, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값을 획득할 수 있다. 전자 장치(101)는, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 색상 공간을 형성하기 위한 기준 색상들은, RGB(red, green, blue), CMYK(cyan, magenta, yellow), HSV(hue, saturation, value), YUV를 포함할 수 있다. 상기 YUV는, 밝기(luminance) 성분인 Y 성분, 청색 색수차(chromatic aberration) 성분인 U 성분, 및 적색 색수차 성분인 V 성분에 기반하여 구성될 수 있다. 예를 들어, 전자 장치(101)는, 상기 RGB에 기반하여, 온도를 조절하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 픽셀들의 색상들에 기반하여, 상기 픽셀들 각각에 대응하는 RGB 값을 획득할 수 있다. 상기 RGB 값은, 빨간 색을 표시하는 R 값(red value), 초록 색을 표시하는 G 값(green value), 파란 색을 표시하는 B 값(blue value)를 포함할 수 있다. 전자 장치(101)는, 지정된 영역 내에 포함된 픽셀들 각각에 대응하는 RGB 값을 식별할 수 있다. 전자 장치(101)는, 지정된 영역 내에 포함된 픽셀들의 RGB 값의 평균 값을 식별할 수 있다. 전자 장치(101)는, 평균 RGB 값의 B 값에 비해 상대적으로 높은 평균 RGB 값의 R 값을 식별한 것에 기반하여, 제1 온도를 출력하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 평균 RGB 값의 R 값에 비해 상대적으로 높은 평균 RGB 값의 B 값을 식별한 것에 기반하여, 제2 온도를 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 제1 온도는 상기 제2 온도에 비해 높은 온도를 포함할 수 있다. 하지만, 이에 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트 내에 포함된 오디오 신호를 식별할 수 있다. 전자 장치(101)는, 미디어 콘텐트를 출력하기 위한 소프트웨어 어플리케이션의 실행에 기반하는 지정된 API의 호출에 응답하여, 사운드 분석 엔진(135-5), 및/또는 음성 분석 엔진(135-6)을 실행할 수 있다. 전자 장치(101)는, 사운드 분석 엔진(135-5), 및/또는 음성 분석 엔진(135-6)의 실행에 기반하여, 상기 미디어 콘텐트 내에 포함된 오디오 신호를 분석할 수 있다. 전자 장치(101)는, 상기 오디오 신호의 주파수 분포를 식별할 수 있다. 예를 들어, 전자 장치(101)는, 제1 지정된 범위의 주파수로 식별된 오디오 신호에 기반하여, 상기 제1 지정된 범위에 대응하는 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 제2 지정된 범위의 주파수로 식별된 오디오 신호에 기반하여, 상기 제2 지정된 범위에 대응하는 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 제3 지정된 범위의 주파수로 식별된 오디오 신호에 기반하여, 상기 제3 지정된 범위에 대응하는 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 제1 지정된 범위는, 약 10 내지 100 헤르츠(hz)를 포함할 수 있다. 예를 들어, 상기 제2 지정된 범위는, 약 100 내지 1,000 헤르츠를 포함할 수 있다. 예를 들어, 상기 제3 지정된 범위는 약 1,000 내지 10,000 헤르츠를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제1 지정된 범위의 오디오 신호를 식별한 것에 기반하여, 제1 강도(intensity)의 진동을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제2 지정된 범위의 오디오 신호를 식별한 것에 기반하여 제2 강도의 진동을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제3 지정된 범위의 오디오 신호를 식별한 것에 기반하여, 제3 강도의 진동을 출력하기 위한 햅틱 정보를 획득할 수 있다. 하지만, 이에 제한되지 않는다. 오디오 신호와 관련된 설명은 도 4에서 후술된다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하기 위한 소프트웨어 어플리케이션의 실행에 기반하는 지정된 API의 호출에 응답하여, 환경 분석 엔진(135-1), 및/또는 효과 분석 엔진(135-4)를 실행할 수 있다. 전자 장치(101)는, 환경 분석 엔진(135-1), 및/또는 효과 분석 엔진(135-4)의 실행에 기반하여, 상기 미디어 콘텐트 내에 포함된 프레임들을 분석할 수 있다. 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트에 포함된 프레임들을 식별할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석을 수행할 수 있다. 예를 들어, 상기 장면 분석은, 환경 분석 엔진(135-1), 및/또는 효과 분석 엔진(135-4)에 기반하여 수행될 수 있다. 전자 장치(101)는, 상기 장면 분석에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 장면 분석은, 화면의 변경, 화면 내에 표시되는 장면의 환경과 관련될 수 있다. 예를 들어, 상기 장면 분석은, 화면의 떨림, 화면의 이동과 관련될 수 있다. 예를 들어, 상기 장면 분석은, 지정된 이벤트를 포함할 수 있다. 예를 들어, 상기 지정된 이벤트는, 화면 내에 표시되는 폭죽 효과, 안개 효과, 및/또는 레이저 효과와 같은 시각적인 효과를 포함할 수 있다. 전자 장치(101)는, 상기 장면 분석에 기반하여, 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 획득할 수 있다. 화면 분석과 관련된 설명은, 도 2a에서 내지 도 2b에서 후술된다. 지정된 이벤트와 관련된 설명은, 도 3에서 후술된다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하기 위한 소프트웨어 어플리케이션의 실행에 기반하는 지정된 API의 호출에 응답하여, 모션 및 행동 분석 엔진(135-2)를 실행할 수 있다. 일 실시 예에 따른, 전자 장치(101)는, 상기 모션 및 행동 분석 엔진(135-2)의 실행에 기반하여, 미디어 콘텐트 내에 포함된 시각적 객체(예, 가상 객체)의 모션, 및/또는 행동을 분석할 수 있다. 전자 장치(101)는, 상기 시각적 객체의 모션, 및/또는 행동을 식별할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체의 모션 또는 행동에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체의 걷는 모션을 식별할 수 있다. 예를 들어, 전자 장치(101)는, 시각적 객체의 모션에 기반하여, 외부 전자 장치의 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체의 일부분(예, 가상 객체의 발)이 상기 미디어 콘텐트 내에 표시된 지면에 닿는 것에 응답하여, 진동 정보를 획득할 수 있다. 전자 장치(101)는, 상기 진동 정보를 획득한 것에 기반하여, 상기 진동 정보를 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 시각적 객체의 모션, 및/또는 행동을 분석하는 동작은, 도 2a에서 후술된다.
일 실시 예에 따른, 전자 장치(101)는, 플랫폼 레이어(135) 내에 포함된 환경 분석 엔진(135-1), 모션 및 행동 분석 엔진(135-2), 색상 및 톤 분석 엔진(135-3), 효과 분석 엔진(135-4), 사운드 분석 엔진(135-5), 및/또는 음성 분석 엔진(135-6)의 실행에 기반하여, 전자 장치(101)에 의해 출력되는 미디어 콘텐트를 분석할 수 있다. 일 실시 예에 따른, 전자 장치(101)는, 인공 지능과 관련된 연산을 수행하기 위한 하드웨어(예, NPU(neural processing unit), 및/또는 GPU(graphic processing unit)), 상기 인공 지능과 관련된 기능을 제공하기 위한 소프트웨어 어플리케이션, 및/또는 외부 전자 장치(예, 상기 인공 지능과 관련된 서버)에 기반하여, 상기 미디어 콘텐트를 분석할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트의 분석에 기반하여, 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 미디어 콘텐트의 분석에 기반하여 획득된 데이터에 기반하여, 상기 획득된 데이터에 대응하는 햅틱 정보를 메모리로부터 획득할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 화면의 이동에 기반하여 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 화면의 이동에 대응하는 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 화면이 왼쪽에서 오른쪽으로 이동한 것에 기반하여, 진동 피드백을 출력할 때에 왼쪽에서 오른쪽으로 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 왼쪽에서 오른쪽으로 출력되는 상기 진동 피드백은, 단일의(single) 외부 전자 장치(103)에 기반하여 발생되는 진동 피드백을 포함할 수 있다. 예를 들어, 상기 왼쪽에서 오른쪽으로 출력되는 진동 피드백은, 복수의 외부 전자 장치들에 기반하여 발생되는 진동 피드백을 포함할 수 있다. 예를 들어, 상기 외부 전자 장치가 사용자에 의해 착용되는 장갑과 같은 웨어러블 장치인 때에, 왼손에 착용되는 제1 외부 전자 장치로부터 오른손에 착용되는 제2 외부 전자 장치로 진동 피드백이 발생하는 동작을 포함할 수 있다. 하지만, 이에 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 질감(texture)을 표현하기 위한(for representing) 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 진동 액추에이터(180)의 햅틱 피드백을 제어하기 위한 햅틱 정보를 획득할 수 있다. 상기 질감을 표현하기 위한 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 주파수와 관련될 수 있다. 예를 들어, 상기 질감을 표현하기 위한 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 주파수의 진폭, 및/또는 주기와 관련될 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 발열 소자(170)에 의해 발생되는 열을 조절하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 발열 소자(170)에 의해 발생되는 열을 조절하기 위한 햅틱 정보는, 상기 발열 소자(170)를 제어하기 위한 전류, 및/또는 전압과 관련된 정보를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 상대적으로 높은 전류의 흐름을 지시하는 햅틱 정보에 기반하여, 외부 전자 장치로 상대적으로 높은 온도의 출력을 지시할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 외부 전자 장치(103) 내에 포함된 복수의 발열 소자들을 식별할 수 있다. 전자 장치(101)는, 상기 발열 소자들 각각을 제어하기 위한 햅틱 정보를 외부 전자 장치(103)로 송신할 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(103) 내에 포함된 복수의 발열 소자들의 위치와 관련된 정보를 식별할 수 있다. 전자 장치(101)는, 상기 복수의 발열 소자들의 위치와 관련된 상기 정보를 식별한 것에 기반하여, 상기 복수의 발열 소자들 각각을 제어하기 위한 햅틱 정보를 송신할 수 있다. 예를 들어, 전자 장치(101)는, 미디어 콘텐트에 기반하여, 상기 복수의 발열 소자들 각각을 제어하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 복수의 발열 소자들 중에서 제1 영역에 배치된 제1 발열 소자들을 식별할 수 있다. 예를 들어, 상기 제1 영역은, 외부 전자 장치(103)의 왼쪽 영역을 포함할 수 있다. 전자 장치(101)는, 상기 제1 발열 소자들을 제어하기 위한 제1 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 복수의 발열 소자들 중에서 제2 영역에 배치된 제2 발열 소자들을 식별할 수 있다. 예를 들어, 상기 제2 영역은, 외부 전자 장치(103)의 오른쪽 영역을 포함할 수 있다. 전자 장치(101)는, 상기 제2 발열 소자들을 제어하기 위한 제2 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 제1 햅틱 정보 및 상기 제2 햅틱 정보를, 외부 전자 장치(103)로 송신할 수 있다. 전자 장치(101)는, 상기 제1 햅틱 정보 및 상기 제2 햅틱 정보를 순차적으로 송신할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제1 햅틱 정보 및 상기 제2 햅틱 정보를 순차적으로 송신함으로써, 상기 제1 영역 및 상기 제2 영역의 온도를 순차적으로 변화시킬 수 있다. 상기 제1 영역 및 상기 제2 영역은, 일 예이며 이에 제한되지 않는다. 상기 제1 영역 및 상기 제2 영역의 위치는 제한되지 않는다. 상기 영역들(예, 제1 영역, 및/또는 제2 영역)의 개수는 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 메모리(130) 내에 저장된 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 메모리(130) 내에 저장된 햅틱 정보는, 발열 소자(170)를 제어하기 위한 제1 정보를 포함할 수 있다. 예를 들어, 상기 메모리(130) 내에 저장된 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 제2 정보를 포함할 수 있다. 예를 들어, 상기 햅틱 정보는, 인공 지능과 관련된 연산을 수행하기 위한 하드웨어(예, NPU(neural processing unit), 및/또는 GPU(graphic processing unit)), 상기 인공 지능과 관련된 기능을 제공하기 위한 소프트웨어, 및/또는 외부 전자 장치(예, 상기 인공 지능과 관련된 서버)에 기반하여 획득된 정보들에 기반하여 생성될 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 플랫폼 레이어(135) 내에 포함된 프로그램들(예, 환경 분석 엔진(135-1), 모션 및 행동 분석 엔진(135-2), 색상 및 톤 분석 엔진(135-3), 효과 분석 엔진(135-4), 사운드 분석 엔진(135-5), 및/또는 음성 분석 엔진(135-6))에 기반하여 미디어 콘텐트를 분석할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 분석한 것에 기반하여, 하기 표 1과 같은 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트에 기반하여 표시되는 화면 내에서, 상기 화면의 배경(background)을 분석할 수 있다. 전자 장치(101)는, 상기 화면의 배경을 분석하기 위한 환경 분석 엔진(135-1)을 실행할 수 있다. 전자 장치(101)는, 상기 환경 분석 엔진(135-1)의 실행에 기반하여, 상기 화면의 환경을 표현하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 화면의 환경을 표현하고, 발열 소자(170)를 제어하기 위한 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트 내에 포함된 시각적 객체의 모션, 및/또는 행동을 분석할 수 있다. 전자 장치(101)는, 상기 시각적 객체의 모션, 및/또는 행동을 분석하기 위한 모션 및 행동 분석 엔진(135-2)을 실행할 수 있다. 전자 장치(101)는, 상기 모션 및 행동 분석 엔진(135-2)의 실행에 기반하여, 상기 시각적 객체의 모션, 및/또는 행동을 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 시각적 객체의 모션, 및/또는 행동을 표현하기 위한 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트에 기반하여 표시되는 화면의 색상, 및/또는 톤을 분석할 수 있다. 예를 들어, 전자 장치(101)는, 상기 화면의 색상, 및/또는 톤을 분석하기 위한 색상 및 톤 분석 엔진(135-3)을 실행할 수 있다. 전자 장치(101)는, 상기 색상 및 톤 분석 엔진(135-3)의 실행에 기반하여, 상기 화면의 색상 및/또는 톤을 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 화면의 색상, 및/또는 톤을 표현하기 위한 햅틱 정보는, 발열 소자(170)를 제어하기 위한 햅틱 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하는 동안 출력되는 시각적인 효과를 식별할 수 있다. 예를 들어, 상기 시각적인 효과는, 폭죽 효과, 안개 효과, 및/또는 레이저 효과와 같은 시각적인 효과를 포함할 수 있다. 상기 시각적인 효과는, 햅틱 피드백을 출력하도록 설정된 시각적인 효과를 포함할 수 있다. 전자 장치(101)는, 상기 시각적인 효과를 식별한 것에 기반하여, 상기 시각적인 효과를 분석하기 위한 효과 분석 엔진(135-4)를 실행할 수 있다. 전자 장치(101)는, 상기 효과 분석 엔진(135-4)의 실행에 기반하여, 상기 시각적인 효과를 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 시각적인 효과를 표현하기 위한 햅틱 정보는, 발열 소자(170), 및/또는 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석을 수행할 수 있다. 전자 장치(101)는, 화면의 떨림, 및/또는 화면의 이동에 기반하여, 상기 장면 분석을 수행할 수 있다. 전자 장치(101)는, 상기 장면 분석을 위한 효과 분석 엔진(135-4)을 실행할 수 있다. 전자 장치(101)는, 상기 효과 분석 엔진(135-4)의 실행에 기반하여, 상기 화면의 떨림, 및/또는 화면의 이동을 표현하기 위한 햅틱 정보를 획득할 수 있다. 상기 화면의 떨림, 및/또는 화면의 이동을 표현하기 위한 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트에 기반하여 출력되는 사운드, 및/또는 음성을 분석할 수 있다. 전자 장치(101)는, 상기 사운드를 분석하기 위한 사운드 분석 엔진(135-5)을 실행할 수 있다. 전자 장치(101)는, 상기 사운드 분석 엔진(135-5)의 실행에 기반하여, 상기 사운드를 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 사운드를 표현하기 위한 상기 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트에 기반하여 출력되는 음성(voice)을 분석할 수 있다. 전자 장치(101)는, 상기 음성을 분석하기 위한 음성 분석 엔진(135-6)을 실행할 수 있다. 전자 장치(101)는, 상기 음성 분석 엔진(135-6)의 실행에 기반하여, 상기 음성을 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 음성을 표현하기 위한 햅틱 정보는, 진동 액추에이터(180)를 제어하기 위한 햅틱 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 햅틱 정보를 외부 전자 장치(103)로 송신할 수 있다. 전자 장치(101)는, 외부 전자 장치(103) 내에 포함된 컴포넌트들을 식별할 수 있다. 예를 들어, 통신 회로(160)를 통해 외부 전자 장치(103)와 연결된 전자 장치(101)는, 상기 통신 회로(160)를 통하여, 외부 전자 장치(103) 내에 포함된 햅틱 피드백을 출력하기 위한 컴포넌트들과 관련된 능력 정보(capability information)을 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 능력 정보를 획득하기 위한 제1 신호를, 외부 전자 장치(103)로 송신할 수 있다. 전자 장치(101)는, 발열 소자(170) 또는 진동 액추에이터(180) 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보를 포함하는 제2 신호를, 외부 전자 장치(103)로부터 수신할 수 있다. 전자 장치(101)는, 상기 제2 신호를 수신한 것에 기반하여, 상기 능력 정보를 식별할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 외부 전자 장치(103)의 능력 정보를 식별할 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(103)에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 전자 장치(101)는, 상기 능력 정보를 식별한 것에 기반하여, 햅틱 정보를 선택적으로 송신할 수 있다. 예를 들어, 전자 장치(101)는, 상기 외부 전자 장치(103)가 발열 소자(170) 및 진동 액추에이터(180) 중에서 발열 소자(170)를 포함하는 것에 기반하여, 상기 발열 소자(170)를 제어하기 위한 햅틱 정보인 제1 정보를, 외부 전자 장치(103)로 송신할 수 있다. 예를 들어, 전자 장치(101)는, 상기 외부 전자 장치(103)가 발열 소자(170) 및 진동 액추에이터(180) 중에서 진동 액추에이터(180)를 포함하는 것에 기반하여, 상기 진동 액추에이터(180)를 제어하기 위한 제2 정보를, 외부 전자 장치(103)로 송신할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 햅틱 정보 내에 포함된, 발열 소자(170)를 제어하기 위한 제1 정보를 식별할 수 있다. 전자 장치(101)는 햅틱 정보 내에 포함된, 진동 액추에이터(180)를 제어하기 위한 제2 정보를 식별할 수 있다. 전자 장치(101)는, 발열 소자(170) 및 진동 액추에이터(180) 중에서 진동 액추에이터(180)를 식별한 것에 기반하여, 발열 소자(170)를 제어하기 위한 제1 정보를, 진동 액추에이터(180)를 제어하기 위한 제3 정보로 변경할 수 있다. 예를 들어, 전자 장치(101)는, 제1 정보에 대응하는 제3 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 발열 소자(170)를 제1 온도로 조절하기 위한 제1 정보를, 제1 강도의 진동을 출력하기 위한 제3 정보로 변경할 수 있다. 전자 장치(101)는, 상기 제1 정보를 상기 제3 정보로 변경한 것에 기반하여, 외부 전자 장치(103)로 제2 정보 및 제3 정보를 송신할 수 있다. 상기 제2 정보 및 상기 제3 정보를 수신한 외부 전자 장치(103)는, 상기 제2 정보 또는 상기 제3 정보 중 적어도 하나에 기반하여 햅틱 피드백을 출력할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 햅틱 정보 내에 포함된, 진동 액추에이터(180)를 제어하기 위한 제2 정보를 식별할 수 있다. 전자 장치(101)는, 햅틱 정보 내에 포함된, 발열 소자(170)를 제어하기 위한 제1 정보를 식별할 수 있다. 전자 장치(101)는, 발열 소자(170) 및 진동 액추에이터(180) 중에서 발열 소자(170)를 식별한 것에 기반하여, 상기 진동 액추에이터(180)를 제어하기 위한 제2 정보를, 발열 소자(170)를 제어하기 위한 제4 정보로 변경할 수 있다. 예를 들어, 전자 장치(101)는, 제2 정보에 대응하는 제4 정보를 획득할 수 있다. 전자 장치(101)는, 상기 제4 정보를 획득한 것에 기반하여, 상기 제4 정보를 외부 전자 장치(103)로 송신할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 햅틱 정보 내에 포함된 발열 소자(170)를 제어하기 위한 제1 정보를 조절할 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(103)의 능력 정보에 기반하여 상기 제1 정보를 조절할 수 있다. 상기 능력 정보는, 발열 소자(170) 및/또는 진동 액추에이터(180)의 사양(specification)과 관련될 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(103) 내에 포함된 발열 소자(170)의 능력 정보에 기반하여, 상기 발열 소자(170)에 의해 출력되는 햅틱 피드백을 조절할 수 있다. 전자 장치(101)는, 상기 조절된 제1 정보를 외부 전자 장치(103)로 송신할 수 있다. 일 실시 예에 따른, 전자 장치(101)는, 햅틱 정보 내에 포함된 진동 액추에이터(180)를 제어하기 위한 제2 정보를 조절할 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(103) 내에 포함된 진동 액추에이터(180)의 능력 정보에 기반하여, 상기 진동 액추에이터(180)에 의해 출력되는 햅틱 피드백을 조절할 수 있다. 전자 장치(101)는, 상기 햅틱 정보 내에 포함된 제2 정보를 조절한 것에 기반하여, 조절된 제2 정보를 외부 전자 장치(103)로 송신할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 통신 회로(160)를 통해 연결된 외부 전자 장치(103)에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 전자 장치(101)는, 상기 외부 전자 장치(103)가 발열 소자(170) 또는 진동 액추에이터(180) 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를 송신할 수 있다. 전자 장치(101)는, 상기 조절된 햅틱 정보를 송신함으로써, 전자 장치(101) 및/또는 외부 전자 장치(103)의 사용자 경험을 강화할 수 있다.
도 2a는, 일 실시 예에 따른, 전자 장치에 의해 출력되는 미디어 콘텐트의 일 예를 도시한다. 도 2b는, 일 실시 예에 따른, 전자 장치에 의해 출력되는 미디어 콘텐트의 일 예를 도시한다. 도 2a 내지 도 2b의 전자 장치(101)는, 도 1a, 및/또는 도 1b의 전자 장치(101)를 포함할 수 있다. 도 2a 내지 도 2b의 동작들은, 도 1a, 및/또는 도 1b의 프로세서(120)에 의해 실행될 수 있다.
도 2a, 및/또는 도 2b를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 스피커(예, 도 1a, 및/또는 도 1b의 스피커(150)) 및 디스플레이(예, 도 1a, 및/또는 도 1b의 디스플레이(140))를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 도 2a, 및/또는 도 2b는, 상기 햅틱 정보를 획득하기 위한 장면 분석을 수행하는 전자 장치(101)의 일 예일 수 있다.
도 2a를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 디스플레이를 통하여, 미디어 콘텐트와 관련된 화면(200)을 표시할 수 있다. 예를 들어, 전자 장치(101)는, 상기 화면(200)의 장면 분석을 수행할 수 있다. 예를 들어, 상기 장면 분석은, 화면(200) 내에 표시되는 객체 인식, 특징점(feature point) 분석, 및/또는 인공 지능 모델에 기반한 장면 분석을 포함할 수 있다. 전자 장치(101)는, 상기 화면(200) 내에 표시된 일 프레임(a frame)에 기반하여, 장면 분석을 수행할 수 있다. 예를 들어, 전자 장치(101)는, 상기 화면(200)에 표시된 환경을 식별할 수 있다. 예를 들어, 도 2a의 일 예는, 얼음 산(icy mountain)을 포함하는 미디어 콘텐트의 일 예를 포함할 수 있다. 전자 장치(101)는, 화면(200) 내에 얼음 산을 식별한 것에 기반하여, 상기 화면(200)을 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(예, 도 1a의 외부 전자 장치(103))의 발열 소자(예, 도 1a의 발열 소자(170))를 조절하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 지정된 온도의 햅틱 피드백을 출력하기 위한 온도 정보를 획득할 수 있다. 전자 장치(101)는, 상기 온도 정보를 획득한 것에 기반하여, 상기 온도 정보를 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 화면(200) 내에 표시된 시각적 객체(210)를 식별할 수 있다. 전자 장치(101)는, 상기 시각적 객체(210)의 모션을 식별할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(210)의 모션 또는 움직임에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(210)의 걷는 모션을 식별할 수 있다. 예를 들어, 전자 장치(101)는, 시각적 객체(210)의 모션에 기반하여, 외부 전자 장치의 진동 액추에이터(예, 도 1a의 진동 액추에이터(180))를 제어하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(210)의 일부분(예, 발)이 상기 화면 내에 표시된 지면에 닿는 것에 응답하여, 진동 정보를 획득할 수 있다. 전자 장치(101)는, 상기 진동 정보를 획득한 것에 기반하여, 상기 진동 정보를 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다.
도 2b를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트와 관련된 화면(250)을 표시할 수 있다. 전자 장치(101)는, 상기 화면(250) 내에 포함된, 시각적 객체(260)를 식별할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(260)를 식별한 것에 기반하여, 상기 시각적 객체(260)와 관련된 햅틱 정보를 획득할 수 있다. 예를 들어, 시각적 객체(260)와 관련된 햅틱 정보는, 외부 전자 장치의 발열 소자를 제어하는 것과 관련될 수 있다. 상기 시각적 객체(260)는, 불, 물, 또는 얼음과 같이 온도와 직접적으로 또는 간접적으로 관련될 수 있다. 전자 장치(101)는, 상기 온도와 관련된 시각적 객체(260)를 식별한 것에 기반하여, 상기 시각적 객체(260)를 표현하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 얼음에 비해 상대적으로 높은 온도를 표현하기 위해, 상기 불을 표현하기 위한 온도 정보를 획득할 수 있다. 전자 장치(101)는, 상기 온도 정보를 외부 전자 장치로 송신할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)는, 스피커 및 디스플레이를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 미디어 콘텐트를 출력하는 동안, 상기 미디어 콘텐트의 장면 분석을 수행할 수 있다. 전자 장치(101)는, 상기 장면 분석에 기반하여, 발열 소자 또는 진동 액추에이터를 제어하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 전자 장치(101)는, 장면 분석에 기반하여 획득된 햅틱 정보를, 외부 전자 장치로 송신함으로써, 전자 장치(101) 또는 외부 전자 장치의 사용자 경험을 강화할 수 있다.
도 3은, 일 실시 예에 따른, 전자 장치에 의해 출력되는 미디어 콘텐트의 일 예를 도시한다. 도 3의 전자 장치(101)는, 도 1a, 도 1b, 도 2a, 및/또는 도 2b의 전자 장치(101)를 포함할 수 있다. 도 3의 동작들은, 도 1a 및/또는 도 1b의 프로세서(120)에 의해 실행될 수 있다.
도 3을 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 스피커(예, 도 1a, 및/또는 도 1b의 스피커(150)) 및 디스플레이(예, 도 1a, 및/또는 도 1b의 디스플레이(140))를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 미디어 콘텐트와 관련된 화면(300)을 표시할 수 있다. 일 실시 예에 따른, 전자 장치(101)는, 상기 화면(300)을 표시한 것에 기반하여, 상기 화면(300) 내에서 표시되는 지정된 이벤트를 식별할 수 있다. 예를 들어, 상기 지정된 이벤트는, 상기 화면(300) 내에서 표시되는, 폭죽 효과, 안개 효과, 및/또는 레이저 효과와 같은 시각적인 효과를 포함할 수 있다. 상기 지정된 이벤트는, 화면(300)을 통해 표시되는 시각적인 효과 중에서, 햅틱 피드백을 출력하도록 설정된 시각적인 효과를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 지정된 이벤트를 식별한 것에 기반하여, 상기 지정된 이벤트를 표현하기 위한 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 햅틱 피드백을 출력하기 위한 햅틱 정보는, 진동 액추에이터(예, 도 1a, 및/또는 도 1b의 진동 액추에이터(180))를 제어하기 위한 정보를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 지정된 이벤트와 관련된 시각적 객체(310)를 식별할 수 있다. 전자 장치(101)는, 상기 지정된 이벤트와 관련된 상기 시각적 객체(310)를 식별한 것에 기반하여, 상기 시각적 객체(310)에 대응하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)의 사이즈에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)의 사이즈가 클수록, 더 강한 진동 피드백을 발생시키기 위한 햅틱 정보를 획득할 수 있다.
예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)의 기준 색상들 중 적어도 하나에 기반하여 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 기준 색상들의 대표 값에 기반하여, 상기 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 대표 값은 최대 값, 최소 값, 최빈 값, 중앙 값, 평균 값을 포함할 수 있다. 전자 장치(101)는, 시각적 객체(310)를 형성하는 픽셀들의 색상들에 기반하여, 상기 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)를 형성하는 픽셀들의 RGB 값들을 식별할 수 있다. 전자 장치(101)는, 상기 식별된 RGB 값들 중 R 값이 B 값에 비해 상대적으로 크게 식별된 것에 기반하여, 발열 소자의 온도를 조절하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 R 값이 상기 B 값에 비해 상대적으로 크게 식별된 것에 기반하여, 발열 소자의 온도를 B 값이 식별된 경우에 비해 상대적으로 높게 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 시각적 객체(310)를 형성하는 픽셀들의 RGB 값을 식별할 수 있다. 전자 장치(101)는, 상기 시각적 객체(310)를 형성하는 픽셀들의 RGB 값에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)를 형성하는 픽셀들에 기반하여 획득된 RGB 값을 구성하는 R 값, G 값, B 값의 평균 값을 획득할 수 있다. 전자 장치(101)는, R 값, G 값, B 값 각각의 평균 값에 기반하여, 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)를 형성하는 R 값의 평균 값이 상기 시각적 객체(310)를 형성하는 B 값의 평균 값에 비해 큰 값으로 식별할 수 있다. 전자 장치(101)는, 상기 R 값의 평균 값이 상기 B 값의 평균 값보다 큰 값으로 식별한 것에 기반하여, 상기 시각적 객체(310)를 표현하기 위한 높은 온도를 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 시각적 객체(310)를 형성하는 B 값의 평균 값이 상기 시각적 객체(310)를 형성하는 R 값의 평균 값에 비해 큰 값으로 식별할 수 있다. 전자 장치(101)는, 상기 B 값의 평균 값이 상기 R 값의 평균 값보다 큰 값으로 식별한 것에 기반하여, 상기 시각적 객체(310)를 표현하기 위한 낮은 온도를 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 R 값의 평균 값 또는 상기 B 값의 평균 값에 대응하는 지정된 온도와 관련된 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 시각적 객체(310)를 형성하는 RGB 값에 기반하여 획득된 햅틱 정보를, 외부 전자 장치로 송신할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 지정된 이벤트를 식별할 수 있다. 전자 장치(101)는, 상기 지정된 이벤트와 관련된 시각적 객체(310)를 식별할 수 있다. 전자 장치(101)는, 상기 시각적 객체(310)를 식별한 것에 기반하여, 상기 시각적 객체(310)와 관련된 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 시각적 객체(310)를 표현하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 시각적 객체(310)를 표현하기 위한 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 전자 장치(101)는, 상기 시각적 객체(310)를 표현하기 위한 상기 햅틱 정보를 외부 전자 장치로 송신함으로써, 전자 장치(101), 및/또는 외부 전자 장치의 사용자 경험을 강화할 수 있다.
도 4는, 일 실시 예에 따른, 햅틱 정보를 획득하기 위한 오디오 신호의 주파수의 일 예를 도시한다. 도 4의 전자 장치(101)는, 도 1a, 도 1b, 도 2a, 도 2b, 및/또는 도 3의 전자 장치(101)를 포함할 수 있다. 도 4의 동작들은, 도 1a, 및/또는 도 1b의 프로세서(120)에 의해 실행될 수 있다.
도 4를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 스피커(예, 도 1a, 및/또는 도 1b의 스피커(150)) 및 디스플레이(예, 도 1a, 및/또는 도 1b의 디스플레이(140))를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 도 4의 일 예는, 상기 스피커를 통하여 출력되는 오디오 신호에 대한 일 예를 포함할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 제1 주파수(410)의 오디오 신호를 식별할 수 있다. 예를 들어, 상기 제1 주파수(410)는, 약 10 내지 100 헤르츠 사이의 주파수를 포함할 수 있다. 전자 장치(101)는, 상기 제1 주파수(410)의 오디오 신호를 식별한 것에 기반하여, 상기 제1 주파수(410)에 대응하는 햅틱 데이터를 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제1 주파수(410)에 대응하는 오디오 신호를 표현하기 위한 제1 햅틱 정보를 획득할 수 있다. 상기 제1 햅틱 정보는, 진동 액추에이터(예, 도 1a, 및/또는 도 1b의 진동 액추에이터(180))를 제1 강도로 출력하기 위한 정보를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 제2 주파수(420)의 오디오 신호를 식별할 수 있다. 예를 들어, 상기 제2 주파수(420)는, 약 100 내지 약 1,000 헤르츠를 포함할 수 있다. 전자 장치(101)는, 상기 제2 주파수(420)의 오디오 신호를 식별한 것에 기반하여, 상기 제2 주파수(420)에 대응하는 햅틱 데이터를 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제2 주파수(420)에 대응하는 오디오 신호를 표현하기 위한 제2 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 제2 햅틱 정보는, 진동 액추에이터를 제2 강도로 출력하기 위한 정보를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 제3 주파수(430)의 오디오 신호를 식별할 수 있다. 예를 들어, 상기 제3 주파수(430)는, 약 1,000 내지 10,000 헤르츠를 포함할 수 있다. 전자 장치(101)는, 상기 제3 주파수(430)의 오디오 신호를 식별한 것에 기반하여, 상기 제3 주파수(430)에 대응하는 햅틱 데이터를 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 상기 제3 주파수(430)에 대응하는 오디오 신호를 표현하기 위한 제3 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 제3 햅틱 정보는, 진동 액추에이터를 제3 강도로 출력하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 제1 강도는, 상기 제2 강도에 비해 상대적으로 약한 강도를 포함할 수 있다. 예를 들어, 상기 제2 강도는 상기 제1 강도에 비해 상대적으로 강하고, 상기 제3 강도에 비해 상대적으로 약한 강도를 포함할 수 있다. 예를 들어, 상기 제3 강도는, 상기 제1 강도, 및 상기 제2 강도에 비해 상대적으로 강한 강도를 포함할 수 있다. 상기 강도는, 진동 액추에이터의 진동 강도를 의미할 수 있다. 전자 장치(101)는, 상기 오디오 신호에 기반하여 획득된 상기 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 예를 들어, 전자 장치(101)는, 상기 오디오 신호의 상기 주파수에 기반하여 획득된 상기 햅틱 정보를 상기 외부 전자 장치로 송신할 수 있다.
일 실시 예에 따른, 전자 장치(101)는, 스피커를 통하여 출력되는 오디오 신호의 주파수에 기반하여, 진동 액추에이터를 제어하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 햅틱 정보를 획득한 것에 기반하여, 상기 햅틱 정보를 메모리(예, 도 1a, 및/또는 도 1b의 메모리(130)) 내에 저장할 수 있다. 전자 장치(101)는, 식별된 오디오 신호의 주파수에 기반하여, 상기 메모리 내에 저장된 햅틱 정보를 로드할 수 있다. 전자 장치(101)는, 상기 로드된 햅틱 정보를 외부 전자 장치로 송신할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)는, 스피커 및 디스플레이를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트 내에 포함된 오디오 신호를 식별할 수 있다. 전자 장치(101)는, 상기 오디오 신호의 주파수를 식별할 수 있다. 전자 장치(101)는, 상기 오디오 신호의 상기 주파수에 기반하여, 상기 주파수에 대응하는 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 햅틱 피드백을 출력하기 위한 상기 햅틱 정보를 획득한 것에 기반하여, 상기 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 전자 장치(101)는, 상기 오디오 신호에 기반하여 획득된 상기 햅틱 정보를 상기 외부 전자 장치로 송신함으로써, 전자 장치(101), 및/또는 외부 전자 장치의 사용자 경험을 강화할 수 있다.
도 5는, 일 실시 예에 따른, 햅틱 정보의 일 예를 도시한다. 도 5의 전자 장치(101)는, 도 1a, 도 1b, 도 2a, 도 2b, 도 3, 및/또는 도 4의 전자 장치(101)를 포함할 수 있다. 도 5의 동작들은, 도 1a, 및/또는 도 1b의 프로세서(120)에 의해 실행될 수 있다.
도 5를 참고하면, 일 실시 예에 따른, 전자 장치(101)는, 진동 액추에이터(예, 도 1a, 및/또는 도 1b의 진동 액추에이터(180))를 제어하기 위한 햅틱 정보를 획득할 수 있다. 도 5의 일 예는, 진동 액추에이터를 포함하는 외부 전자 장치(예, 도 1a의 외부 전자 장치(103))로 송신하거나, 전자 장치(101) 내에 포함된 진동 액추에이터에 의해 출력되는 주파수의 일 예를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 진동 액추에이터에 의해 출력되는 주파수를 조절하기 위한 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 예를 들어, 전자 장치(101)는, 상기 주파수의 전류, 및/또는 전압을 조절할 수 있다. 전자 장치(101)는, 상기 주파수의 전류, 및/또는 전압을 조절한 것에 기반하여, 상기 주파수의 전류, 및/또는 전압을 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 도 5에 도시된 그래프의 가로축은, 시간을 의미할 수 있다. 도 5에 도시된 그래프의 세로축은, 전압을 의미할 수 있다. 하지만, 이에 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하는 동안, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 도 5의 제1 형태(510) 내지 제3 형태(530)의 주파수 파형(frequency waveform)의 일 예를 포함할 수 있다. 하지만, 이에 제한되지 않는다. 상기 제1 형태(510) 내지 상기 제3 형태(530)의 주파수 파형은, 진동 액추에이터에 의해 출력되는 주파수 파형을 포함할 수 있다. 하지만, 이에 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 제1 형태(510)의 주파수 파형을 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 미디어 콘텐트 내에 포함된 제1 시각적 객체를 식별한 것에 기반하여, 상기 제1 형태(510)의 주파수 파형을 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 제1 시각적 객체는, 얼음 큐브(ice cube)와 같은, 매끄러운 질감을 가지는 객체를 포함할 수 있다. 전자 장치(101)는, 상기 제1 형태(510)의 주파수 파형을 포함하는 햅틱 정보를, 외부 전자 장치로 송신할 수 있다. 예를 들어, 상기 제1 형태(510)의 주파수 파형을 포함하는 햅틱 정보는, 얼음 큐브와 같은 매끄러운 질감(texture)을 표현하기 위한 햅틱 정보를 포함할 수 있다. 하지만, 이에 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 제2 형태(520)의 주파수 파형을 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 미디어 콘텐트 내에 포함된 제2 시각적 객체를 식별한 것에 기반하여, 상기 제2 형태(520)의 주파수 파형을 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 제2 시각적 객체는, 나무(wood)의 표면과 같은 규칙적이고 거친 질감을 가지는 객체를 포함할 수 있다. 같은 전자 장치(101)는, 상기 제2 형태(520)의 주파수 파형을 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 예를 들어, 상기 제2 형태(520)의 주파수 파형을 포함하는 햅틱 정보는, 나무의 표면과 같은 규칙적이고, 거친 질감을 표현하기 위한 햅틱 정보를 포함할 수 있다. 하지만 이에 제한되지 않는다.
일 실시 예에 따른, 전자 장치(101)는, 제3 형태(530)의 주파수 파형을 포함하는 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는, 제3 시각적 객체를 식별한 것에 기반하여, 상기 제3 형태(530)의 주파수 파형을 포함하는 햅틱 정보를 획득할 수 있다. 상기 제3 시각적 객체는, 수세미(rough-sponge)와 같은 불규칙적이고, 거친 질감을 가지는 객체를 포함할 수 있다. 전자 장치(101)는, 상기 제3 형태(530)의 주파수 파형을 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 예를 들어, 상기 제3 형태(530)의 주파수 파형을 포함하는 햅틱 정보는, 수세미와 같은 불규칙적이고, 거친 질감을 표현하기 위한 햅틱 정보를 포함할 수 있다. 하지만, 이에 제한되지 않는다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력할 수 있다. 전자 장치(101)는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트 내에 포함된 시각적 객체를 식별할 수 있다. 전자 장치(101)는, 상기 시각적 객체를 식별한 것에 기반하여, 상기 시각적 객체에 대응하는 질감을 표현하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 상기 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 전자 장치(101)는, 상기 시각적 객체에 대응하는 질감을 표현하기 위한 햅틱 정보를 외부 전자 장치로 송신하고, 상기 외부 전자 장치는, 상기 햅틱 정보에 기반하여 진동 액추에이터를 제어할 수 있다. 전자 장치(101) 및/또는 외부 전자 장치는, 질감을 표현하기 위한 햅틱 정보에 기반하여 진동 액추에이터를 제어함으로써, 전자 장치(101) 및/또는 외부 전자 장치의 사용자 경험을 강화할 수 있다.
도 6은, 일 실시 예에 따른, 전자 장치의 동작에 관한 흐름도의 일 예를 도시한다. 도 6의 전자 장치는, 도 1a, 도 1b, 도 2a, 도 2b, 도 3, 도 4, 및/또는 도 5의 전자 장치(101)를 포함할 수 있다. 도 6의 동작들은, 도 1a, 및/또는 도 1b의 프로세서(120)에 의해 실행될 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 6을 참고하면, 동작 601에서, 일 실시 예에 따른, 전자 장치는, 스피커(예, 도 1a, 및/또는 도 1b의 스피커(150)) 및 디스플레이(예, 도 1a, 및/또는 도 1b의 디스플레이(140))를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 상기 햅틱 정보는, 외부 전자 장치(예, 도 1a의 외부 전자 장치(103)) 내에 포함된 발열 소자(예, 도 1a의 발열 소자(170)), 및/또는 진동 액추에이터(예, 도 1a의 진동 액추에이터(180))를 제어하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 햅틱 정보는, 상기 발열 소자, 및/또는 상기 진동 액추에이터에 의해 발생되는 햅틱 피드백과 관련될 수 있다.
동작 603에서, 일 실시 예에 따른, 전자 장치는, 통신 회로(예, 도 1a의 통신 회로(160))를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 예를 들어, 상기 능력 정보는, 외부 전자 장치 내에 포함된 컴포넌트들과 관련될 수 있다. 예를 들어, 상기 능력 정보는, 외부 전자 장치 내에 컴포넌트들이 포함되는지 여부와 관련될 수 있다. 예를 들어, 상기 능력 정보는, 상기 외부 전자 장치 내에 포함된 상기 컴포넌트들의 사양과 관련될 수 있다.
동작 605에서, 일 실시 예에 따른, 전자 장치는, 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 능력 정보를 식별할 수 있다. 전자 장치는, 상기 능력 정보를 식별한 것에 기반하여 햅틱 정보를 조절할 수 있다. 예를 들어, 전자 장치는, 상기 능력 정보에 기반하여, 상기 햅틱 정보 내에 포함된 발열 소자를 제어하기 위한 제1 정보를 식별할 수 있다. 예를 들어, 전자 장치는, 상기 능력 정보에 기반하여, 상기 햅틱 정보 내에 포함된 진동 액추에이터를 제어하기 위한 제2 정보를 식별할 수 있다. 예를 들어, 전자 장치는, 발열 소자 및 진동 액추에이터 중 진동 액추에이터와 관련된 능력 정보를 식별한 것에 기반하여, 제1 정보를 제3 정보로 변경할 수 있다. 예를 들어, 전자 장치는, 상기 능력 정보를 식별한 것에 기반하여, 상기 제1 정보를, 진동 액추에이터를 제어하기 위한 제3 정보로 변경할 수 있다. 예를 들어, 전자 장치는, 발열 소자 및 진동 액추에이터 중 발열 소자와 관련된 능력 정보를 식별한 것에 기반하여, 제2 정보를 제4 정보로 변경할 수 있다. 예를 들어, 전자 장치는, 상기 능력 정보를 식별한 것에 기반하여, 상기 제2 정보를, 발열 소자를 제어하기 위한 제4 정보로 변경할 수 있다. 전자 장치는, 상기 변경된 정보를 포함하는 햅틱 정보를 외부 전자 장치로 송신할 수 있다. 예를 들어, 전자 장치는, 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 능력 정보에 의해 조절된 햅틱 정보를, 통신 회로를 통하여 외부 전자 장치로 송신할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치는, 미디어 콘텐트를 출력할 수 있다. 전자 장치는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 관련된 햅틱 정보를 획득할 수 있다. 전자 장치는, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치는, 통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 전자 장치는, 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 능력 정보를 식별할 수 있다. 전자 장치는, 상기 외부 전자 장치가 상기 발열 소자 또는 상기 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 능력 정보에 기반하여, 햅틱 정보를 조절할 수 있다. 전자 장치는, 상기 조절된 햅틱 정보를, 통신 회로를 통하여 외부 전자 장치로 송신할 수 있다. 전자 장치는, 외부 전자 장치의 능력 정보를 식별한 것에 기반하여 햅틱 정보를 조절하고, 조절된 햅틱 정보를 송신함으로써, 전자 장치의 사용자 경험을 강화할 수 있다.
도 7은, 일 실시 예에 따른, 전자 장치의 동작에 관한 흐름도의 일 예를 도시한다. 도 7의 전자 장치는, 도 1a, 도 1b, 도 2a, 도 2b, 도 3, 도 4, 및/또는 도 5의 전자 장치(101), 및/또는 도 6의 전자 장치를 포함할 수 있다. 도 7의 동작들은, 도 1a, 및/또는 도 1b의 프로세서(120)에 의해 실행될 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 7을 참고하면, 동작 701에서, 일 실시 예에 따른, 전자 장치는, 스피커(예, 도 1a, 및/또는 도 1b의 스피커(150)) 및 디스플레이(예, 도 1a, 및/또는 도 1b의 디스플레이(140))를 통하여 미디어 콘텐트를 출력할 수 있다. 전자 장치는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 관련된 햅틱 정보를 획득할 수 있다. 전자 장치는, 상기 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 예를 들어, 전자 장치는, 미디어 콘텐트의 프레임, 및/또는 오디오 신호에 기반하여, 상기 햅틱 정보를 획득할 수 있다.
동작 703에서, 일 실시 예에 따른, 전자 장치는, 통신 회로(예, 도 1a, 및/또는 도 1b의 통신 회로(160))를 통해 연결된 외부 전자 장치(예, 도 1a의 외부 전자 장치(103))에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 예를 들어, 상기 능력 정보는, 외부 전자 장치 내에 포함된 컴포넌트들과 관련될 수 있다. 예를 들어, 상기 능력 정보는, 외부 전자 장치 내에 포함된 컴포넌트들의 사양과 관련될 수 있다.
동작 705에서, 일 실시 예에 따른, 전자 장치는, 능력 정보에 기반하여 외부 전자 장치 내에 발열 소자 및 진동 액추에이터를 포함하는지 여부를 식별할 수 있다. 전자 장치는, 외부 전자 장치 내에 포함된 발열 소자를 식별할 수 있다. 전자 장치는, 외부 전자 장치 내에 포함된 진동 액추에이터를 식별할 수 있다.
외부 전자 장치가 발열 소자 및 진동 액추에이터를 포함하고 있는 경우(동작 705-예), 동작 707에서, 일 실시 예에 따른, 전자 장치는, 햅틱 정보를 송신할 수 있다. 예를 들어, 전자 장치는, 상기 햅틱 정보 내에 포함된 발열 소자를 제어하기 위한 제1 정보를 식별할 수 있다. 전자 장치는, 상기 햅틱 정보 내에 포함된 진동 액추에이터를 제어하기 위한 제2 정보를 식별할 수 있다. 전자 장치는, 외부 전자 장치가 발열 소자 및 진동 액추에이터를 포함하는 것을 식별한 것에 기반하여, 상기 제1 정보 및 상기 제2 정보를 외부 전자 장치로 송신할 수 있다.
외부 전자 장치가 발열 소자 및 진동 액추에이터를 포함하고 있지 않은 경우(동작 705-아니오), 동작 709에서, 일 실시 예에 따른, 전자 장치는, 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하고 있는지 여부를 식별할 수 있다. 예를 들어, 전자 장치는, 상기 외부 전자 장치가 상기 발열 소자를 포함하고 있는지 여부를 식별할 수 있다. 예를 들어, 전자 장치는, 상기 외부 전자 장치 내에 포함된 발열 소자를 식별할 수 있다. 예를 들어, 전자 장치는, 상기 외부 전자 장치가 상기 진동 액추에이터를 포함하고 있는지 여부를 식별할 수 있다. 예를 들어, 전자 장치는, 상기 외부 전자 장치 내에 포함된 진동 액추에이터를 식별할 수 있다.
외부 전자 장치 내에 발열 소자가 포함되어 있지 않은 경우(동작 709-아니오), 동작 711에서, 일 실시 예에 따른, 전자 장치는, 외부 전자 장치 내에 포함된 진동 액추에이터를 식별할 수 있다. 전자 장치는, 외부 전자 장치 내에 포함된 진동 액추에이터를 식별한 것에 기반하여, 햅틱 정보 내에 포함된 제1 정보를 제3 정보로 변경할 수 있다. 예를 들어, 상기 제1 정보는, 발열 소자를 제어하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 제3 정보는, 진동 액추에이터를 제어하기 위한 정보를 포함할 수 있다. 전자 장치는, 상기 제1 정보를 상기 제3 정보로 변경한 것에 기반하여, 상기 제2 정보 및 제3 정보를 외부 전자 장치로 송신할 수 있다. 예를 들어, 상기 제2 정보는, 진동 액추에이터를 제어하기 위한 정보를 포함할 수 있다.
외부 전자 장치 내에 발열 소자가 포함되어 있는 경우(동작 709-예), 동작 713에서, 일 실시 예에 따른, 전자 장치는, 외부 전자 장치 내에 포함된 발열 소자를 식별할 수 있다. 전자 장치는, 외부 전자 장치 내에 포함된 발열 소자를 식별한 것에 기반하여, 햅틱 정보 내에 포함된 제2 정보를 제4 정보로 변경할 수 있다. 예를 들어, 상기 제2 정보는, 진동 액추에이터를 제어하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 제4 정보는, 발열 소자를 제어하기 위한 정보를 포함할 수 있다. 전자 장치는, 상기 제2 정보를 상기 제4 정보로 변경한 것에 기반하여, 제3 정보 및 상기 제4 정보를 외부 전자 장치로 송신할 수 있다.
일 실시 예에 따른, 전자 장치는, 외부 전자 장치의 능력 정보에 기반하여, 햅틱 정보를 변경할 수 있다. 예를 들어, 전자 장치는, 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보에 기반하여, 상기 햅틱 정보를 변경할 수 있다. 일 실시 예에 따른, 전자 장치는, 외부 전자 장치 내에 포함된 컴포넌트들의 사양에 기반하여, 상기 햅틱 정보를 조절할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치는, 외부 전자 장치 내에 포함된 컴포넌트들을 식별할 수 있다. 전자 장치는, 상기 외부 전자 장치 내에 포함된 컴포넌트들에 기반하여, 미디어 콘텐트로부터 획득된 햅틱 정보를 변경할 수 있다. 예를 들어, 전자 장치는, 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보에 기반하여, 상기 햅틱 정보를 변경할 수 있다. 전자 장치는, 상기 햅틱 정보를 변경하여 외부 전자 장치로 송신함으로써, 전자 장치, 및/또는 외부 전자 장치의 사용자 경험을 강화할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)(electronic device)는, 디스플레이(140), 스피커(150), 통신 회로(160), 및 프로세서(120)를 포함할 수 있다. 상기 프로세서(120)는, 상기 스피커(150) 및 상기 디스플레이(140)를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 상기 프로세서(120)는, 상기 통신 회로(160)를 통해 연결된 외부 전자 장치(103)에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별할 수 있다. 상기 프로세서(120)는, 상기 외부 전자 장치(103)가 발열 소자(170) 또는 진동 액추에이터(180) 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로(160)를 통하여 상기 외부 전자 장치(103)로 송신할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)는, 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득할 수 있다. 전자 장치(101)는, 통신 회로(160)를 통해 연결된 외부 전자 장치(103)에 의해 지원되는 햅틱 피드백에 대한 능력 정보를 식별할 수 있다. 전자 장치(101)는, 상기 외부 전자 장치(103)가 발열 소자(170) 또는 진동 액추에이터(180) 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를 송신할 수 있다. 전자 장치(101)는, 상기 조절된 햅틱 정보를 송신함으로써, 전자 장치(101) 및/또는 외부 전자 장치(103)의 사용자 경험을 강화할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 미디어 콘텐트의 프레임으로부터, 색상 공간을 형성하기 위한 기준 색상들(reference colors) 중 적어도 하나에 기반하여, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값을 획득할 수 있다. 상기 프로세서(120)는, 상기 평균 값에 기반하여, 상기 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 미디어 콘텐트에 포함된 오디오 신호의 주파수 분포에 기반하여, 상기 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석에 기반하여, 상기 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 미디어 콘텐트에 포함된 프레임들 내에서 식별된 시각적 객체의 모션에 기반하여, 상기 햅틱 정보를 획득할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 햅틱 정보 내에 포함된 상기 발열 소자(170)를 제어하기 위한 제1 정보 또는 상기 햅틱 정보 내에 포함된 상기 진동 액추에이터(180)를 제어하기 위한 제2 정보를 식별할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 능력 정보를 식별한 것에 기반하여, 상기 제1 정보를 상기 진동 액추에이터(180)를 제어하기 위한 제3 정보로 변경할 수 있다.
일 실시 예에 따른, 상기 프로세서(120)는, 상기 능력 정보를 식별한 것에 기반하여, 상기 제2 정보를 상기 발열 소자(170)를 제어하기 위한 제4 정보로 변경할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 전자 장치(101)(electronic device)의 방법은, 스피커(150) 및 디스플레이(140)를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하는 동작을 포함할 수 있다. 상기 전자 장치(101)의 상기 방법은, 통신 회로(160)를 통해 연결된 외부 전자 장치(103)에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별하는 동작을 포함할 수 있다. 상기 전자 장치(101)의 상기 방법은, 상기 외부 전자 장치(103)가 발열 소자(170) 또는 진동 액추에이터(180) 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로(160)를 통하여 상기 외부 전자 장치(103)로 송신하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 미디어 콘텐트의 프레임으로부터, 색상 공간을 형성하기 위한 기준 색상들(reference colors) 중 적어도 하나에 기반하여, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값을 획득하는 동작을 포함할 수 있다. 상기 전자 장치(101)의 상기 방법은, 상기 평균 값에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 미디어 콘텐트에 포함된 오디오 신호의 주파수 분포에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 미디어 콘텐트에 포함된 프레임들 내에서 식별된 시각적 객체의 모션에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 햅틱 정보 내에 포함된 상기 발열 소자(170)를 제어하기 위한 제1 정보 또는 상기 햅틱 정보 내에 포함된 상기 진동 액추에이터(180)를 제어하기 위한 제2 정보를 식별하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 능력 정보를 식별한 것에 기반하여, 상기 제1 정보를 상기 진동 액추에이터(180)를 제어하기 위한 제3 정보로 변경하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 전자 장치(101)의 상기 방법은, 상기 능력 정보를 식별한 것에 기반하여, 상기 제2 정보를 상기 발열 소자(170)를 제어하기 위한 제4 정보로 변경하는 동작을 포함할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체에 있어서, 상기 하나 이상의 프로그램들은, 전자 장치(101)의 프로세서(120)에 의해 실행될 때에, 스피커(150) 및 디스플레이(140)를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 통신 회로(160)를 통해 연결된 외부 전자 장치(103)에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 외부 전자 장치(103)가 발열 소자(170) 또는 진동 액추에이터(180) 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로(160)를 통하여 상기 외부 전자 장치(103)로 송신하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 미디어 콘텐트의 프레임으로부터, 색상 공간을 형성하기 위한 기준 색상들(reference colors) 중 적어도 하나에 기반하여, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값을 획득하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 평균 값에 기반하여, 상기 햅틱 정보를 획득하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 미디어 콘텐트에 포함된 오디오 신호의 주파수 분포에 기반하여, 상기 햅틱 정보를 획득하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석에 기반하여, 상기 햅틱 정보를 획득하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 미디어 콘텐트에 포함된 프레임들 내에서 식별된 시각적 객체의 모션에 기반하여, 상기 햅틱 정보를 획득하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 햅틱 정보 내에 포함된 상기 발열 소자(170)를 제어하기 위한 제1 정보 또는 상기 햅틱 정보 내에 포함된 상기 진동 액추에이터(180)를 제어하기 위한 제2 정보를 식별하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 능력 정보를 식별한 것에 기반하여, 상기 제1 정보를 상기 진동 액추에이터(180)를 제어하기 위한 제3 정보로 변경하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
일 실시 예에 따른, 상기 하나 이상의 프로그램들은, 상기 전자 장치(101)의 상기 프로세서(120)에 의해 실행될 때에, 상기 능력 정보를 식별한 것에 기반하여, 상기 제2 정보를 상기 발열 소자(170)를 제어하기 위한 제4 정보로 변경하도록, 상기 전자 장치(101)의 상기 프로세서(120)를 야기할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
Claims (15)
- 전자 장치(electronic device)에 있어서,디스플레이;스피커;통신 회로; 및프로세서를 포함하고,상기 프로세서는,상기 스피커 및 상기 디스플레이를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하고;상기 통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별하고; 및상기 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하도록, 구성된,전자 장치.
- 제1 항에 있어서,상기 프로세서는,상기 미디어 콘텐트의 프레임으로부터, 색상 공간을 형성하기 위한 기준 색상들(reference colors) 중 적어도 하나에 기반하여, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값을 획득하고; 및상기 평균 값에 기반하여, 상기 햅틱 정보를 획득하도록, 구성된,전자 장치.
- 제1 항에 있어서,상기 프로세서는,상기 미디어 콘텐트에 포함된 오디오 신호의 주파수 분포에 기반하여, 상기 햅틱 정보를 획득하도록, 구성된,전자 장치.
- 제1 항에 있어서,상기 프로세서는,상기 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석에 기반하여, 상기 햅틱 정보를 획득하도록, 구성된,전자 장치.
- 제1 항에 있어서,상기 프로세서는,상기 미디어 콘텐트에 포함된 프레임들 내에서 식별된 시각적 객체의 모션에 기반하여, 상기 햅틱 정보를 획득하도록, 구성된,전자 장치.
- 제1 항에 있어서,상기 프로세서는,상기 햅틱 정보 내에 포함된 상기 발열 소자를 제어하기 위한 제1 정보 또는 상기 햅틱 정보 내에 포함된 상기 진동 액추에이터를 제어하기 위한 제2 정보를 식별하도록, 구성된,전자 장치.
- 제6 항에 있어서,상기 프로세서는,상기 능력 정보를 식별한 것에 기반하여, 상기 제1 정보를 상기 진동 액추에이터를 제어하기 위한 제3 정보로 변경하도록, 구성된,전자 장치.
- 제6 항에 있어서,상기 프로세서는,상기 능력 정보를 식별한 것에 기반하여, 상기 제2 정보를 상기 발열 소자를 제어하기 위한 제4 정보로 변경하도록, 구성된,전자 장치.
- 전자 장치(electronic device)의 방법에 있어서,스피커 및 디스플레이를 통하여 미디어 콘텐트를 출력하는 상태 내에서, 상기 미디어 콘텐트와 동기화된 햅틱 피드백을 출력하기 위한 햅틱 정보를 획득하는 동작;통신 회로를 통해 연결된 외부 전자 장치에 의해 지원되는 햅틱 피드백에 대한 능력 정보(capability information)를 식별하는 동작; 및상기 외부 전자 장치가 발열 소자 또는 진동 액추에이터 중 적어도 하나를 포함하는지 여부를 지시하는 상기 능력 정보에 의해 조절된 햅틱 정보를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하는 동작을 포함하는,방법.
- 제9 항에 있어서,상기 전자 장치의 상기 방법은,상기 미디어 콘텐트의 프레임으로부터, 색상 공간을 형성하기 위한 기준 색상들(reference colors) 중 적어도 하나에 기반하여, 상기 프레임 내 픽셀들의 색상들에 대한 평균 값을 획득하는 동작; 및상기 평균 값에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함하는,방법.
- 제9 항에 있어서,상기 전자 장치의 상기 방법은,상기 미디어 콘텐트에 포함된 오디오 신호의 주파수 분포에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함하는,방법.
- 제9 항에 있어서,상기 전자 장치의 상기 방법은,상기 미디어 콘텐트에 포함된 프레임들에 대한 장면 분석에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함하는,방법.
- 제9 항에 있어서,상기 전자 장치의 상기 방법은,상기 미디어 콘텐트에 포함된 프레임들 내에서 식별된 시각적 객체의 모션에 기반하여, 상기 햅틱 정보를 획득하는 동작을 포함하는,방법.
- 제9 항에 있어서,상기 전자 장치의 상기 방법은,상기 햅틱 정보 내에 포함된 상기 발열 소자를 제어하기 위한 제1 정보 또는 상기 햅틱 정보 내에 포함된 상기 진동 액추에이터를 제어하기 위한 제2 정보를 식별하는 동작을 포함하는,방법.
- 제14 항에 있어서,상기 전자 장치의 상기 방법은,상기 능력 정보를 식별한 것에 기반하여, 상기 제1 정보를 상기 진동 액추에이터를 제어하기 위한 제3 정보로 변경하는 동작을 포함하는,방법.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2022-0149992 | 2022-11-10 | ||
KR20220149992 | 2022-11-10 | ||
KR1020220153966A KR20240068491A (ko) | 2022-11-10 | 2022-11-16 | 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법 |
KR10-2022-0153966 | 2022-11-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024101688A1 true WO2024101688A1 (ko) | 2024-05-16 |
Family
ID=91032659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/015889 WO2024101688A1 (ko) | 2022-11-10 | 2023-10-13 | 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024101688A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140105024A (ko) * | 2011-12-21 | 2014-08-29 | 퀄컴 인코포레이티드 | 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용 |
KR20180037709A (ko) * | 2016-10-05 | 2018-04-13 | 씨제이포디플렉스 주식회사 | 가상현실 4d 컨텐츠 상영 시스템 및 그 방법 |
US20180144480A1 (en) * | 2013-03-15 | 2018-05-24 | Immersion Corporation | Method and apparatus to generate haptic feedback from video content analysis |
US20180373337A1 (en) * | 2013-05-24 | 2018-12-27 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
US20210389826A1 (en) * | 2017-09-20 | 2021-12-16 | Alex Hamid Mani | Haptic feedback device and method for providing haptic sensation based on video |
-
2023
- 2023-10-13 WO PCT/KR2023/015889 patent/WO2024101688A1/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140105024A (ko) * | 2011-12-21 | 2014-08-29 | 퀄컴 인코포레이티드 | 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용 |
US20180144480A1 (en) * | 2013-03-15 | 2018-05-24 | Immersion Corporation | Method and apparatus to generate haptic feedback from video content analysis |
US20180373337A1 (en) * | 2013-05-24 | 2018-12-27 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
KR20180037709A (ko) * | 2016-10-05 | 2018-04-13 | 씨제이포디플렉스 주식회사 | 가상현실 4d 컨텐츠 상영 시스템 및 그 방법 |
US20210389826A1 (en) * | 2017-09-20 | 2021-12-16 | Alex Hamid Mani | Haptic feedback device and method for providing haptic sensation based on video |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020162673A1 (en) | Electronic device for providing avatar animation and method thereof | |
WO2018236058A1 (en) | ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST | |
WO2021101087A1 (en) | Electronic apparatus and controlling method thereof | |
WO2021230524A1 (ko) | 플리커 현상을 경감하는 디스플레이 장치 및 그것을 포함하는 전자 장치 | |
WO2021045552A1 (en) | Electronic device for image synthesis and operating method thereof | |
WO2020166894A1 (en) | Electronic device and method for recommending word in same | |
WO2019035551A1 (en) | APPARATUS FOR COMPOSING OBJECTS USING DEPTH CARD AND ASSOCIATED METHOD | |
WO2019172722A1 (ko) | 디스플레이를 통해 이미지가 표시된 누적 시간에 기반하여, 이미지를 보상하여 표시하는 방법 및 전자 장치 | |
WO2020153738A1 (ko) | 카메라 모듈에 접지 노드를 연결하기 위한 전자 장치 및 방법 | |
WO2024101688A1 (ko) | 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법 | |
WO2021149938A1 (en) | Electronic device and method for controlling robot | |
WO2019066370A1 (ko) | 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법 | |
WO2020138909A1 (ko) | 콘텐트 공유 방법 및 그 전자 장치 | |
WO2019132445A1 (ko) | 디스플레이의 열화를 보상하기 위한 전자 장치 및 그의 동작 방법 | |
WO2021162241A1 (ko) | 이미지 센서 제어 방법 및 장치 | |
WO2021261919A1 (ko) | 디스플레이의 리프레쉬 레이트를 동적으로 조정하는 전자 장치 | |
WO2021172941A1 (ko) | 영상 스트리밍 방법 및 이를 지원하는 전자 장치 | |
WO2021096254A1 (ko) | 디스플레이의 속성을 변경하기 위한 전자 장치 및 전자 장치에서의 동작 방법 | |
WO2021096063A1 (ko) | 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법 | |
WO2020149605A1 (en) | Electronic apparatus and control method thereof | |
WO2020060229A1 (ko) | 수평 동기화 신호에 기반하여 업 스케일링을 수행하는 시간 구간을 확장하기 위한 전자 장치 및 방법 | |
WO2020075925A1 (ko) | 모바일 장치 및 모바일 장치의 제어 방법 | |
WO2020091491A1 (ko) | 이미지의 컨텐츠의 변경에 기반하여 이미지의 표시 위치 또는 면적을 제어하는 전자 장치 | |
KR20240068491A (ko) | 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법 | |
EP3935821A1 (en) | Electronic device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23888951 Country of ref document: EP Kind code of ref document: A1 |