WO2023080564A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023080564A1
WO2023080564A1 PCT/KR2022/016701 KR2022016701W WO2023080564A1 WO 2023080564 A1 WO2023080564 A1 WO 2023080564A1 KR 2022016701 W KR2022016701 W KR 2022016701W WO 2023080564 A1 WO2023080564 A1 WO 2023080564A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
front screen
user
image
gaze
Prior art date
Application number
PCT/KR2022/016701
Other languages
English (en)
French (fr)
Inventor
한순섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023080564A1 publication Critical patent/WO2023080564A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/302—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements characterised by the form or geometrical disposition of the individual elements
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/11—Controlling the light source in response to determined parameters by determining the brightness or colour temperature of ambient light

Definitions

  • Various embodiments relate to an electronic device that provides a virtual image while rotating a display device according to a user's gaze direction and an operating method thereof.
  • Augmented reality is a technology that projects a virtual image onto a physical environment space or a real world object in the real world and displays it as a single image.
  • Augmented reality devices can display virtual images through a transparent screen, and provide virtual images in various usage environments in order to provide various services using virtual images, such as allowing the augmented reality devices to clearly show the virtual images. Research on how to do this is required.
  • An electronic device includes a display device including a front screen, a rotation control device for controlling rotation of the display device, a memory for storing one or more instructions, and executing one or more instructions stored in the memory. It may include a processor that The processor may display an object image through a front screen. The processor may obtain gaze information of a user looking at the front screen. The processor may rotate the display device by controlling the rotation control device so that the front screen is located in the front direction of the user's gaze based on the obtained gaze information. The processor may change an object image being displayed on the front screen based on the acquired gaze information.
  • a method of operating an electronic device may include displaying an object image through a front screen.
  • the operating method of the electronic device may include acquiring gaze information of a user looking at a front screen.
  • the method of operating the electronic device may include rotating the display device including the front screen by controlling a rotation control device so that the front screen is located in the front direction of the user's gaze, based on the obtained gaze information.
  • the operating method of the electronic device may include changing an object image being displayed through a front screen based on the acquired gaze information.
  • a glass-type device includes a proximity sensor, a communication interface for communicating with an electronic device, an eye tracking sensor, a display, a memory for storing one or more instructions, and one or more instructions stored in the memory. It may include a processor that executes. The processor may detect that the glass-type device is worn by the user using a proximity sensor. The processor may control a communication connection with an electronic device through a communication interface. The processor may obtain gaze information of a user wearing a glasses-type device using a gaze tracking sensor.
  • the processor transmits the acquired gaze information to the electronic device through a communication interface, and from the electronic device, based on the gaze information, a left image signal and a right image signal corresponding to a 3D image to be displayed on the front screen of the electronic device.
  • the processor may provide a 3D image through the LC shutter for the left eye and the LC shutter for the right eye based on the received left and right image signals.
  • Another aspect of the present disclosure may provide a computer program product including a computer-readable storage medium on which a program to be executed on a computer is recorded.
  • FIG. 1 is a diagram schematically illustrating an electronic device according to an exemplary embodiment.
  • FIG. 2A is a diagram illustrating a side view of an electronic device according to an exemplary embodiment.
  • 2B is a side view of an electronic device according to another embodiment.
  • FIG. 3 is a block diagram of an electronic device according to an embodiment.
  • FIG. 4 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 5 is a diagram for explaining an example in which a display device rotates according to a user's gaze according to an exemplary embodiment.
  • FIG. 6 is a diagram for explaining an example of an image provided by a front screen according to a user's gaze according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating an example of adjusting transparency of a rear screen of an electronic device according to an exemplary embodiment.
  • FIG. 8 is a diagram for explaining an example of adjusting transparency of a rear screen of an electronic device according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining an example in which a rear screen of an electronic device rotates according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a method of operating an electronic device in conjunction with a glass-type device according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a method of operating a glass type device according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating a glass-type device according to an exemplary embodiment.
  • FIG. 13 is a block diagram of a glass type device according to an embodiment.
  • first and second may be used to describe various elements, but elements should not be limited by these terms. These terms are used to distinguish one component from another.
  • Some embodiments of the present disclosure may be represented as functional block structures and various processing steps. Some or all of these functional blocks may be implemented as a varying number of hardware and/or software components that perform specific functions.
  • functional blocks of the present disclosure may be implemented by one or more microprocessors or circuit configurations for a predetermined function.
  • the functional blocks of this disclosure may be implemented in various programming or scripting languages.
  • Functional blocks may be implemented as an algorithm running on one or more processors.
  • the present disclosure may employ prior art for electronic environment setting, signal processing, and/or data processing. Terms such as “mechanism”, “element”, “means” and “composition” may be used broadly and are not limited to mechanical and physical components.
  • connecting lines or connecting members between components shown in the drawings are only examples of functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.
  • 'Augmented Reality (AR)' means showing a virtual image together in a physical environment space of the real world or showing a real object and a virtual image together.
  • an 'Augmented Reality Device' is a device capable of expressing 'Augmented Reality'.
  • a 'real scene' is a scene in the real world viewed by a user and may include a real world object.
  • a 'virtual image' may include both static and dynamic images.
  • Such a virtual image is observed together with a real scene, and may be an image representing information about a real object in a real scene, information about an operation of an augmented reality device, or a control menu.
  • FIG. 1 is a diagram schematically illustrating an electronic device according to an exemplary embodiment.
  • the electronic device 100 may be an augmented reality device.
  • the electronic device 100 is a device having a screen capable of adjusting transparency, and may provide a virtual image.
  • the electronic device 100 may be an artificial intelligence speaker, but is not limited thereto.
  • the electronic device 100 may display a character image 51 through a transparent front screen 141 .
  • the electronic device 100 may detect the user 101 around the electronic device 100 using the camera 175 and track the user's gaze.
  • the electronic device 100 may rotate the display device including the front screen 141 according to the user's gaze direction looking at the front screen 141 .
  • the electronic device 100 detects the user's line of sight and moves the front screen 141 to the front direction of the user's line of sight.
  • the display device may be rotated to be positioned at
  • the electronic device 100 may display a side image of the character image 51 to provide an effect of seeing the side of the character image 51 as the user moves to the side of the front screen 141. there is.
  • the user may recognize the character image 51 as a 3D shape by wearing the glass-type device 200 (eg, shutter glass).
  • the glass-type device 200 eg, shutter glass
  • the electronic device 100 may provide a sharper character image 51 to the user by rotating the front screen 51 according to the user's gaze direction.
  • the user since the user observes different sides of the character image 51 according to the direction in which the user moves around the electronic device 100, a more realistic and natural 3D character image can be observed.
  • FIG. 1 is shown to explain an embodiment, but is not limited thereto.
  • 2A is a diagram illustrating a side view of an electronic device according to an exemplary embodiment.
  • 2B is a side view of an electronic device according to another embodiment.
  • the electronic device 100 includes a display device 140 (FIG. 3) including a front screen 141 and a rear screen 142, and a rotation control device 145 that controls rotation of the display device 140.
  • a display device 140 FIG. 3
  • a rotation control device 145 that controls rotation of the display device 140.
  • the front screen 141 and the rear screen 142 may be mounted inside the cylindrical transparent case 161.
  • the front screen 141 may be mounted flat on one cut surface inside the cylindrical case 161 .
  • the rear screen 142 may be mounted on a rear curved surface of the cylindrical case 161 based on the front screen 141 .
  • the display device 140 may further include a projector module 143 and a reflection mirror 144.
  • the projector module 143 may project an image on the front screen 141 .
  • the projector module 143 may be a short-throw projector (eg, LCOS, DMD, or LEDoS) having a short focal length.
  • Light of the virtual image may be projected from the projector module 143 to the reflective mirror 144 , reflected by the reflective mirror 144 and projected onto the front screen 141 .
  • the front screen 141 of the display device 140 may be configured as a transparent OLED display device.
  • the rotation control device 145 may include a stepping motor and a power supply unit supplying power to the stepping motor.
  • the processor 120 of the electronic device 100 drives a stepping motor with a pulse signal corresponding to an angle at which the front screen 141 is to rotate, so that the front screen 141 and the rear screen 142 are rotated. ) can rotate the rotation table 147 to which the transparent case 161 is attached.
  • FIG. 3 is a block diagram of an electronic device according to an embodiment.
  • the electronic device 100 may be an augmented reality device having a communication function and a data processing function and providing an augmented reality image, but is not limited thereto.
  • an electronic device 100 includes a memory 130, a processor 120, a display device 140, a rotation control device 145, a sensing unit 150, and a camera 175. , a communication interface 180, an audio output interface 185, a microphone 188, and a user input interface 189.
  • the electronic device 100 may be implemented with more components than those shown in FIG. 3 , or the electronic device 100 may be implemented with fewer components than those shown in FIG. 3 .
  • the processor 120 of the electronic device 100 executes the programs stored in the memory 130, so that the display device 140, the rotation control device 145, the sensing unit 150, the camera 175, and the communication interface ( 180), the audio output interface 185, the microphone 188, the user input interface 189, and the like can be generally controlled.
  • the memory 130 may store programs to be executed by the processor 120 and may store data input to or output from the electronic device 100 .
  • the memory 130 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Program Memory
  • magnetic memory magnetic disk , an optical disk, and at least one type of storage medium.
  • Programs stored in the memory 130 may be classified into a plurality of software modules according to their functions, including, for example, an image display module 131, a gaze information acquisition module 132, and a display rotation module 133. However, it is not limited thereto, and some of them may be stored or other software modules may be further included.
  • a 'module' included in the memory 130 refers to a unit that processes functions or operations performed by the processor 120, and may be implemented as software such as instructions, algorithms, data structures, or program codes. .
  • the processor 120 controls overall operations of the electronic device 100 .
  • the processor 120 may control an operation or function performed by the electronic device 100 by executing instructions or programs stored in the memory 130 .
  • the processor 120 may include one or a plurality of processors.
  • the processor 120 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the processor 120 may display an image through the front screen 141 by executing the image display module 131 stored in the memory 130 .
  • the processor 120 may display an image such as a still image or a moving image through the front screen 141 when an application requiring image display is executed.
  • the processor 120 may display an object image, for example, a character image such as a person or an animal through the front screen 141 .
  • the processor 120 may provide an object image as a 3D image.
  • the processor 120 may change the object image according to the user's gaze direction.
  • the processor 120 may change the display direction of the object image being displayed through the front screen 141 according to the user's gaze direction.
  • the object is displayed on the rotated front screen 141 so that the right side of the object can be observed according to the direction of the user's gaze from the moved right side.
  • the right side image of can be displayed.
  • the processor 120 may acquire the user's gaze information by executing the gaze information acquisition module 132 stored in the memory 130 .
  • the processor 120 may detect a user around the electronic device 100 using the camera 175 and obtain gaze information of the user looking at the front screen 141 .
  • the processor 120 receives gaze information of the user detected by the glass-type device 200 from the glasses-type device 200 being worn by the user through the communication interface 180. can do.
  • the user's gaze information may include at least one of a gaze direction from which the user's eyes are looking, a pupil position of the user's eyes, and coordinates of a central point of the pupil.
  • the processor 120 may rotate the display device 140 by executing the display rotation module 133 stored in the memory 130 .
  • the processor 120 rotates the display device 140 by controlling the rotation control device 145 so that the front screen 141 is located in the front direction of the user's gaze based on the user's gaze information. can make it
  • the display device 140 may include a front screen 141 and a rear screen 142 .
  • the front screen 141 may be implemented in a form in which a polymer dispersed liquid crystal (PDLC) film capable of adjusting transparency is adhered to a flat plastic.
  • the front screen 141 may be a screen as thin as 1 mm including a film having a thickness of 0.2 mm to 0.4 mm, but is not limited thereto.
  • the rear screen 142 may be implemented in a form in which a polymer dispersed liquid crystal (PDLC) film capable of adjusting transparency is adhered to a curved plastic.
  • PDLC polymer dispersed liquid crystal
  • the processor 120 adjusts the voltage applied to the front screen 141 and the rear screen 142 (eg, 60v to 11v), respectively, to adjust the transparency of the front screen 141 and the rear screen 142.
  • the rotation control device 145 may include a stepping motor and a power supply unit supplying power to the stepping motor.
  • the electronic device 100 may control the rotation control device 145 to rotate the display device 140 in a predetermined direction and at a predetermined angle.
  • the processor 120 may rotate the display device 140 by driving a stepping motor with a pulse signal corresponding to an angle at which the front screen 141 should be rotated.
  • the sensing unit 150 may include a depth sensor 153 and an illuminance sensor 154 .
  • the depth sensor 153 may obtain depth information about one or more objects included in the real world. Depth information may correspond to a distance from the depth sensor 153 to a specific object. According to an embodiment, the depth value may increase as the distance from the depth sensor 153 to a specific object increases.
  • the depth sensor 153 may obtain depth information of an object in various ways.
  • the depth sensor 153 may obtain depth information using at least one of a time of flight (TOF) method, a structured light method, and a stereo image method.
  • TOF time of flight
  • the depth sensor 153 of the stereo image method generally consists of two or more cameras.
  • the depth sensor 153 may sense depth information of a real object included in a real scene.
  • the processor 120 may obtain whether or not there is a real object in front of the electronic device 100, a direction of the real object, and a distance based on depth information of the real object sensed through the depth sensor 153.
  • the illuminance sensor 154 is a sensor that measures the ambient illuminance of the electronic device 100 .
  • the electronic device 100 may adjust the transparency of the rear screen 142 according to the amount of ambient light.
  • the camera 175 may capture the surroundings of the electronic device 100 .
  • the camera 175 may obtain an image frame such as a still image or a moving image through an image sensor when an application requesting a photographing function is executed.
  • Images captured through the image sensor may be processed through the processor 120 or a separate image processing unit (not shown). Also, the captured image may be displayed through the display device 140 .
  • image frames processed by the processor 120 or a separate image processing unit may be stored in the memory 130 or transmitted to the outside through the communication interface 180 .
  • Two or more cameras 175 may be provided according to configuration aspects of the electronic device 100 .
  • the camera 175 may obtain an image including a real scene by photographing the periphery of the electronic device 100 .
  • the camera 175 may detect a user around the electronic device 100 and track the user's gaze.
  • the processor 120 may obtain gaze information of a user looking at the front screen 141 using the camera 175 .
  • the gaze information may include at least one of a gaze direction from which the user's eyes look, a location of the pupil of the user's eyes, and coordinates of a central point of the pupil.
  • the communication interface 180 may include one or more components that enable communication between the electronic device 100 and the glass-type device 200 or an external device (not shown).
  • the communication interface 180 may include a short-range communication unit and a mobile communication unit.
  • the short range communication unit includes a Bluetooth communication unit, a short range wireless communication unit (NFC/RFID unit), a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared data association (IrDA) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like. It may include, but is not limited to.
  • the mobile communication unit transmits and receives radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the radio signal may include a voice call signal, a video call signal, or various types of data according to text/multimedia message transmission/reception.
  • the audio output interface 185 outputs audio data received from the communication interface 180 or stored in the memory 130 . Also, the audio output interface 185 outputs audio signals related to functions performed by the electronic device 100 (eg, call signal reception sound, message reception sound, and notification sound).
  • functions performed by the electronic device 100 eg, call signal reception sound, message reception sound, and notification sound.
  • the sound output interface 185 may include a speaker, a buzzer, and the like.
  • the audio output interface 185 may be implemented in the form of earphones connectable to the electronic device 100 in a wired or wireless manner.
  • the microphone 188 receives an external sound signal and processes it into electrical voice data.
  • the microphone 188 may receive a sound signal from an external device or a speaker.
  • the microphone 188 may receive a user's voice input for controlling the electronic device 100 .
  • the microphone 188 may use various noise cancellation algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input interface 189 means a means through which a user inputs data for controlling the electronic device 100 .
  • the user input interface 189 may include a key pad, a dome switch, a touch pad (contact capacitive method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, It may include, but is not limited to, at least one of a spray tension measuring method, a piezo effect method, etc.), a jog wheel, or a jog switch.
  • FIG. 4 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • 5 is a diagram for explaining an example in which a display device rotates according to a user's gaze according to an exemplary embodiment.
  • 6 is a diagram for explaining an example of an image provided by a front screen according to a user's gaze according to an exemplary embodiment. The flowchart of FIG. 4 will be described with reference to the drawings of FIGS. 5 and 6 .
  • the electronic device 100 may display an object image through the front screen 141 .
  • the electronic device 100 may display an image required according to application execution through the front screen 141 .
  • the electronic device 100 may display character images such as people and animals in a three-dimensional shape.
  • the electronic device 100 may obtain gaze information of a user looking at the front screen 141 .
  • the electronic device 100 may obtain gaze information of a user looking at the front screen 141 using a camera 175 built into the electronic device 100 .
  • the electronic device 100 may receive gaze information of the user detected by the glass-type device 200 from the glass-type device 200 .
  • the electronic device 100 controls the rotation control device 145 so that the front screen 141 is positioned in the front direction of the user's gaze, based on the obtained gaze information, to display the display device 140. can be rotated
  • the electronic device 100 rotates based on the current position of the display device 140 so that the front screen 141 is positioned in the front direction of the user's line of sight by using a predetermined rotation angle calculation algorithm. You can calculate the direction to be turned and the angle to be rotated.
  • the electronic device 100 may rotate the display device 140 by controlling the rotation control device 145 based on the calculated rotation direction and rotation angle.
  • the front screen 141 may be located in the front direction of the user's gaze.
  • the front screen 141 may be rotated to be positioned in the front direction of the user's gaze. Also, for example, when the user moves and the user's gaze direction changes to the (a) direction, the front screen 141 may be rotated to be positioned in the front direction of the (a) direction.
  • the front screen 141 may be rotated to be positioned in the front direction of the (d) direction. Also, for example, when the user's gaze direction is changed to the (e) direction, the front screen 141 may be rotated to be positioned in the front direction of the (e) direction.
  • the electronic device 100 may change the object image being displayed through the front screen 141 based on the acquired gaze information.
  • the electronic device 100 may display an object image in a different direction that can be observed in a direction in which the user's gaze direction is changed.
  • the electronic device 100 may provide a character image whose display direction is changed while rotating the front screen 141 when the user's gaze direction is changed from (a) direction to (d) direction. there is.
  • the object image may provide the same effect as observing the object image in a different direction while the user moves without moving.
  • the electronic device 100 may display the third character image 63 of the right side image. Also, when the user's gaze direction is changed to the (d) direction, the electronic device 100 may display the fourth character image 64 of the back image.
  • FIG. 7 is a flowchart illustrating an example of adjusting transparency of a rear screen of an electronic device according to an exemplary embodiment.
  • 8 is a diagram for explaining an example of adjusting transparency of a rear screen of an electronic device according to an exemplary embodiment. The flowchart of FIG. 7 will be described with reference to the drawing of FIG. 8 .
  • the electronic device 100 may obtain brightness information around the electronic device using the illuminance sensor 154 ( FIG. 3 ).
  • the electronic device 100 may measure the brightness around the electronic device 100 using the illuminance sensor 154 according to a predetermined period.
  • the electronic device 100 may measure the brightness around the electronic device 100 using the illuminance sensor 154 .
  • the electronic device 100 may adjust the transparency of the rear screen 142 based on the brightness information.
  • the electronic device 100 may adjust the transparency of the rear screen 142 to a high level when the ambient brightness is less than a predetermined value.
  • the electronic device 100 may adjust the transparency of the rear screen 142 by increasing the light transmittance of the rear screen 142 .
  • the user can observe a character image blended with a real scene.
  • the electronic device 100 may adjust the transparency of the rear screen 142 to a low level when the ambient brightness is equal to or greater than a predetermined value.
  • the electronic device 100 can minimize the influence of bright ambient light by adjusting the rear screen 142 to be opaque by lowering the light transmittance of the rear screen 142 . Accordingly, the image being displayed on the front screen 141 can be more clearly recognized by the user.
  • the electronic device 100 may sense the ambient brightness at a predetermined period and adaptively change the transparency of the rear screen 142 according to the ambient brightness.
  • the electronic device 100 may operate in a transparent mode or an external light blocking mode.
  • the transparent mode is a mode in which the rear screen 142 operates transparently.
  • the external light blocking mode is a mode in which the rear screen 142 operates opaquely.
  • the electronic device 100 may operate the electronic device 100 in a transparent mode or an external light blocking mode based on brightness information obtained by the illuminance sensor 154 .
  • an operation mode may be preset in the electronic device 100 .
  • the electronic device 100 may set or change an operation mode according to a user input, but is not limited thereto.
  • FIG. 9 is a diagram for explaining an example in which a rear screen of an electronic device rotates according to an exemplary embodiment.
  • the front screen 141 may be mounted flat on one cut surface inside the cylindrical case 161 .
  • the rear screen 142 may be mounted on a rear curved surface of the cylindrical case 161 based on the front screen 141 .
  • the front screen 141 and the rear screen 142 may rotate together.
  • the electronic device 100 has a back screen 142 adjusted opaquely facing the user's gaze direction.
  • the rear screen 142 may be rotated to be positioned in the front direction.
  • FIG. 10 is a flowchart illustrating a method of operating an electronic device in conjunction with a glass-type device according to an exemplary embodiment.
  • the electronic device 100 may receive gaze information of a user wearing the glasses-type device 200 from the glasses-type device 200 .
  • the glasses type device 200 may include an eye tracking sensor 252 (FIG. 13).
  • the glasses-type device 200 may detect gaze information of the user using the gaze tracking sensor 252 .
  • the gaze information may include at least one of a gaze direction from which the user's eyes look, a location of the pupil of the user's eyes, and coordinates of a central point of the pupil.
  • the electronic device 100 controls the rotation control device 145 so that the front screen 141 is located in the front direction of the user's gaze, based on the received gaze information, to display the display device 140. can be rotated
  • the electronic device 100 may determine a 3D image to be displayed on the front screen 141 based on the received gaze information.
  • the electronic device 100 when the electronic device 100 is displaying a three-dimensional character image through the front screen 141, the character image in a different direction according to the user's gaze direction is observed by the user on the front screen.
  • a 3D image to be displayed can be determined through (141).
  • the electronic device 100 may alternately display a left eye image and a right eye image of the 3D image through the front screen 141 .
  • the electronic device 100 may transmit the left image signal and the right image signal corresponding to the 3D image to the glass type device 200 .
  • the glass-type device 200 receiving the left and right image IR signals corresponding to the 3D image may provide a 3D image using a shutter glass method.
  • the electronic device 100 may alternately display the left eye image and the right eye image of the 3D image through the front screen 141 .
  • the glass type device 200 closes the right eye LC shutter 242 (FIG. 13) when the left eye image is displayed on the front screen 141, and closes the LC shutter 241 for the left eye when the right eye image is displayed on the front screen 141. , 13), the left eye image and the right eye image may be alternately displayed. Accordingly, the user can recognize a 3D stereoscopic image according to a feeling of depth due to binocular parallax.
  • FIG. 11 is a flowchart illustrating a method of operating a glass type device according to an exemplary embodiment.
  • the glass-type device 200 may detect that the glass-type device 200 is worn by the user by using the proximity sensor 254 ( FIG. 13 ).
  • the glass-type device 200 may detect a wearing operation or wearing state of the glass-type device 200 using the proximity sensor 254 .
  • the glass-type device 200 may control a communication connection with the electronic device.
  • the glass-type device 200 may control a communication connection with the electronic device 100 upon detecting that the glass-type device 200 is worn by the user.
  • the glass-type device 200 may be communicatively connected to the electronic device 100 through short-range wireless communication (eg, Wi-Fi, Bluetooth).
  • the glasses-type device 200 may obtain gaze information of the user wearing the glasses-type device 200 using the gaze tracking sensor 252 .
  • the gaze information may include at least one of a gaze direction from which the user's eyes look, a location of the pupil of the user's eyes, and coordinates of a central point of the pupil.
  • the glass-type device 200 may transmit the acquired gaze information to the electronic device 100 .
  • the glass-type device 200 may transmit gaze information to the electronic device 100 through short-range wireless communication (eg, Wi-Fi, Bluetooth).
  • the glass-type device 200 receives a left image signal and a right image signal corresponding to a 3D image to be displayed on the front screen of the electronic device 100 based on the gaze information from the electronic device 100 .
  • the glass-type device 200 may provide a 3D image through the LC shutter 241 for the left eye and the LC shutter 242 for the right eye based on the received left and right image signals.
  • the glass-type device 200 may provide a 3D image by using a shutter glass method using the left eye LC shutter 241 (FIG. 13) and the right eye LC shutter 242 (FIG. 13). .
  • the user can recognize a 3D stereoscopic image according to a feeling of depth due to binocular parallax.
  • FIG. 12 is a diagram illustrating a glass-type device according to an exemplary embodiment.
  • the glass-type device 200 may be implemented as, for example, a glasses-type display device including a glasses-type body configured to be worn by a user, as shown in FIG. 12 , but is not limited thereto.
  • the spectacle body may include a frame 110 and temples 190 .
  • the temple part 190 includes a left leg part 190L and a right leg part 190R, and may be connected to both end pieces of the frame 110, respectively.
  • a power supply 287 may be built into the left leg 190L.
  • the processor 220 and the memory 230 may be embedded in the right leg 190R.
  • the frame 110 may include a display 240 including a display for the left eye and a display for the right eye, a gaze tracking sensor 252, and a proximity sensor 254.
  • the display 240 may include an LC shutter 241 for the left eye and an LC shutter 242 for the right eye.
  • the LC shutter 241 for the left eye may be disposed at a position corresponding to the user's left eye
  • the LC shutter 242 for the right eye may be disposed at a position corresponding to the user's right eye.
  • the glasses-type device 200 may include a gaze tracking sensor 252 to track the user's gaze.
  • the gaze tracking sensor 252 may include a first gaze tracking sensor 252L for tracking the gaze of the user's left eye and a second gaze tracking sensor 252R for tracking the gaze of the user's right eye.
  • the glass-type device 200 may include a proximity sensor 254 to detect the user's wearing.
  • FIG. 13 is a block diagram of a glass type device according to an embodiment.
  • the glass-type device 200 may be a display device having a communication function and a data processing function and providing a 3D image, but is not limited thereto.
  • a glass-type device 200 includes a memory 230, a processor 220, a display 240, a sensing unit 250, a camera 275, a communication interface 280, A sound output interface 285 , a power supply 287 , a microphone 288 , and a user input interface 289 may be included.
  • a memory 230 a processor 220, a display 240, a sensing unit 250, a camera 275, a communication interface 280, A sound output interface 285 , a power supply 287 , a microphone 288 , and a user input interface 289 may be included.
  • the glass-type device 200 may be implemented with more components than those shown in FIG. 13, or the glass-type device 200 may be implemented with fewer components than those shown in FIG.
  • the processor 220 of the glass-type device 200 executes the programs stored in the memory 230, so that the display 240, the sensing unit 250, the camera 275, the communication interface 280, and the sound output interface ( 285), the power supply 287, the microphone 288, the user input interface 289, and the like can be generally controlled.
  • the memory 230 may store programs to be executed by the processor 220 and may store data input to or output from the glass-type device 200 .
  • the memory 230 may be a flash memory type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (Random Access Memory) SRAM ( Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), and magnetic memory.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory there is.
  • Programs stored in the memory 230 may store a plurality of software modules or further include other software modules according to their functions.
  • the processor 220 controls the overall operation of the glass-type device 200 .
  • the processor 220 may control operations or functions performed by the glass-type device 200 by executing instructions or programs stored in the memory 230 .
  • the processor 220 may include one or a plurality of processors.
  • the processor 220 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the display 240 may include an LC shutter 241 for the left eye and an LC shutter 242 for the right eye.
  • the glass type device 200 closes the LC shutter 242 for the right eye when the left image is output on the front screen 141 of the electronic device 100, and closes the LC shutter 241 for the left eye when the right image is output.
  • a 3D image can be provided by alternately showing a left image and a right image.
  • a shutter method for opening and closing the LC shutter 241 for the left eye and the LC shutter 242 for the right eye may be implemented by turning on and off voltages to liquid crystals constituting the lens for the left eye and the lens for the right eye.
  • the sensing unit 250 may include a motion sensor 251 , an eye tracking sensor 252 , a depth sensor 253 , and a proximity sensor 254 .
  • the motion sensor 251 may be an Inertial Measurement Unit (IMU).
  • IMU Inertial Measurement Unit
  • An IMU may be a combination of sensors configured to sense motion, ie position and orientation changes, of an object in three-dimensional space.
  • the combination of sensors may include an accelerometer, a geomagnetometer, and a gyroscope.
  • the motion sensor 155 may include at least one of an acceleration sensor, a magnetic sensor, or a gyroscope sensor.
  • the gaze tracking sensor 252 may detect gaze information of the user's eyes.
  • the gaze information may include at least one of a gaze direction from which the user's eyes look, a location of the pupil of the user's eyes, and coordinates of a central point of the pupil.
  • the gaze tracking sensor 252 may provide light to the user's eye (left eye or right eye) and detect an amount of light reflected from the user's eye.
  • the gaze tracking sensor 152 may detect a gaze direction of the user's eyes, a pupil position of the user's eyes, and coordinates of a central point of the pupil, based on the detected amount of light.
  • the gaze tracking sensor 252 may provide light to the user's eyes and take pictures of the user's eyes.
  • the gaze tracking sensor 252 may detect a gaze direction of the user's eyes, a pupil position of the user's eyes, coordinates of the center point of the pupil, and the like, based on the photographed user's eye image.
  • the gaze tracking sensor 252 may obtain gaze information of a user wearing the glasses-type device 200 .
  • the depth sensor 253 may obtain depth information about one or more objects included in the real world. Depth information may correspond to a distance from the depth sensor 253 to a specific object. According to an embodiment, the depth value may increase as the distance from the depth sensor 253 to a specific object increases.
  • the depth sensor 253 may obtain depth information of an object in various ways.
  • the depth sensor 253 may obtain depth information using at least one of a time of flight (TOF) method, a structured light method, and a stereo image method.
  • TOF time of flight
  • the depth sensor 253 of the stereo image method generally consists of two or more cameras.
  • the depth sensor 253 may sense depth information of a real object included in a real scene.
  • the processor 220 may obtain the presence or absence of a real object in front of the glass-type device 200, the direction of the real object, and the distance based on the depth information of the real object sensed through the depth sensor 253.
  • the depth sensor 253 may sense depth information of fingers of the user's hand wearing the glass-type device 200 .
  • the processor 220 may obtain a gesture input of the user's hand by recognizing the shape of the user's hand and a moving pattern of the user's hand based on the depth information of the fingers sensed through the depth sensor 253 .
  • Proximity sensor 254 is a sensor capable of detecting the proximity of a nearby object or person.
  • Proximity sensor 254 emits an electromagnetic field or electromagnetic waves (eg, infrared rays) and detects the electric field and the return signal.
  • electromagnetic waves eg, infrared rays
  • the proximity sensor 254 may detect a user wearing the wearable device 200 or a wearing state.
  • the camera 275 may photograph the periphery of the glass-type device 200 .
  • the camera 275 may obtain an image frame such as a still image or a moving image through an image sensor when an application requesting a photographing function is executed.
  • Images captured through the image sensor may be processed through the processor 220 or a separate image processing unit (not shown).
  • image frames processed by the processor 120 or a separate image processor may be stored in the memory 230 or transmitted to the outside through the communication interface 280 .
  • Two or more cameras 275 may be provided according to configuration aspects of the electronic device 100 .
  • the camera 275 may obtain an image including a real scene by photographing the periphery of the glass-type device 200 .
  • the communication interface 280 may include one or more elements that enable communication between the glass-type device 200 and the electronic device 100 or an external device (not shown).
  • the communication interface 280 may include a short-range communication unit and a mobile communication unit.
  • the short range communication unit includes a Bluetooth communication unit, a short range wireless communication unit (NFC/RFID unit), a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared data association (IrDA) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like. It may include, but is not limited to.
  • the mobile communication unit transmits and receives radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the radio signal may include a voice call signal, a video call signal, or various types of data according to text/multimedia message transmission/reception.
  • the audio output interface 285 outputs audio data received from the communication interface 180 or stored in the memory 130 . Also, the audio output interface 185 outputs audio signals related to functions performed by the electronic device 100 (eg, call signal reception sound, message reception sound, and notification sound).
  • functions performed by the electronic device 100 eg, call signal reception sound, message reception sound, and notification sound.
  • the sound output interface 285 may include a speaker, a buzzer, and the like.
  • the sound output interface 285 according to an embodiment may be mounted on the glass-type device 200 or implemented in the form of a detachable earphone. Also, the sound output interface 285 according to an embodiment may output sound in a bone conduction manner.
  • the power supply unit 287 receives external power and internal power under the control of the processor 220 and supplies power necessary for the operation of each component.
  • the power supply 287 may mean a battery.
  • the microphone 288 receives an external sound signal and processes it into electrical voice data.
  • the microphone 288 may receive a sound signal from an external device or a speaker.
  • the microphone 288 may receive a user's voice input for controlling the glass-type device 200 .
  • the microphone 288 may use various noise cancellation algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input interface 289 means a means through which the user inputs data for controlling the glass-type device 200 .
  • the user input interface 289 may include a key pad, a dome switch, a touch pad (contact capacitance method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, It may include, but is not limited to, at least one of a spray tension measuring method, a piezo effect method, etc.), a jog wheel, or a jog switch.
  • An electronic device includes a display device including a front screen, a rotation control device for controlling rotation of the display device, a memory for storing one or more instructions, and a processor for executing one or more instructions stored in the memory. can do.
  • the processor may display an object image through a front screen.
  • the processor may obtain gaze information of a user looking at the front screen.
  • the processor may rotate the display device by controlling the rotation control device so that the front screen is located in the front direction of the user's gaze based on the obtained gaze information.
  • the processor may change an object image being displayed on the front screen based on the acquired gaze information.
  • the electronic device may further include a camera for tracking the gaze of a user around.
  • the processor may obtain gaze information of a user looking at the front screen using a camera.
  • the electronic device may further include an illuminance sensor for sensing ambient brightness.
  • the display device may further include a rear screen having adjustable transparency.
  • the processor may obtain brightness information around the electronic device using an illuminance sensor.
  • the processor may adjust the transparency of the rear screen based on the acquired brightness information.
  • the electronic device may further include a communication interface communicating with a glass-type device providing a 3D image.
  • the processor may receive gaze information of a user wearing the glass-type device from the glass-type device through a communication interface.
  • the processor may determine a 3D image to be displayed on the front screen based on the rotation direction and angle of the display device.
  • the processor may transmit a left image signal and a right image signal corresponding to a 3D image to the glass-type device through a communication interface.
  • a method of operating an electronic device may include displaying an object image through a front screen.
  • the operating method of the electronic device may include acquiring gaze information of a user looking at a front screen.
  • the method of operating the electronic device may include rotating the display device including the front screen by controlling a rotation control device so that the front screen is located in the front direction of the user's gaze, based on the obtained gaze information.
  • the operating method of the electronic device may include changing an object image being displayed through a front screen based on the acquired gaze information.
  • the obtaining of the gaze information may include obtaining gaze information of a user looking at a front screen using a camera built into an electronic device for tracking the user's gaze. .
  • the operating method of the electronic device may further include obtaining brightness information around the electronic device using an illuminance sensor that senses brightness around the electronic device.
  • the operating method of the electronic device may further include adjusting transparency of the rear screen based on the obtained brightness information.
  • the obtaining of the gaze information may include receiving gaze information of a user wearing the glasses-type device from a glass-type device.
  • the method of operating the electronic device may further include determining a 3D image to be displayed on the front screen based on the rotation direction and angle of the display device.
  • the method of operating the electronic device may further include transmitting a left image signal and a right image signal corresponding to the 3D image to the glass type device.
  • a glass-type device includes a proximity sensor, a communication interface for communicating with an electronic device, an eye tracking sensor, a display, a memory for storing one or more instructions, and one or more instructions stored in the memory. It may include a processor that executes. The processor may detect that the glass-type device is worn by the user using a proximity sensor. The processor may control a communication connection with an electronic device through a communication interface. The processor may obtain gaze information of a user wearing a glasses-type device using a gaze tracking sensor.
  • the processor transmits the acquired gaze information to the electronic device through a communication interface, and from the electronic device, based on the gaze information, a left image signal and a right image signal corresponding to a 3D image to be displayed on the front screen of the electronic device.
  • the processor may provide a 3D image through the LC shutter for the left eye and the LC shutter for the right eye based on the received left and right image signals.
  • the method of operating the glass-type device may include detecting that the glass-type device is worn by a user.
  • the method of operating the glass-type device may include controlling a communication connection with an electronic device.
  • the method of operating the glass-type device may include acquiring gaze information of a user wearing the glass-type device.
  • the method of operating the glass-type device may include transmitting the acquired gaze information to an electronic device.
  • the method of operating the glass type device may include receiving a left image signal and a right image signal corresponding to a 3D image to be displayed on a front screen of the electronic device based on gaze information from the electronic device.
  • the method of operating the glass-type device may include providing a 3D image through an LC shutter for the left eye and an LC shutter for the right eye based on the received left and right image signals.
  • a computer program product including a computer-readable storage medium recording a program to be executed on a computer.
  • the storage medium may include instructions related to an operation of displaying an object image through a front screen.
  • the storage medium may include instructions related to obtaining gaze information of a user looking at a front screen.
  • the storage medium may include instructions related to an operation of rotating the display device including the front screen by controlling the rotation control device so that the front screen is located in the front direction of the user's gaze, based on the obtained gaze information.
  • the storage medium may include instructions related to an operation of changing an object image being displayed on the front screen based on the acquired gaze information.
  • the above-described embodiment can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of data used in the above-described embodiments may be recorded on a computer readable medium through various means.
  • the above-described embodiments may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer.
  • methods implemented as software modules or algorithms may be stored in a computer-readable recording medium as codes or program instructions that can be read and executed by a computer.
  • Computer readable media may be any recording media that can be accessed by a computer, and may include volatile and nonvolatile media, removable and non-removable media.
  • the computer readable medium may include a magnetic storage medium, for example, a ROM, a floppy disk, a hard disk, etc., and) an optical reading medium, for example, a CD-ROM, a DVD, and the like.
  • computer readable media may include computer storage media and communication media.
  • a plurality of computer-readable recording media may be distributed among computer systems connected by a network, and data stored on the distributed recording media, for example, program instructions and codes, may be executed by at least one computer. there is.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store or between two user devices (eg smartphones). It can be distributed (e.g., downloaded or uploaded) directly or online.
  • a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store server, or a relay server. It can be temporarily stored or created temporarily.
  • components described in this disclosure may not be essential components for the execution of the present disclosure unless specifically stated, such as “essential” or “important”.
  • Unit and “module” may be implemented by a program stored in an addressable storage medium and executed by a processor.
  • part and module refer to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and programs. It can be implemented by procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • the description “A may include one of a1, a2, and a3” has a broad meaning that example elements that may be included in the element A are a1, a2, or a3.
  • elements that may constitute element A are not necessarily limited to a1, a2, or a3. Therefore, it should be noted that elements that may constitute A are not exclusively interpreted as meaning that other elements other than a1, a2, and a3 are not exemplified.
  • A may include a1, a2, or a3.
  • the above description does not mean that the elements constituting A are necessarily selectively determined within a predetermined set. It should be noted that, for example, the above description is not limitedly construed as saying that a1, a2, or a3 selected from a set necessarily including a1, a2, and a3 constitutes component A.
  • a program executed by the electronic device 100 described in this disclosure may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components.
  • a program can be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively.
  • the device can be commanded.
  • Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical reading media (e.g., CD-ROM) (CD-ROM) and DVD (Digital Versatile Disc).
  • ROM read-only memory
  • RAM random-access memory
  • CD-ROM CD-ROM
  • DVD Digital Versatile Disc
  • a computer-readable recording medium may be distributed among computer systems connected through a network, and computer-readable codes may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed by a processor.
  • a computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • program according to the embodiments disclosed in this specification may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a software program and a computer-readable storage medium in which the software program is stored.
  • the computer program product is a product in the form of a software program electronically distributed through a manufacturer of the electronic device 100 or an electronic market (eg, Samsung Galaxy Store) (eg, a downloadable application). ) may be included.
  • an electronic market eg, Samsung Galaxy Store
  • at least a portion of the software program may be stored on a storage medium or may be temporarily created.
  • the storage medium may be a storage medium of a manufacturer's server of the electronic device 100, a server of an electronic market, or a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of a server or a storage medium of the electronic device 100 in a system including the electronic device 100 , the augmented reality device 200 , and/or a server.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself transmitted from the electronic device 100 to the third device or from the third device to the electronic device.
  • one of the electronic device 100 , the augmented reality device 200 , and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • at least one of the electronic device 100, the augmented reality device 200, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • the electronic device 100 executes a computer program product stored in the memory 120 (see FIG. 2)
  • another electronic device eg, a mobile device communicatively connected to the electronic device 100 is disclosed. It can be controlled to perform the method according to them.
  • the third device may execute a computer program product to control an electronic device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device 100 and execute the downloaded computer program product.
  • the third device may perform the method according to the disclosed embodiments by executing a computer program product provided in a pre-loaded state.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시는 전면 스크린을 포함하는 디스플레이 장치, 디스플레이 장치가 회전하도록 제어하는 회전 제어 장치, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 전면 스크린을 통해 오브젝트 이미지를 표시하고, 전면 스크린을 바라보는 사용자의 시선 정보를 획득하고, 획득한 시선 정보에 기초하여, 전면 스크린이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 디스플레이 장치를 회전시키고, 획득한 시선 정보에 기초하여, 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는 전자 장치를 제공한다.

Description

전자 장치 및 그 동작 방법
다양한 실시 예들은, 사용자의 시선 방향에 따라 디스플레이 장치를 회전시키면서 가상 이미지를 제공하는 전자 장치 및 그 동작 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다.
증강 현실 장치는 투명 스크린을 통해 가상 이미지를 표시할 수 있고, 이러한 증강 현실 장치가 가상 이미지를 선명하게 보여지도록 하는 등 가상 이미지를 활용한 다양한 서비스를 제공하기 위해서, 다양한 사용 환경에서 가상 이미지를 제공하는 방법에 대한 연구가 요구되고 있다.
본 개시의 일 측면(aspect)에 따른 전자 장치는, 전면 스크린을 포함하는 디스플레이 장치, 디스플레이 장치가 회전하도록 제어하는 회전 제어 장치, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다. 상기 프로세서는 전면 스크린을 통해 오브젝트 이미지를 표시할 수 있다. 상기 프로세서는 전면 스크린을 바라보는 사용자의 시선 정보를 획득할 수 있다. 상기 프로세서는 획득한 시선 정보에 기초하여, 전면 스크린이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 디스플레이 장치를 회전시킬 수 있다. 상기 프로세서는 획득한 시선 정보에 기초하여, 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경할 수 있다.
본 개시의 일 측면에 따른 전자 장치의 동작 방법은, 전면 스크린을 통해 오브젝트 이미지를 표시하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 획득한 시선 정보에 기초하여, 전면 스크린이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 전면 스크린을 포함하는 디스플레이 장치를 회전시키는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 획득한 시선 정보에 기초하여, 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는 단계를 포함할 수 있다.
본 개시의 다른 일 측면(another aspect)에 따른 글라스형 장치는, 근접 센서, 전자 장치와 통신하는 통신 인터페이스, 시선 추적 센서, 디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다. 상기 프로세서는 근접 센서를 이용하여, 글라스형 장치가 사용자에 의해 착용 되었음을 감지할 수 있다. 상기 프로세서는 통신 인터페이스를 통해 전자 장치와의 통신 연결을 제어할 수 있다. 상기 프로세서는 시선 추적 센서를 이용하여 글라스형 장치를 착용한 사용자의 시선 정보를 획득할 수 있다. 상기 프로세서는 통신 인터페이스를 통해, 획득한 시선 정보를 전자 장치로 전송하고, 전자 장치로부터, 시선 정보에 기초하여 전자 장치의 전면 스크린에 표시할 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 수신할 수 있다. 상기 프로세서는 수신한 좌영상 신호와 우영상 신호에 기초하여 좌안용 LC 셔터, 우안용 LC 셔터를 통해 3차원 이미지를 제공할 수 있다.
본 개시의 또 다른 측면은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)을 제공할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 실시 예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
도 2a는 일 실시 예에 따른 전자 장치의 측면을 나타내는 도면이다.
도 2b는 다른 일 실시 예에 따른 전자 장치의 측면을 나타내는 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 4는 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시 예에 따른 사용자의 시선에 따라 디스플레이 장치가 회전하는 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 사용자의 시선에 따라 전면 스크린이 제공하는 이미지의 예를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 전자 장치의 후면 스크린의 투명도를 조절하는 예를 설명하기 위한 흐름도이다.
도 8은 일 실시 예에 따른 전자 장치의 후면 스크린의 투명도를 조절하는 예를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 전자 장치의 후면 스크린이 회전하는 예를 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 전자 장치가 글라스형 장치와 연동하여 동작하는 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시 예에 따른 글라스형 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시 예에 따른 글라스형 장치를 나타내는 도면이다.
도 13은 일 실시 예에 따른 글라스형 장치의 블록 구성도(block diagram)이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 "상기" 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치이다.
한편, '현실 장면(real scene)'이란 사용자가 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
일 실시 예에 따른 전자 장치(100)는, 증강 현실 장치(Augmented Reality Device)일 수 있다. 전자 장치(100)는, 투명도 조절이 가능한 스크린을 구비한 장치로서, 가상 이미지를 제공할 수 있다. 예를 들어, 전자 장치(100)는 인공지능 스피커일 수 있으며, 이에 제한되지 않는다.
도 1을 참조하면, 전자 장치(100)는 투명한 전면 스크린(141)을 통해 캐릭터 이미지(51)를 표시할 수 있다. 또한, 전자 장치(100)는 카메라(175)을 이용해 전자 장치(100) 주변의 사용자(101)를 감지하고 사용자의 시선을 추적할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 전면 스크린(141)을 바라보는 사용자의 시선 방향에 따라 전면 스크린(141)을 포함하는 디스플레이 장치를 회전시킬 수 있다.
예를 들어, 전자 장치(100)는, 전면 스크린(141)을 정면에서 바라보던 사용자가 전면 스크린(141)의 측면으로 이동하면, 사용자 시선을 감지하여 전면 스크린(141)이 사용자 시선의 정면 방향에 위치하도록 디스플레이 장치를 회전시킬 수 있다. 또한, 사용자가 전면 스크린(141)의 측면으로 이동함에 따라 캐릭터 이미지(51)의 측면을 보게 되는 효과를 제공할 수 있도록, 전자 장치(100)는 캐릭터 이미지(51)의 측면 이미지를 표시할 수 있다.
또한, 일 실시 예에 따르면, 사용자는 글라스형 장치(200)(예컨대, 셔터 글라스(shutter glass))를 착용함으로써, 캐릭터 이미지(51)를 3차원 형상으로 인식 할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 사용자의 시선 방향에 따라 전면 스크린(51)을 회전시킴으로써, 사용자에게 보다 선명한 캐릭터 이미지(51)를 제공할 수 있다. 또한, 사용자가 전자 장치(100) 주변에서 이동하는 방향에 따라 캐릭터 이미지(51)의 다른 측면을 관찰하게 되므로, 보다 실감나고 자연스러운 3차원 형상의 캐릭터 이미지를 관찰할 수 있다.
도 1은 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 2a는 일 실시 예에 따른 전자 장치의 측면을 나타내는 도면이다. 도 2b는 다른 일 실시 예에 따른 전자 장치의 측면을 나타내는 도면이다.
일 실시 예에 따른 전자 장치(100)는 전면 스크린(141)과 후면 스크린(142)을 포함하는 디스플레이 장치(140, 도 3)과 디스플레이 장치(140)의 회전을 제어하는 회전 제어 장치(145)을 포함할 수 있다.
도 1, 2a, 2b에 도시한 바와 같이, 전면 스크린(141)과 후면 스크린(142)은 원통형의 투명 케이스(161) 내부에 장착될 수 있다.
전면 스크린(141)은 원통형 케이스(161) 내부의 일 절단면에 평면으로 장착될 수 있다. 후면 스크린(142)은 전면 스크린(141)을 기준으로 원통형 케이스(161)의 후면 곡면에 장착될 수 있다.
도 2a에 도시한 바와 같이, 일 실시 예에 따른 디스플레이 장치(140)은 프로젝터 모듈(143)과 반사 미러(144)를 더 포함할 수 있다.
프로젝터 모듈(143)은 전면 스크린(141)에 영상을 투사할 수 있다. 프로젝터 모듈(143)은 초점 거리가 짧은 단초점 프로젝터(예를 들어, LCOS, DMD, LEDoS)일 수 있다. 가상 이미지의 광이 프로젝터 모듈(143)로부터 반사 미러(144)로 투사되고, 반사 미러(144)에 의해 반사되어 전면 스크린(141)으로 투사될 수 있다.
또한, 도 2b에 도시한 바와 같이, 다른 일 실시 예에 따른 디스플레이 장치(140, 도 3)의 전면 스크린(141)은 투명 OLED 디스플레이 장치로 구성될 수 있다.
일 실시 예에 따른 회전 제어 장치(145)은, 스테핑 모터(stepping motor)와 스테핑 모터에 전원을 공급하는 전원부를 포함할 수 있다.
전자 장치(100)의 프로세서(120)는 전면 스크린(141)이 회전해야 할 각도에 대응하는 펄스(pulse) 신호로 스테핑 모터(stepping motor)를 구동시킴으로써, 전면 스크린(141)과 후면 스크린(142)이 장착된 투명 케이스(161)가 부착된 회전 테이블(147)을 회전시킬 수 있다.
도 2a, 2b는 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 3은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 전자 장치(100)는, 통신 기능 및 데이터 프로세싱 기능을 구비한, 증강 현실(Augmented Reality) 영상을 제공하는 증강 현실 장치일 수 있으며, 이에 제한되지 않는다.
도 3을 참조하면, 일 실시 예에 따른 전자 장치(100)는 메모리(130) 및 프로세서(120), 디스플레이 장치(140), 회전 제어 장치(145), 센싱부(150), 카메라(175), 통신 인터페이스(180), 음향 출력 인터페이스(185), 마이크(188), 사용자 입력 인터페이스(189)를 포함할 수 있다. 그러나, 도 3에 도시된 구성 요소 모두가 전자 장치(100)의 필수 구성 요소인 것은 아니다. 도 3에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 도 3에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있다.
전자 장치(100)의 프로세서(120)는, 메모리(130)에 저장된 프로그램들을 실행함으로써, 디스플레이 장치(140), 회전 제어 장치(145), 센싱부(150), 카메라(175), 통신 인터페이스(180), 음향 출력 인터페이스(185), 마이크(188), 사용자 입력 인터페이스(189) 등을 전반적으로 제어할 수 있다.
일 실시 예에 따른 메모리(130)는 프로세서(120)에 의해 실행될 프로그램을 저장할 수 있고, 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.
메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(130)에 저장된 프로그램들은 그 기능에 따라 복수 개의 소프트웨어 모듈들로 분류할 수 있는데, 예를 들어, 이미지 표시 모듈(131), 시선 정보 획득 모듈(132), 디스플레이 회전 모듈(133)을 포함할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다. 메모리(130)에 포함되는 '모듈'은 프로세서(120)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는, 메모리(130)에 저장된 명령어들이나 프로그램들을 실행함으로써, 전자 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다.
일 실시 예에 따라, 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 프로세서(120)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(120)는 메모리(130)에 저장된 이미지 표시 모듈(131)을 실행함으로써, 전면 스크린(141)을 통해 이미지를 표시할 수 있다.
일 실시 예에 따라, 프로세서(120)는 이미지 표시가 요구되는 애플리케이션이 실행되는 경우에 정지 영상 또는 동영상 등의 이미지를 전면 스크린(141)을 통해 표시할 수 있다.
예를 들어, 프로세서(120)는 오브젝트 이미지 예컨대, 인물, 동물 등의 캐릭터 이미지를 전면 스크린(141)을 통해 표시할 수 있다.
또한, 프로세서(120)는 오브젝트 이미지를 3차원 영상으로 제공할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 사용자의 시선 방향에 따라 오브젝트 이미지를 변경할 수 있다.
프로세서(120)는 사용자의 시선 방향에 따라, 전면 스크린(141)을 통해 표시 중인 오브젝트 이미지의 표시 방향을 변경할 수 있다.
예를 들어, 사용자가 전면 스크린(140)의 우측 방향으로 이동하면, 사용자가 이동된 우측에서 바라보는 시선 방향에 따라, 오브젝트의 우측 측면을 관찰할 수 있도록, 회전된 전면 스크린(141)에 오브젝트의 우측 측면 이미지를 표시할 수 있다.
프로세서(120)는 메모리(130)에 저장된 시선 정보 획득 모듈(132)을 실행함으로써, 사용자의 시선 정보를 획득할 수 있다.
일 실시 예에 따라, 프로세서(120)는 카메라(175)을 이용하여 전자 장치(100) 주변의 사용자를 감지하고 전면 스크린(141)을 바라보는 사용자의 시선 정보를 획득할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는, 통신 인터페이스(180)를 통해, 사용자가 착용 중인 글라스형 장치(200)로부터, 글라스형 장치(200)에 의해 감지된 사용자의 시선 정보를 수신할 수 있다.
일 실시 예에 따라, 사용자의 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함 할 수 있다.
프로세서(120)는 메모리(130)에 저장된 디스플레이 회전 모듈(133)을 실행함으로써, 디스플레이 장치(140)을 회전시킬 수 있다.
일 실시 예에 따라, 프로세서(120)는 사용자의 시선 정보에 기초하여, 전면 스크린(141)이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치(145)을 제어함으로써 디스플레이 장치(140)을 회전시킬 수 있다.
디스플레이 장치(140)은 전면 스크린(141)과 후면 스크린(142)을 포함할 수 있다.
전면 스크린(141)은 투명도 조절이 가능한 고분자 분산 액정(PDLC, Polymer Displersed Liquid Crystal) 필름이 평면 플라스틱에 접착된 형태로 구현될 수 있다. 전면 스크린(141)은 0.2 mm 내지 0.4 mm 두께의 필름을 포함하여 1 mm 정도로 얇은 스크린일 수 있으며, 이에 제한되지 않는다.
후면 스크린(142)은 투명도 조절이 가능한 고분자 분산 액정(PDLC, Polymer Displersed Liquid Crystal) 필름이 곡면 플라스틱에 접착된 형태로 구현될 수 있다.
고분자 분산 액정(PDLC, Polymer Displersed Liquid Crystal) 필름은 전기가 공급되면 내부의 액정이 전기가 흐르는 방향으로 정렬되어 빛을 통과시켜 투명해질 수 있다. 또한, 고분자 분산 액정 필름은 전기가 공급되지 않으면 내부의 액정이 임의의 방향성을 가지고 배열됨에 따라 빛을 흡수하거나 산란시켜 불투명해질 수 있다.
프로세서(120)는 전면 스크린(141)과 후면 스크린(142)에 대한 인가 전압을 각각 조절(예컨대, 60v~11v)함으로써, 전면 스크린(141)과 후면 스크린(142)의 투명도를 조절할 수 있다.
회전 제어 장치(145)은, 스테핑 모터(stepping motor)와 스테핑 모터에 전원을 공급하는 전원부를 포함할 수 있다.
전자 장치(100)는 회전 제어 장치(145)을 제어하여 디스플레이 장치(140)을 소정 방향, 소정 각도로 회전시킬 수 있다.
프로세서(120)는 전면 스크린(141)이 회전해야 할 각도에 대응하는 펄스(pulse) 신호로 스테핑 모터(stepping motor)를 구동시킴으로써, 디스플레이 장치(140)을 회전시킬 수 있다.
센싱부(150)는 깊이 센서(153), 조도 센서(154)를 포함할 수 있다.
깊이 센서(153)는 현실 세계에 포함되는 하나 이상의 객체들에 대한 깊이 정보를 획득할 수 있다. 깊이 정보는, 깊이 센서(153)로부터 특정 객체까지의 거리에 대응할 수 있다. 일 실시 예에 따른 깊이 센서(153)로부터 특정 객체까지의 거리가 멀수록 깊이 값은 커질 수 있다.
일 실시 예에 따른 깊이 센서(153)는 다양한 방식으로 객체의 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 센서(153)는 TOF(Time of flight) 방식, 구조화된 광(Structured Light) 방식, 스테레오 이미지(Stereo Image) 방식 중 적어도 하나의 방식을 이용하여, 깊이 정보를 획득할 수 있다. 스테레오 이미지 방식의 깊이 센서(153)는 일반적으로 2개 이상의 복수의 카메라로 구성된다.
일 실시 예에 따라, 깊이 센서(153)는 현실 장면에 포함된 현실 객체의 깊이 정보를 센싱할 수 있다. 프로세서(120)는 깊이 센서(153)를 통해 센싱된 현실 객체의 깊이 정보에 기초하여 전자 장치(100) 전방의 현실 객체의 유무, 현실 객체의 방향, 거리 등을 획득할 수 있다.
조도 센서(154)는 전자 장치(100) 주변의 조도를 측정하는 센서이다.
일 실시 예에 따라, 전자 장치(100)는 주변 빛의 양에 따라 후면 스크린(142)의 투명도를 조절할 수 있다.
카메라(175)는 전자 장치(100)의 주변을 촬영할 수 있다. 카메라(175)는 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다.
이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 또한, 캡쳐된 이미지는 디스플레이 장치(140)을 통해 표시될 수 있다.
또한, 프로세서(120) 또는 별도의 이미지 처리부(미도시)에서 처리된 화상 프레임은 메모리(130)에 저장되거나 통신 인터페이스(180)를 통하여 외부로 전송될 수 있다.
카메라(175)는 전자 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
일 실시 예에 따라, 카메라(175)는 전자 장치(100)의 주변을 촬영함으로써, 현실 장면을 포함하는 이미지를 획득할 수 있다.
일 실시 예에 따라, 카메라(175)는 전자 장치(100) 주변의 사용자를 감지하고, 사용자의 시선을 추적할 수 있다.
일 실시 예에 따라, 프로세서(120)는 카메라(175)를 이용하여 전면 스크린(141)을 바라보는 사용자의 시선 정보를 획득할 수 있다.
일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
통신 인터페이스(180)는 전자 장치(100)와 글라스형 장치(200) 또는 외부 장치(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신 인터페이스(180)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
음향 출력 인터페이스(185)는 통신 인터페이스(180)로부터 수신되거나 메모리(130)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 인터페이스(185)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
일 실시 예에 따른 음향 출력 인터페이스(185)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 일 실시 예에 따른 음향 출력 인터페이스(185)는 전자 장치(100)에 유무선으로 연결 가능한 이어폰 형태로 구현될 수 있다.
마이크(188)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(188)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 또한, 마이크(188)는 전자 장치(100)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다. 마이크(188)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
사용자 입력 인터페이스(189)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력 인터페이스(189)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
도 4는 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 5는 일 실시 예에 따른 사용자의 시선에 따라 디스플레이 장치가 회전하는 예를 설명하기 위한 도면이다. 도 6은 일 실시 예에 따른 사용자의 시선에 따라 전면 스크린이 제공하는 이미지의 예를 설명하기 위한 도면이다. 도 5, 6의 도면을 참조하여 도 4의 흐름도를 설명하기로 한다.
도 4의 S401에서, 전자 장치(100)는 전면 스크린(141)을 통해 오브젝트 이미지를 표시할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 애플리케이션 실행에 따라 요구되는 이미지를 전면 스크린(141)을 통해 표시할 수 있다. 예를 들어, 전자 장치(100)는 사람, 동물 등의 캐릭터 이미지를 입체 형상으로 표시할 수 있다.
도 4의 S402에서, 전자 장치(100)는 전면 스크린(141)을 바라보는 사용자의 시선 정보를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 전자 장치(100)에 내장된 카메라(175)을 이용하여, 전면 스크린(141)을 바라보는 사용자의 시선 정보를 획득할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 글라스형 장치(200)로부터, 글라스형 장치(200)에 의해 검출된 사용자의 시선 정보를 수신할 수 있다.
도 4의 S403에서, 전자 장치(100)는 획득한 시선 정보에 기초하여, 전면 스크린(141)이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치(145)을 제어하여 디스플레이 장치(140)을 회전시킬 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 소정의 회전 각도 산출 알고리즘을 이용하여, 전면 스크린(141)이 사용자 시선의 정면 방향에 위치하기 위해 디스플레이 장치(140)의 현재 위치를 기준으로 회전해야 할 방향, 회전해야 할 각도를 산출할 수 있다. 전자 장치(100)는 산출된 회전 방향, 회전 각도에 기초하여, 회전 제어 장치(145)을 제어하여 디스플레이 장치(140)을 회전시킬 수 있다.
도 5를 참조하면, 사용자의 시선 방향이 (c) 방향일 때, 전면 스크린(141)이 사용자 시선의 정면 방향에 위치할 수 있다.
예를 들어, 사용자가 이동하여 사용자의 시선 방향이 (b) 방향으로 변경되면, 전면 스크린(141)이 사용자 시선의 정면 방향에 위치하도록 회전할 수 있다. 또한, 예를 들어, 사용자가 이동하여 사용자의 시선 방향이 (a) 방향으로 변경되면, 전면 스크린(141)이 (a) 방향의 정면 방향에 위치하도록 회전할 수 있다.
한편, 예를 들어, 사용자의 시선 방향이 (c) 방향에서 (d) 방향으로 이동하면, 전면 스크린(141)이 (d) 방향의 정면 방향에 위치하도록 회전할 수 있다. 또한, 예를 들어, 사용자의 시선 방향이 (e) 방향으로 변경되면, 전면 스크린(141)이 (e) 방향의 정면 방향에 위치하도록 회전할 수 있다.
도 4의 S404에서, 전자 장치(100)는 획득한 시선 정보에 기초하여, 전면 스크린(141)을 통해 표시 중인 오브젝트 이미지를 변경할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 사용자 시선 방향이 변경된 방향에서 관찰될 수 있는 다른 방향의 오브젝트 이미지를 표시할 수 있다.
도 6을 참조하면, 전자 장치(100)는 사용자의 시선 방향이 (a) 방향으로부터 (d) 방향으로 변경되는 경우, 전면 스크린(141)을 회전하면서, 표시 방향이 변경된 캐릭터 이미지를 제공할 수 있다.
일 실시 예에 따르면, 오브젝트 이미지는 움직이지 않고 사용자가 이동하면서 다른 방향의 오브젝트 이미지를 관찰하는 것과 같은 효과를 제공할 수 있다.
예를 들어, 사용자의 시선 방향이 (a) 방향일 때 정면 이미지의 제1 캐릭터 이미지(61)가 표시될 때, 사용자의 시선 방향이 (b) 방향으로 변경되면, 45도 측면 이미지의 제2 캐릭터 이미지(62)를 표시할 수 있다. 또한, 사용자의 시선 방향이 (c) 방향으로 변경되면, 전자 장치(100)는 우측 측면 이미지의 제3 캐릭터 이미지(63)를 표시할 수 있다. 또한, 사용자의 시선 방향이 (d) 방향으로 변경되면, 전자 장치(100)는 후면 이미지의 제4 캐릭터 이미지(64)를 표시할 수 있다.
도 5, 6은 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 7은 일 실시 예에 따른 전자 장치의 후면 스크린의 투명도를 조절하는 예를 설명하기 위한 흐름도이다. 도 8은 일 실시 예에 따른 전자 장치의 후면 스크린의 투명도를 조절하는 예를 설명하기 위한 도면이다. 도 8의 도면을 참조하여 도 7의 흐름도를 설명하기로 한다.
도 7의 S701에서, 전자 장치(100)는 조도 센서(154, 도3)를 이용하여 전자 장치 주변의 밝기 정보를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 소정 주기에 따라 조도 센서(154)를 이용하여 전자 장치(100) 주변의 밝기를 측정할 수 있다.
또한, 전자 장치(100)는 소정의 사용자 입력을 수신함에 따라, 조도 센서(154)를 이용하여 전자 장치(100) 주변의 밝기를 측정할 수 있다.
도 7의 S702에서, 전자 장치(100)는 밝기 정보에 기초하여, 후면 스크린(142)의 투명도를 조절할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 밝기 정보에 기초하여, 주변 밝기가 미리 정해진 수치 미만이면, 후면 스크린(142)의 투명도를 높게 조절할 수 있다. 전자 장치(100)는 후면 스크린(142)의 빛 투과율을 높여 후면 스크린(142)을 투명하게 조절할 수 있다.
도 8을 참조하면, 후면 스크린(142)이 투명하게 조절된 예(81)에서, 사용자는 현실 장면과 어우러진 캐릭터 이미지를 관찰 할 수 있다.
또한, 전자 장치(100)는 밝기 정보에 기초하여, 주변 밝기가 미리 정해진 수치 이상이면, 후면 스크린(142)의 투명도를 낮게 조절할 수 있다. 전자 장치(100)는 후면 스크린(142)의 빛 투과율을 낮춰 후면 스크린(142)을 불투명하게 조절함으로써, 주변의 밝은 광에 의한 영향을 최소화할 수 있다. 이에 따라, 전면 스크린(141)에서 표시 중인 이미지가 사용자에게 보다 선명하게 인식될 수 있다.
도 8을 참조하면, 후면 스크린(142)이 불투명하게 조절된 예(82)에서, 사용자는 캐릭터 이미지를 선명하게 관찰할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 소정 주기로 주변 밝기를 센싱하고, 주변 밝기에 따라 적응적으로 후면 스크린(142)의 투명도를 변경할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 투명 모드 또는 외광 차단 모드로 동작할 수 있다. 예를 들어, 투명 모드는 후면 스크린(142)이 투명하게 동작하는 모드이다. 또한, 외광 차단 모드는, 후면 스크린(142)이 불투명하게 동작하는 모드이다.
일 실시 예에 따라, 전자 장치(100)는 조도 센서(154)에 의해 획득한 밝기 정보에 기초하여, 전자 장치(100)를 투명 모드 또는 외광 차단 모드로 동작시킬 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)에는 동작 모드가 미리 설정되어 있을 수 있다. 또한, 전자 장치(100)는 사용자 입력에 따라 동작 모드를 설정 또는 변경할 수 있으며, 이에 제한되지 않는다.
도 9는 일 실시 예에 따른 전자 장치의 후면 스크린이 회전하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전면 스크린(141)은 원통형 케이스(161) 내부의 일 절단면에 평면으로 장착될 수 있다. 후면 스크린(142)은 전면 스크린(141)을 기준으로 원통형 케이스(161)의 후면 곡면에 장착될 수 있다.
전자 장치(100)가 회전 제어 장치(145)의 제어에 따라, 디스플레이 장치(140)을 회전 시킬 때, 전면 스크린(141)과 후면 스크린(142)이 함께 회전할 수 있다.
도 9를 참조하면, 사용자의 시선 방향이 (a), (b), (c) 방향으로 이동함에 따라, 전자 장치(100)는 불투명하게 조절된 후면 스크린(142)이 사용자 시선 방향에 대향하는 정면 방향에 위치하도록 후면 스크린(142)을 회전시킬 수 있다.
도 8, 9는 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 10은 일 실시 예에 따른 전자 장치가 글라스형 장치와 연동하여 동작하는 방법을 설명하기 위한 흐름도이다.
도 10의 S1001에서, 전자 장치(100)는 글라스형 장치(200)로부터, 글라스형 장치(200)를 착용한 사용자의 시선 정보를 수신할 수 있다.
글라스형 장치(200)는 시선 추적 센서(252, 도13)를 포함할 수 있다. 글라스형 장치(200)는 시선 추적 센서(252)를 이용하여 사용자의 시선 정보를 검출할 수 있다. 일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
도 10의 S1002에서, 전자 장치(100)는 수신한 시선 정보에 기초하여, 전면 스크린(141)이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치(145)을 제어하여 디스플레이 장치(140)을 회전시킬 수 있다.
도 10의 S1003에서, 전자 장치(100)는 수신한 시선 정보에 기초하여, 전면 스크린(141)을 통해 표시할 3차원 이미지를 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 전면 스크린(141)을 통해 3차원 형상의 캐릭터 이미지를 표시하고 있을 때, 사용자의 시선 방향에 따라 다른 방향의 캐릭터 이미지가 사용자에게 관찰되도록, 전면 스크린(141)을 통해 표시할 3차원 이미지를 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 3차원 이미지의 좌안 영상과 우안 영상을 번갈아가며 전면 스크린(141)을 통해 표시할 수 있다.
도 10의 S1004에서, 전자 장치(100)는 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 글라스형 장치(200)로 전송할 수 있다.
일 실시 예에 따라, 3차원 이미지에 대응하는 좌영상 IR 신호와 우영상 IR 신호를 수신한 글라스형 장치(200)는, 셔터글라스 방식에 의해 3차원 이미지를 제공할 수 있다.
전자 장치(100)는 3차원 이미지의 좌안 영상과 우안 영상을 번갈아가며 전면 스크린(141)을 통해 표시할 수 있다. 글라스형 장치(200)는 전면 스크린(141)에 좌안 영상이 표시될 때 우안용 LC 셔터(242, 도13)를 닫고, 전면 스크린(141)에 우안 영상이 표시될 때 좌안용 LC 셔터(241, 도13)를 닫는 방식으로, 좌안 영상과 우안 영상을 번갈아가면서 보여줄 수 있다. 이에 따라, 사용자는 양안 시차에 의한 깊이감을 느낌에 따라 3차원 입체 영상을 인식할 수 있다.
도 11은 일 실시 예에 따른 글라스형 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 11의 S1101에서, 글라스형 장치(200)는 근접 센서(254, 도13)를 이용하여, 글라스형 장치(200)가 사용자에 의해 착용 되었음을 감지할 수 있다.
일 실시 예에 따라, 글라스형 장치(200)는 근접 센서(254)를 이용하여 글라스형 장치(200)의 착용 동작 또는 착용 상태를 감지할 수 있다.
도 11의 S1102에서, 글라스형 장치(200)는 전자 장치와의 통신 연결을 제어할 수 있다.
일 실시 예에 따라, 글라스형 장치(200)는 글라스형 장치(200)가 사용자에 의해 착용 되었음을 감지함에 따라, 전자 장치(100)와의 통신 연결을 제어할 수 있다. 글라스형 장치(200)는 근거리 무선 통신(예컨대, Wi-Fi, Bluetooth)을 통해 전자 장치(100)와 통신 연결될 수 있다.
도 11의 S1103에서, 글라스형 장치(200)는 시선 추적 센서(252)를 이용하여 글라스형 장치(200)를 착용한 사용자의 시선 정보를 획득할 수 있다.
일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
도 11의 S1104에서, 글라스형 장치(200)는 획득한 시선 정보를 전자 장치(100)로 전송할 수 있다. 일 실시 예에 따라, 글라스형 장치(200)는 근거리 무선 통신(예컨대, Wi-Fi, Bluetooth)을 통해 시선 정보를 전자 장치(100)로 전송할 수 있다.
도 11의 S1105에서, 글라스형 장치(200)는 전자 장치(100)로부터, 시선 정보에 기초하여 전자 장치(100)의 전면 스크린에 표시할 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 수신할 수 있다. S1106에서, 글라스형 장치(200)는 수신한 좌영상 신호와 우영상 신호에 기초하여 좌안용 LC 셔터(241), 우안용 LC 셔터(242)를 통해 3차원 영상을 제공할 수 있다.
일 실시 예에 따라, 글라스형 장치(200)는 좌안용 LC 셔터(241, 도13)와 우안용 LC 셔터(242, 도13)를 이용하여 셔터글라스 방식에 의해 3차원 이미지를 제공할 수 있다.
이에 따라, 사용자는 양안 시차에 의한 깊이감을 느낌에 따라 3차원 입체 영상을 인식할 수 있다.
도 12는 일 실시 예에 따른 글라스형 장치를 나타내는 도면이다.
도 12는 일 실시 예에 따른 글라스형 장치(200)의 예시를 나타내는 도면이다. 글라스형 장치(200)는, 예를 들어, 도 12와 같은, 사용자가 착용할 수 있도록 구성된 안경형 몸체를 포함하는 안경형 디스플레이 장치로 구현될 수 있으나, 이에 제한되지 않는다.
안경형 몸체는, 프레임(110) 및 안경 다리부(190)를 포함할 수 있다. 안경 다리부(190)는 좌측 다리부(190L)와 우측 다리부(190R)를 포함하며, 프레임(110)의 양 단부(end pieces)에 각각 연결될 수 있다.
일 실시 예에 따라, 좌측 다리부(190L)에는 전원 공급 장치(287)가 내장될 수 있다. 또한, 우측 다리부(190R)에는 프로세서(220), 메모리(230)가 내장될 수 있다.
일 실시 예에 따라, 프레임(110)에는 좌안용 디스플레이 및 우안용 디스플레이를 포함하는 디스플레이(240), 시선 추적 센서(252), 근접 센서(254)가 내장될 수 있다.
디스플레이(240)는 좌안용 LC 셔터(241)와 우안용 LC 셔터(242)를 포함할 수 있다. 좌안용 LC 셔터(241)가 사용자의 좌안에 대응되는 위치에 배치될 수 있으며, 우안용 LC 셔터(242)가 사용자의 우안에 대응되는 위치에 배치될 수 있다.
또한, 글라스형 장치(200)는 사용자의 시선을 추적하기 위하여, 시선 추적 센서(252)를 포함할 수 있다. 일 실시 예에 따른 시선 추적 센서(252)는 사용자의 왼쪽 눈의 시선을 추적하기 위한 제1 시선 추적 센서(252L) 및 오른쪽 눈의 시선을 추적하기 위한 제2 시선 추적 센서(252R)를 포함할 수 있다.
또한, 글라스형 장치(200)는 사용자의 착용을 감지하기 위해, 근접 센서(254)를 포함할 수 있다.
도 12는 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 13은 일 실시 예에 따른 글라스형 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 글라스형 장치(200)는, 통신 기능 및 데이터 프로세싱 기능을 구비한, 3차원 영상을 제공하는 디스플레이 장치일 수 있으며, 이에 제한되지 않는다.
도 13을 참조하면, 일 실시 예에 따른 글라스형 장치(200)는 메모리(230) 및 프로세서(220), 디스플레이(240), 센싱부(250), 카메라(275), 통신 인터페이스(280), 음향 출력 인터페이스(285), 전원 공급 장치(287), 마이크(288), 사용자 입력 인터페이스(289)를 포함할 수 있다. 그러나, 도 13에 도시된 구성 요소 모두가 글라스형 장치(200)의 필수 구성 요소인 것은 아니다. 도 13에 도시된 구성 요소보다 많은 구성 요소에 의해 글라스형 장치(200)가 구현될 수도 있고, 도 13에 도시된 구성 요소보다 적은 구성 요소에 의해 글라스형 장치(200)가 구현될 수도 있다.
글라스형 장치(200)의 프로세서(220)는, 메모리(230)에 저장된 프로그램들을 실행함으로써, 디스플레이(240), 센싱부(250), 카메라(275), 통신 인터페이스(280), 음향 출력 인터페이스(285), 전원 공급 장치(287), 마이크(288), 사용자 입력 인터페이스(289) 등을 전반적으로 제어할 수 있다.
일 실시 예에 따른 메모리(230)는 프로세서(220)에 의해 실행될 프로그램을 저장할 수 있고, 글라스형 장치(200)로 입력되거나 글라스형 장치(200)로부터 출력되는 데이터를 저장할 수 있다.
메모리(230)는 플래시 메모리 타입(flash memory type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(230)에 저장된 프로그램들은 그 기능에 따라 복수 개의 소프트웨어 모듈들을 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(220)는 글라스형 장치(200)의 전반적인 동작을 제어한다. 프로세서(220)는, 메모리(230)에 저장된 명령어들이나 프로그램들을 실행함으로써, 글라스형 장치(200)가 수행하는 동작이나 기능을 제어할 수 있다.
일 실시 예에 따라, 프로세서(220)는 하나 또는 복수의 프로세서로 구성될 수 있다. 프로세서(220)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 디스플레이(240)는 좌안용 LC 셔터(241)와 우안용 LC 터(242)를 포함할 수 있다. 글라스형 장치(200)는 전자 장치(100)의 전면 스크린(141)에 좌영상이 출력될 때 우안용 LC 셔터(242)를 닫고, 우영상이 출력될 때 좌안용 LC 셔터(241)를 닫는 방식으로, 좌영상과 우영상을 번갈아가면 보여줌으로써 3차원 이미지를 제공할 수 있다.
좌안용 LC 셔터(241)와 우안용 LC 셔터(242)를 열고 닫는 셔터 방식은 좌안용 렌즈와 우안용 렌즈를 구성하는 액정에 전압을 온, 오프함으로써 구현될 수 있다.
센싱부(250)는 움직임 센서(251), 시선 추적 센서(252), 깊이 센서(253), 근접 센서(254)를 포함할 수 있다.
움직임 센서(251)는 IMU(Inertial Measurement Unit)일 수 있다. IMU는, 3차원 공간에서의 물체의 움직임 즉, 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합일 수 있다. 예를 들어, 센서들의 조합은, 가속도계, 지자기계, 및 자이로스코프를 포함할 수 있다.
또한, 움직임 센서(155)는 가속도 센서(Acceleration sensor), 지자기 센서(Magnetic sensor), 또는 자이로스코프 센서 중 적어도 하나를 포함할 수 있다.
시선 추적 센서(252)는 사용자 눈의 시선 정보를 검출할 수 있다. 일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
시선 추적 센서(252)는, 사용자의 눈(왼쪽 눈 또는 오른쪽 눈)에 광을 제공하고, 사용자의 눈으로부터 반사된 광량을 감지할 수 있다. 시선 추적 센서(152)는, 감지된 광량에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
또는, 시선 추적 센서(252)는, 사용자의 눈에 광을 제공하고, 사용자의 눈을 촬영할 수 있다. 시선 추적 센서(252)는 촬영된 사용자의 눈 영상에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
일 실시 예에 따라, 시선 추적 센서(252)는 글라스형 장치(200)를 착용한 사용자의 시선 정보를 획득할 수 있다.
깊이 센서(253)는 현실 세계에 포함되는 하나 이상의 객체들에 대한 깊이 정보를 획득할 수 있다. 깊이 정보는, 깊이 센서(253)로부터 특정 객체까지의 거리에 대응할 수 있다. 일 실시 예에 따른 깊이 센서(253)로부터 특정 객체까지의 거리가 멀수록 깊이 값은 커질 수 있다.
일 실시 예에 따른 깊이 센서(253)는 다양한 방식으로 객체의 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 센서(253)는 TOF(Time of flight) 방식, 구조화된 광(Structured Light) 방식, 스테레오 이미지(Stereo Image) 방식 중 적어도 하나의 방식을 이용하여, 깊이 정보를 획득할 수 있다. 스테레오 이미지 방식의 깊이 센서(253)는 일반적으로 2개 이상의 복수의 카메라로 구성된다.
일 실시 예에 따라, 깊이 센서(253)는 현실 장면에 포함된 현실 객체의 깊이 정보를 센싱할 수 있다. 프로세서(220)는 깊이 센서(253)를 통해 센싱된 현실 객체의 깊이 정보에 기초하여 글라스형 장치(200) 전방의 현실 객체의 유무, 현실 객체의 방향, 거리 등을 획득할 수 있다.
또한, 깊이 센서(253)는 글라스형 장치(200)를 착용한 사용자 손의 손가락들의 깊이 정보를 센싱할 수 있다. 프로세서(220)는 깊이 센서(253)를 통해 센싱된 손가락들의 깊이 정보에 기초하여 사용자 손의 모양, 손이 움직이는 패턴 등을 인식함으로써 사용자 손의 제스처 입력을 획득할 수 있다.
근접 센서(254)는 주변 물체 또는 사람의 근접을 감지할 수 있는 센서이다.
근접 센서(254)는 전자기장이나 전자기파(예, 적외선)을 방출하며 전기장과 돌아오는 신호를 검출한다.
일 실시 예에 따라, 근접 센서(254)는 사용자가 웨어러블 장치(200)를 착용하는 동작 또는 착용한 상태를 감지할 수 있다.
카메라(275)는 글라스형 장치(200)의 주변을 촬영할 수 있다. 카메라(275)는 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다.
이미지 센서를 통해 캡쳐된 이미지는 프로세서(220) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
또한, 프로세서(120) 또는 별도의 이미지 처리부(미도시)에서 처리된 화상 프레임은 메모리(230)에 저장되거나 통신 인터페이스(280)를 통하여 외부로 전송될 수 있다.
카메라(275)는 전자 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
일 실시 예에 따라, 카메라(275)은 글라스형 장치(200)의 주변을 촬영함으로써, 현실 장면을 포함하는 이미지를 획득할 수 있다.
통신 인터페이스(280)는 글라스형 장치(200)와 전자 장치(100) 또는 외부 장치(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신 인터페이스(280)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
음향 출력 인터페이스(285)는 통신 인터페이스(180)로부터 수신되거나 메모리(130)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 인터페이스(185)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
일 실시 예에 따른 음향 출력 인터페이스(285)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 일 실시 예에 따른 음향 출력 인터페이스(285)는 글라스형 장치(200)에 장착되어 있거나 탈부착 가능한 이어폰 형태로 구현될 수 있다. 또한, 일 실시 예에 따른 음향 출력 인터페이스(285)는 골전도 방식으로 음향을 출력할 수 있다.
전원 공급 장치(287)는 프로세서(220)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원 공급 장치(287)는 배터리를 의미할 수 있다.
마이크(288)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(288)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 또한, 마이크(288)는 글라스형 장치(200)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다. 마이크(288)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
사용자 입력 인터페이스(289)는, 사용자가 글라스형 장치(200)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력 인터페이스(289)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
도 13은 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
본 개시의 일 측면에 따른 전자 장치는 전면 스크린을 포함하는 디스플레이 장치, 디스플레이 장치가 회전하도록 제어하는 회전 제어 장치, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다. 상기 프로세서는 전면 스크린을 통해 오브젝트 이미지를 표시할 수 있다. 상기 프로세서는 전면 스크린을 바라보는 사용자의 시선 정보를 획득할 수 있다. 상기 프로세서는 획득한 시선 정보에 기초하여, 전면 스크린이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 디스플레이 장치를 회전시킬 수 있다. 상기 프로세서는 획득한 시선 정보에 기초하여, 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경할 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치는 주변의 사용자의 시선을 추적하는 카메라를 더 포함할 수 있다. 상기 프로세서는 카메라를 이용하여, 전면 스크린을 바라보는 사용자의 시선 정보를 획득할 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치는 주변의 밝기를 센싱하는 조도 센서를 더 포함할 수 있다. 상기 디스플레이 장치는 투명도가 조절되는 후면 스크린을 더 포함할 수 있다. 상기 프로세서는 조도 센서를 이용하여 전자 장치 주변의 밝기 정보를 획득할 수 있다. 상기 프로세서는 획득된 밝기 정보에 기초하여, 후면 스크린의 투명도를 조절할 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치는 3차원 영상을 제공하는 글라스형 장치와 통신하는 통신 인터페이스를 더 포함할 수 있다. 상기 프로세서는 통신 인터페이스를 통해, 글라스형 장치로부터 상기 글라스형 장치를 착용한 사용자의 시선 정보를 수신할 수 있다.
본 개시의 일 실시예에서, 상기 프로세서는 디스플레이 장치가 회전한 방향과 각도에 기초하여, 전면 스크린을 통해 표시할 3차원 이미지를 결정할 수 있다. 상기 프로세서는 통신 인터페이스를 통해, 글라스형 장치로 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 전송할 수 있다.
본 개시의 일 측면에 따른 전자 장치의 동작 방법은, 전면 스크린을 통해 오브젝트 이미지를 표시하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 획득한 시선 정보에 기초하여, 전면 스크린이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 전면 스크린을 포함하는 디스플레이 장치를 회전시키는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 획득한 시선 정보에 기초하여, 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 시선 정보를 획득하는 단계는 전자 장치에 내장된 사용자의 시선을 추적하는 카메라를 이용하여, 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치의 동작 방법은, 전자 장치 주변의 밝기를 센싱하는 조도 센서를 이용하여 상기 전자 장치 주변의 밝기 정보를 획득하는 단계를 더 포함할 수 있다. 상기 전자 장치의 동작 방법은 획득된 밝기 정보에 기초하여, 후면 스크린의 투명도를 조절하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 시선 정보를 획득하는 단계는 글라스형 장치로부터 상기 글라스형 장치를 착용한 사용자의 시선 정보를 수신하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치의 동작 방법은 디스플레이 장치가 회전한 방향과 각도에 기초하여, 전면 스크린을 통해 표시할 3차원 이미지를 결정하는 단계를 더 포함할 수 있다. 상기 전자 장치의 동작 방법은 글라스형 장치로 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 전송하는 단계를 더 포함할 수 있다.
본 개시의 다른 일 측면(another aspect)에 따른 글라스형 장치는, 근접 센서, 전자 장치와 통신하는 통신 인터페이스, 시선 추적 센서, 디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다. 상기 프로세서는 근접 센서를 이용하여, 글라스형 장치가 사용자에 의해 착용 되었음을 감지할 수 있다. 상기 프로세서는 통신 인터페이스를 통해 전자 장치와의 통신 연결을 제어할 수 있다. 상기 프로세서는 시선 추적 센서를 이용하여 글라스형 장치를 착용한 사용자의 시선 정보를 획득할 수 있다. 상기 프로세서는 통신 인터페이스를 통해, 획득한 시선 정보를 전자 장치로 전송하고, 전자 장치로부터, 시선 정보에 기초하여 전자 장치의 전면 스크린에 표시할 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 수신할 수 있다. 상기 프로세서는 수신한 좌영상 신호와 우영상 신호에 기초하여 좌안용 LC 셔터, 우안용 LC 셔터를 통해 3차원 이미지를 제공할 수 있다.
본 개시의 다른 일 측면은 글라스형 장치의 동작 방법은 제공한다. 상기 글라스형 장치의 동작 방법은, 글라스형 장치가 사용자에 의해 착용 되었음을 감지하는 단계를 포함할 수 있다. 상기 글라스형 장치의 동작 방법은 전자 장치와의 통신 연결을 제어하는 단계를 포함할 수 있다. 상기 글라스형 장치의 동작 방법은, 상기 글라스형 장치를 착용한 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다. 상기 글라스형 장치의 동작 방법은 획득한 시선 정보를 전자 장치로 전송하는 단계를 포함할 수 있다. 상기 글라스형 장치의 동작 방법은 전자 장치로부터, 시선 정보에 기초하여 전자 장치의 전면 스크린에 표시할 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 수신하는 단계를 포함할 수 있다. 상기 글라스형 장치의 동작 방법은 수신한 좌영상 신호와 우영상 신호에 기초하여 좌안용 LC 셔터와 우안용 LC 셔터를 통해 3차원 이미지를 제공하는 단계를 포함할 수 있다.
본 개시의 일 측면에 따르면, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)을 제공한다. 상기 저장 매체는 전면 스크린을 통해 오브젝트 이미지를 표시하는 동작에 관한 명령어들(instructions)을 포함할 수 있다. 상기 저장 매체는 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 동작에 관한 명령어들을 포함할 수 있다. 상기 저장 매체는 획득한 시선 정보에 기초하여, 전면 스크린이 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 전면 스크린을 포함하는 디스플레이 장치를 회전시키는 동작에 관한 명령어들을 포함할 수 있다. 상기 저장 매체는 획득한 시선 정보에 기초하여, 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는 동작에 관한 명령어들을 포함할 수 있다.
한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시 예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시 예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어, 예를 들어, “등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시 예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
본 개시에서 설명된 전자 장치(100)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치(100)의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 전자 장치(100)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장 매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(100), 증강 현실 디바이스(200), 및/또는 서버로 구성되는 시스템에서, 서버의 저장매체 또는 전자 장치(100)의 저장매체를 포함할 수 있다. 또는, 전자 장치(100)와 통신 연결되는 제3 장치(예를 들어, 모바일 디바이스)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(100)으로부터 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(100), 증강 현실 디바이스(200), 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(100), 증강 현실 디바이스(200), 및 제3 장치 중 적어도 하나 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(100)가 메모리(120, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(100)와 통신 연결된 타 전자 장치(예를 들어, 모바일 디바이스)가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(100)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (11)

  1. 전자 장치에 있어서,
    전면 스크린을 포함하는 디스플레이 장치;
    상기 디스플레이 장치가 회전하도록 제어하는 회전 제어 장치;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전면 스크린을 통해 오브젝트 이미지를 표시하고,
    상기 전면 스크린을 바라보는 사용자의 시선 정보를 획득하고,
    상기 획득한 시선 정보에 기초하여, 상기 전면 스크린이 상기 사용자의 시선의 정면 방향에 위치하도록 상기 회전 제어 장치를 제어하여 상기 디스플레이 장치를 회전시키고,
    상기 획득한 시선 정보에 기초하여, 상기 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 전자 장치 주변의 사용자의 시선을 추적하는 카메라;
    를 더 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 카메라를 이용하여, 상기 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 전자 장치 주변의 밝기를 센싱하는 조도 센서;
    를 더 포함하고,
    상기 디스플레이 장치는, 투명도가 조절되는 후면 스크린을 더 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 조도 센서를 이용하여 상기 전자 장치 주변의 밝기 정보를 획득하고,
    상기 밝기 정보에 기초하여, 상기 후면 스크린의 투명도를 조절하는, 전자 장치.
  4. 제1 항에 있어서,
    3차원 영상을 제공하는 글라스형 장치와 통신하는 통신 인터페이스;
    를 더 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 통신 인터페이스를 통해, 상기 글라스형 장치로부터, 상기 글라스형 장치를 착용한 사용자의 시선 정보를 수신하는, 전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 디스플레이 장치가 회전한 방향과 각도에 기초하여, 상기 전면 스크린을 통해 표시할 3차원 이미지를 결정하고,
    상기 통신 인터페이스를 통해, 상기 글라스형 장치로, 상기 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 전송하는, 전자 장치.
  6. 전자 장치의 동작 방법에 있어서,
    전면 스크린을 통해 오브젝트 이미지를 표시하는 단계;
    상기 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 단계;
    상기 획득한 시선 정보에 기초하여, 상기 전면 스크린이 상기 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 상기 전면 스크린을 포함하는 디스플레이 장치를 회전시키는 단계; 및
    상기 획득한 시선 정보에 기초하여, 상기 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는 단계를 포함하는, 동작 방법.
  7. 제6 항에 있어서,
    상기 시선 정보를 획득하는 단계는,
    상기 전자 장치에 내장된 상기 사용자의 시선을 추적하는 카메라를 이용하여, 상기 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 단계를 포함하는, 동작 방법.
  8. 제6 항에 있어서,
    상기 전자 장치 주변의 밝기를 센싱하는 조도 센서를 이용하여 상기 전자 장치 주변의 밝기 정보를 획득하는 단계; 및
    상기 밝기 정보에 기초하여, 후면 스크린의 투명도를 조절하는 단계를 더 포함하는, 동작 방법.
  9. 제6 항에 있어서,
    상기 시선 정보를 획득하는 단계는,
    글라스형 장치로부터, 상기 글라스형 장치를 착용한 사용자의 시선 정보를 수신하는 단계를 포함하는, 동작 방법.
  10. 제9 항에 있어서,
    상기 디스플레이 장치가 회전한 방향과 각도에 기초하여, 상기 전면 스크린을 통해 표시할 3차원 이미지를 결정하는 단계; 및
    상기 글라스형 장치로, 상기 3차원 이미지에 대응하는 좌영상 신호와 우영상 신호를 전송하는 단계를 더 포함하는, 동작 방법.
  11. 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,
    상기 저장 매체는,
    전면 스크린을 통해 오브젝트 이미지를 표시하는 동작;
    상기 전면 스크린을 바라보는 사용자의 시선 정보를 획득하는 동작;
    상기 획득한 시선 정보에 기초하여, 상기 전면 스크린이 상기 사용자의 시선의 정면 방향에 위치하도록 회전 제어 장치를 제어하여 상기 전면 스크린을 포함하는 디스플레이 장치를 회전시키는 동작; 및
    상기 획득한 시선 정보에 기초하여, 상기 전면 스크린을 통해 표시 중인 오브젝트 이미지를 변경하는 동작;
    을 전자 장치가 수행하기 위한 명령어들(instructions)을 포함하는, 컴퓨터 프로그램 제품.
PCT/KR2022/016701 2021-11-02 2022-10-28 전자 장치 및 그 동작 방법 WO2023080564A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210148956A KR20230063667A (ko) 2021-11-02 2021-11-02 전자 장치 및 그 동작 방법
KR10-2021-0148956 2021-11-02

Publications (1)

Publication Number Publication Date
WO2023080564A1 true WO2023080564A1 (ko) 2023-05-11

Family

ID=86241733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016701 WO2023080564A1 (ko) 2021-11-02 2022-10-28 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230063667A (ko)
WO (1) WO2023080564A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118055218A (zh) * 2024-01-11 2024-05-17 北京万物栩生科技有限公司 三维内容显示装置、方法、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094582A (ko) * 2017-02-16 2018-08-24 한국과학기술연구원 원통형 디스플레이 장치의 물리적 회전 기반 콘텐츠 제어 방법, 그 제어 방법을 수행하기 위한 기록 매체 및 장치
KR20190048144A (ko) * 2017-10-30 2019-05-09 주식회사 지엔아이씨티 발표 및 면접 훈련을 위한 증강현실 시스템
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
KR20210044506A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 증강 현실 객체를 표시하는 장치 및 그 동작 방법
KR102293363B1 (ko) * 2019-03-21 2021-08-23 김장백 가상운동기 및 가상운동시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094582A (ko) * 2017-02-16 2018-08-24 한국과학기술연구원 원통형 디스플레이 장치의 물리적 회전 기반 콘텐츠 제어 방법, 그 제어 방법을 수행하기 위한 기록 매체 및 장치
KR20190048144A (ko) * 2017-10-30 2019-05-09 주식회사 지엔아이씨티 발표 및 면접 훈련을 위한 증강현실 시스템
KR102293363B1 (ko) * 2019-03-21 2021-08-23 김장백 가상운동기 및 가상운동시스템
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
KR20210044506A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 증강 현실 객체를 표시하는 장치 및 그 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118055218A (zh) * 2024-01-11 2024-05-17 北京万物栩生科技有限公司 三维内容显示装置、方法、设备以及存储介质

Also Published As

Publication number Publication date
KR20230063667A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2016017966A1 (en) Method of displaying image via head mounted display device and head mounted display device therefor
WO2016190505A1 (ko) 글래스타입 단말기 및 이의 제어방법
WO2017185316A1 (zh) 一种无人机第一视角飞行的控制方法及***、智能眼镜
WO2016060397A1 (en) Method and apparatus for processing screen using device
WO2016024755A1 (en) Image photographing apparatus, image photographing system for performing photographing by using multiple image photographing apparatuses, and image photographing methods thereof
WO2016024746A1 (en) Mobile terminal
WO2017188492A1 (ko) 이동단말기 및 그 제어방법
WO2015053449A1 (ko) 안경형 영상표시장치 및 그것의 제어방법
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2016064132A1 (en) Wearable device and method of transmitting content
WO2020166911A1 (en) Screen providing method and electronic device supporting same
WO2020013676A1 (en) Electronic device and operating method of controlling brightness of light source
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2023080564A1 (ko) 전자 장치 및 그 동작 방법
EP3092523A1 (en) Wearable display apparatus
WO2021025534A1 (ko) 카메라 프리뷰 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2015064935A1 (en) Electronic device and control method thereof
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2022010192A1 (ko) 웨어러블 디바이스 및 그 동작 방법
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890295

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE