WO2017126797A1 - Hmd 디바이스 및 그 제어 방법 - Google Patents

Hmd 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2017126797A1
WO2017126797A1 PCT/KR2016/013497 KR2016013497W WO2017126797A1 WO 2017126797 A1 WO2017126797 A1 WO 2017126797A1 KR 2016013497 W KR2016013497 W KR 2016013497W WO 2017126797 A1 WO2017126797 A1 WO 2017126797A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
hmd device
user
display
size
Prior art date
Application number
PCT/KR2016/013497
Other languages
English (en)
French (fr)
Inventor
이상영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16886640.8A priority Critical patent/EP3376278B1/en
Priority to US16/062,402 priority patent/US10845869B2/en
Publication of WO2017126797A1 publication Critical patent/WO2017126797A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present disclosure relates to an HMD device and a control method thereof, and more particularly, to an HMD device capable of viewing a VR image within a limited rotation range and a control method thereof.
  • a display device having a form that can be worn on a user's head has been developed.
  • a display device that can be worn on the head is called an HMD device (Head Mounted Display Device), and displays a screen in front of a user's eyes to show the world of virtual reality (VR), or augmented reality (AR) together with the actual alien. Shows the video.
  • VR virtual reality
  • AR augmented reality
  • the HMD device displays a viewing area corresponding to the field of view corresponding to the direction in which the user's head is rotated, in order to display a realistic image according to the movement of the user wearing the same. It was.
  • the present disclosure has been invented from problem recognition in view of the above-described aspect, and an object of the present disclosure is to provide an HMD device and a control method thereof capable of viewing a VR image within a limited rotation range.
  • a head mounted display (HMD) device for providing a VR (Virtual Reality) service may include a display, a sensor for sensing a direction that the HMD device is directed to, and A processor for controlling the display to display a view area corresponding to a direction different from the sensed directing direction of the VR image in order to display all of the VR image for providing a VR service within a preset rotation radius range of the HMD device; It includes.
  • the senor detects an azimuth angle on a horizontal plane that the HMD device is facing with respect to the front, and the processor displays a view area corresponding to a direction that forms an angle larger than the sensed azimuth angle of the VR image.
  • the display can be controlled.
  • the processor displays a view area corresponding to the direction corresponding to the detected directing direction, and if the detected directing direction is greater than or equal to the threshold angle
  • the display may be controlled to display a view area corresponding to a direction further rotated in the sensed direction.
  • the threshold angle may be a minimum angle capable of displaying an area of the front 180 degree range of the VR image through the view area.
  • the processor is configured to set a maximum rotation radius capable of turning the head according to a user input, and to display all of the VR image within the set maximum rotation radius range, the processor differs from the detected direction of the VR image.
  • the display may be controlled to display a view area corresponding to a direction.
  • the processor may display the display to display a view area corresponding to a direction further rotated from the detected directing direction in the direction near the end.
  • the controlling can be controlled.
  • the senor further comprises a sensor for detecting the gaze of the user wearing the HMD device, the processor, if the detected user's gaze toward the edge of the viewing area, the detected direction in the direction near the edge
  • the display may be controlled to display a view area corresponding to the direction further rotated from the directing direction.
  • the HMD device further comprises an audio interface for outputting a stereo sound, the processor, by matching the direction in which the sound source reproduced by the stereo sound is located with a view area corresponding to a direction different from the sensed directing direction
  • the audio interface can be controlled to output.
  • the processor may control the display to display a view area of an angle formed by multiplying a positive multiplier greater than 1 by an angle formed by the sensed direction in the VR image. .
  • the multiplier may vary according to an angle formed by the sensed directivity direction with respect to the front side.
  • a method of controlling a head mounted display (HMD) device for providing a VR (Virtual Reality) service may include detecting a direction in which the HMD device is directed, and presetting a VR image for providing the VR service. Controlling the display of the HMD device to display a view area corresponding to a direction different from the sensed directing direction of the VR image to display all within the rotation radius range.
  • HMD head mounted display
  • the detecting may include detecting an azimuth angle on a horizontal plane of the HMD device with respect to the front side, and the controlling may correspond to a direction that forms an angle larger than the detected azimuth angle of the VR image.
  • the display can be controlled to display a view area.
  • the controlling may include displaying a view area corresponding to a direction coinciding with the sensed direction when the sensed direction is less than a threshold angle relative to the front, and wherein the sensed direction is the threshold angle. If abnormal, the display may be controlled to display a view area corresponding to a direction further rotated in the sensed direction.
  • the threshold angle may be a minimum angle capable of displaying an area of the front 180 degree range of the VR image through the view area.
  • control method of the HMD device further includes setting a maximum turning radius that can turn the head according to a user input, and the controlling includes displaying all of the VR image within the set maximum turning radius range.
  • the display may be controlled to display a view area corresponding to a direction different from the sensed direction in the VR image.
  • the display area is displayed so as to display a view area corresponding to the direction further rotated from the detected directing direction in the direction near the end. You can control the display.
  • control method of the HMD device further comprises the step of detecting the line of sight of the user wearing the HMD device, the controlling step, when the detected line of sight of the user toward the edge of the view area,
  • the display may be controlled to display a view area corresponding to a direction further rotated from the sensed direction in the direction near the edge.
  • the HMD device further comprises the step of outputting a stereo sound, wherein the controlling step, the direction in which the sound source reproduced by the stereo sound is located corresponding to a view region corresponding to a direction different from the sensed directing direction Control the audio interface of the HMD device.
  • control method may control the display to display a view area of an angle formed by multiplying an angle formed by the detected directing direction by a positive multiplier greater than 1 in the VR image.
  • the multiplier may vary according to an angle formed by the sensed directivity direction with respect to the front side.
  • the HMD device and its control method according to the above various embodiments can provide the following effects.
  • the user can comfortably watch the VR image in all directions even within the limited range of operation.
  • the user may set the rotation radius of the personalization, and watch the VR image of the full range within the set rotation range.
  • the user can enjoy realistic audio effects corresponding to the direction of the viewing area being viewed.
  • FIG. 1A illustrates an appearance of an HMD device according to an embodiment of the present invention
  • FIG. 1B is a view for explaining a form of wearing and using the HMD device of FIG. 1A;
  • FIG. 2 is a block diagram showing a configuration of an HMD device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of the HMD device of FIG.
  • FIG. 4 is a diagram for describing a method of determining an area to be displayed to a user among VR images of an HMD device according to an embodiment of the present invention
  • FIG. 5 is a view for explaining a method of determining an area to be displayed to a user among VR images of an HMD device according to another embodiment of the present invention.
  • FIG. 6 is a block diagram showing a configuration of an HMD device according to another embodiment of the present invention.
  • FIG. 7 is a view for explaining a method of determining the position of a sound source for reproducing a stereoscopic image of the HMD device according to an embodiment of the present invention
  • FIG. 8 is a block diagram showing a configuration of an HDM device according to another embodiment of the present invention.
  • FIGS. 9 and 10 are views for explaining a method of switching the area to be displayed in the VR image of the HMD device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a control method of an HMD device according to an embodiment of the present invention.
  • FIG. 1 is a view showing the appearance of an HMD device according to an embodiment of the present invention.
  • the HMD device is composed of two parts, a member 10 for wearing on a head and a body 20 for displaying an image in close contact with an eye.
  • the member 10 for wearing on the head may be implemented with one or a plurality of straps 10.
  • Strap 10 may be composed of a main strap surrounding the user's head and a top strap surrounding the user's head.
  • the body 20 is connected with the strap 10. Specifically, the main body 20 is connected to the left and right sides of the main strap, the top strap is connected to the top center.
  • Body 20 is located in front of the user's eyes to wear.
  • the body 20 includes an operation unit for receiving a user's operation and a display unit for displaying an image.
  • the body 20 provides a foam cushion 21 at a portion in contact with the user's head to provide a comfortable fit.
  • the body 20 includes a lens focusing wheel 22, a cancel button 23, a touch sensing sensor 24, a volume adjusting button 25, and a separating button 26.
  • the lens focus adjusting wheel 22 receives a user's manipulation of adjusting the focus of two lenses of the body 20 corresponding to each of the eyes of the user. Specifically, the lens focusing wheel 22 receives a rotating user operation, and advances or retracts a lens positioned between the user's eyes and the display surface, thereby adjusting the focus for viewing an image of the display. Can provide.
  • the cancel button 23 receives a user's manipulation of returning to the previous screen or stopping of the image being played and returning to the menu when a stepwise screen switching such as a menu displayed on the display is made.
  • the cancel button 23 may execute a different function depending on the length pressed. For example, when the cancel button 23 is pressed for a long time, a home screen or a universal menu may be displayed on the display.
  • the touch sensor 24 receives a user's touch manipulation.
  • the touch detection sensor 24 receives a selection touch, two consecutive touches, a drag touch having a directionality, and the like.
  • the volume control button 25 receives a user operation for adjusting the volume of the output sound.
  • the volume control button 25 includes a button for increasing the volume and a button for decreasing the volume.
  • the disconnect button 26 receives a user operation of detaching the fastened electronic device 30 from the body 20. Specifically, the release button 26 provides an operation of separating the fixing member for fixing the electronic device 30 electrically connected to the body 20 from the electronic device 30 to make it detachable.
  • the body 20 may be coupled to the electronic device 30.
  • the electronic device 30 includes a display and stores a program for implementing a virtual reality (VR). Specifically, the electronic device 30 corresponds to a user's manipulation of the screen and the operation unit of the body 20 which may be properly displayed to the user wearing the HMD device 100 while being coupled with the body 20. You can save a program that can execute the function.
  • VR virtual reality
  • the body 20 may include a connector for electrical connection with the electronic device 30 and a fixing frame corresponding to the shape of the electronic device 30 for physical coupling.
  • the body 20 may be further coupled with a cover (not shown) covering the electronic device 30 to prevent the impact from the outside and to prevent the electronic device 30 from being separated.
  • the electronic device 30 may be various types of mobile terminals.
  • the electronic device 30 may be a device having a display such as a smart phone, a tablet PC, a PDA, a PMP, a wearable device, and the like.
  • FIG. 1B is a diagram for describing a form of wearing and using the HMD device of FIG. 1A.
  • the user 50 wearing the HMD device 100 may view only a part of the reproduced VR image through the view area 60.
  • the view area 60 refers to an area that the user 50 can see through the display in a closed space covering the eyes of the user 50.
  • the viewing area 60 may be referred to as the viewing range or viewing angle of the user 50 in the virtual reality.
  • the reproduced VR image includes an image corresponding to three axis directions of the three-dimensional space so that the user 50 can visually feel the virtual space.
  • the user 50 wearing the HMD device 100 moves his head up and down, and according to the movement, the upper and lower parts of the VR image can be viewed through the view area 60. .
  • the user 50 wearing the HMD device 100 turns his head left and right, and according to this movement, the left and right portions of the VR image can be viewed through the view area 60. .
  • FIG. 2 is a block diagram illustrating a configuration of an HMD device according to an embodiment of the present invention.
  • the HMD device 100 includes a display 110, a direction sensor 120, and a processor 130.
  • the display 110 displays an image.
  • the display 110 displays a portion of a VR image for providing a VR service as a view area.
  • the VR service refers to a service that provides content to the user so that the user can feel a sense of space in virtual reality, and the VR image can be visually felt to the user through the display 110 as described above. Refers to an image reproduced by the HMD device 100 corresponding to the 3D coordinates.
  • the direction sensor 120 detects a direction in which the HMD device 100 is directed.
  • the direction sensor 120 may detect the direction in which the HMD device 100 is returned by the movement of the user.
  • the direction sensor 120 may be implemented by various sensors such as an acceleration sensor, a gravity sensor, and a geomagnetic sensor. A more detailed description thereof will be described later with reference to FIG. 3.
  • the direction sensor 120 may detect an azimuth angle on a horizontal plane that the HMD device 100 faces based on the front side. Specifically, the direction sensor 120 according to the movement of the user turning the head to the left and right relative to the front of the HMD device 100 corresponding to the viewing direction of the front of the user determined when wearing the HMD device 100 in the initial state. The HMD device can detect the azimuth angle rotated on the horizontal plane.
  • the processor 130 controls each component of the HMD device 100.
  • the processor 130 may control a function of each component of the HMD device 100 to display all VR images for providing a VR service within a predetermined rotation radius range of the HMD device.
  • the processor 130 controls the display 110 to display a view area corresponding to a direction different from the sensed direction of the VR image.
  • the processor 130 may control the display 110 to provide the first portion of the VR image when the sensed direction of the HMD device is changed within a predetermined range with respect to the front of the user.
  • the first portion of the VR image is the same size of the left and right images based on the direction of the modified HMD device. That is, the first portion provided through the display 110 is an area displayed while the HMD device 100 changes directions within a predetermined range of the VR image, and the left and right sides are symmetrical in the direction corresponding to the directing direction. It is an area corresponding to the field of view.
  • the processor 130 may control the display 110 to provide a second portion of the VR image when the detected direction of the HMD device is changed to be out of a predetermined range with respect to the front of the user.
  • the second portion of the VR image is a different size of the image on the left and right on the basis of the direction of the modified HMD device. That is, the second portion provided through the display 110 is an area displayed while the HMD device 100 changes direction in the remaining range out of a certain range of the VR image, and is in a direction twisted left or right in the direction of orientation. It is an area corresponding to the field of view.
  • the processor 130 displays the display 110 to display an area corresponding to a direction that does not match the direction of the HMD device detected by the direction sensor 120 in at least a portion of the VR image being played back. Can be controlled.
  • the HMD device 100 may display the VR image without making the direction of the virtual space logically present in the VR image coincide with the direction of the HMD device 100.
  • the second portion of the VR image if the direction of the HMD device 100 is directed to the right of the user based on the right side, the size of the right image is larger than the size of the left image is composed of the HMD device If the direction in which 100 is directed is to the left, the size of the left image may be configured to be larger than the size of the right image. That is, the second part is an image of a region corresponding to a viewing range in a direction further twisted in the direction in which the HMD device 100 is rotated relative to the front, which is displayed when the HMD device is changed to face a range outside of a certain range. Can be.
  • the processor 130 may control the display 110 to display a view area corresponding to a direction forming an angle larger than the detected azimuth angle in the VR image. According to this, the processor 130 may control the display 110 to display the area of the VR image in a direction in which the user turns his head more than the direction in which the HMD device 100 is turned as the view area.
  • the processor 130 may set a direction that is a reference for determining the rotation and the predetermined range of the HMD device 100. Normally, the reference direction will be the direction in which the user's head faces the front.
  • the processor 130 may induce the user to face the front in a correct posture, and then set the direction of the HMD device 100 in the initial state to the front as a reference. To this end, the HMD device 100 may additionally perform calibration for rotation.
  • the processor 130 may set a threshold angle corresponding to a predetermined range based on the front of the user.
  • the threshold angle is the angle of the boundary between the range in which the first portion is displayed and the range in which the second portion is displayed relative to the front.
  • the critical angle is the angle at both ends of a range.
  • the processor 130 may determine an azimuth angle from the front direction of the user to the direction in which the HMD device 100 is directed.
  • the azimuth angle is an angle rotated from the forward direction as a reference to the directing direction of the HMD device 100.
  • the processor 130 may control the display 110 to compare the magnitude of the determined azimuth angle with the set threshold angle and provide a first portion or a second portion according to the result. That is, if the detected direction is less than the threshold angle relative to the front, the processor 130 displays a view area corresponding to the direction that matches the detected direction, and if the detected direction is greater than or equal to the threshold angle, the detected direction is detected.
  • the display 110 may be controlled to display a view area corresponding to a direction further rotated in the directing direction.
  • the processor 130 displays a view area corresponding to the directed direction, and moves out of the predetermined partial radius to the HMD device. Once 100 is directed, it is possible to display a view area corresponding to the direction of the angle that is advanced more than the rotation angle of the directed direction.
  • the threshold angle may be a minimum angle capable of providing an area of the front side 180 degrees of the user in the VR image as the first part. That is, the threshold angle is a viewing range of the viewing area, and may be an angle at both ends of a predetermined range that can be displayed by all of the region of the front 180 degrees of the VR image.
  • the processor 130 sets a threshold angle to display the front region of the VR image in the view area of the first portion according to the direction of the direction of the VR image, and more in the direction of the direction of the rear 180 degree that is difficult to observe.
  • the display 110 may be controlled to display a view area of the second portion corresponding to the rotated direction.
  • the processor 130 may set a maximum rotation radius at which the user may turn the head to rotate the HMD device according to the user input.
  • the processor 130 may receive a user input for setting a total rotatable range for viewing all ranges of the VR image, and set a maximum rotation radius according to the received command.
  • the HMD device 100 may provide the user with all the VR images within the maximum radius of rotation in consideration of the degree to which the individual head can be turned differently.
  • the processor 130 may display a view area corresponding to a direction different from a direction of the sensed HMD device 100 among the VR images in order to display all the VR images within a maximum rotation radius range set according to a user input.
  • the display 110 may be controlled.
  • the processor 130 multiplies the angle formed by the direction of the HMD device 100 by a positive multiplier greater than 1 with respect to the front of the user.
  • the display 110 may be controlled to provide an image of a viewing range toward the first portion. This can be expressed as an expression:
  • ⁇ is a positive multiplier greater than 1
  • the multiplicand ⁇ b is an angle formed by the orientation direction of the HMD device 100 sensed relative to the front
  • ⁇ a is the direction of the VR image to be displayed as the view area.
  • the multiplier ⁇ may vary according to ⁇ b .
  • the multiplier ⁇ may increase as the angle ⁇ b in the sensed directing direction increases.
  • the increase in multiplier may be continuous or intermittent.
  • the processor 130 may be implemented as an apparatus capable of processing various instructions.
  • the processor 130 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), or a digital signal processor, DSP).
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor
  • the processor 130 may perform a role of a CPU and write and read input / output signals and data in association with a ROM and a RAM.
  • the HMD device 100 may provide a more comfortable VR service to a user in viewing a VR image.
  • FIG. 3 is a block diagram showing a detailed configuration of the HMD device of FIG.
  • the HMD device 100 includes a communication unit 310, an operation unit 320, a power supply unit 330, a sensor unit 340, a motor 350, a focus control unit 360, and a storage unit 370. And a controller 380.
  • the communication unit 310 performs communication with an external device.
  • the communication unit 310 performs communication with external devices according to various communication standards.
  • the communicator 310 may support a wired or wireless communication scheme.
  • the communication unit 310 may include a USB module for wired communication with an external device, a Wi-Fi module for wireless LAN communication, a Bluetooth module and an NFC module for short range direct communication, and a GPS module for receiving a positioning satellite signal. .
  • the manipulation unit 320 may include a touch pad for sensing a user's touch manipulation and button members for physical input.
  • the power supply unit 330 supplies power for driving the HMD device 100 and may include a battery capable of charging power.
  • the sensor unit 340 may include various sensors.
  • the acceleration sensor may detect acceleration related to the direction and magnitude of the force caused by the movement of the HMD device 100.
  • the gyro sensor may detect an angular acceleration related to the rotation direction and the size of the HMD device 100.
  • Geomagnetic sensors can detect the magnetic orientation and size of the Earth.
  • the magnetic sensor senses the direction or sensitivity of the magnetic field and may be implemented as a hall element.
  • the proximity sensor detects the presence of an object at a close distance and allows the user to determine whether the HMD device 100 is being worn.
  • the gesture sensor detects movement of a user's hand, finger, and a specific object, and enables a separate input not by the manipulation unit 320.
  • the grip sensor senses the pressure exerted from the outside of the HMD device 100.
  • the biometric sensor detects a user's biosignal.
  • the biometric sensor may include at least one of a fingerprint sensor, an iris sensor, and an electrocardiogram (ECG) sensor.
  • ECG electrocardiogram
  • Motor 350 provides power to drive a cooling fan to control heat generation of the HMD device.
  • the focus adjuster 360 shifts the position of the eyepiece of the HMD device.
  • the focus controller 360 may configure the lens focus wheel 22 of the HMD device 100 of FIG. 1.
  • the storage unit 370 stores a program and data for providing a VR service.
  • the storage unit 370 may include a driving program of the HMD device, content data capable of providing a VR image, a preset rotation radius range, and an algorithm for determining a view area in proportion to an angle in a direction of the VR image. Information necessary for the operation of the can be stored.
  • the controller 380 controls each component of the HMD device 100.
  • the controller 380 may include a RAM, which is a CPU and a main memory, and a ROM in which a control program is stored.
  • FIG. 4 is a diagram for describing a method of determining an area to be displayed to a user among VR images of an HMD device according to an embodiment of the present invention.
  • the depicted head 50 represents the orientation direction 410 of the user wearing the HDM device.
  • the complete circle 420 around the head 50 represents a range of VR images with 360 degrees of omnidirectional images.
  • the arc 430 outside the circle 420 represents a range of 240 degrees of the preset rotation radius.
  • the HMD device can provide a 360 degree full range 420 of the VR image even if the orientation direction 410 of the head 50 rotates only within the 240 degree range of the arc 430.
  • the direction 410 in which the head 50 is directed is forward.
  • the HMD device displays a range of left and right 30 degrees from the direction 410 of the VR image 420 to the view area 440.
  • the directing direction 410 of the head 50 points to the right 60 degrees and the left 60 degrees.
  • the HMD device displays, as the view area 440, a 30-degree symmetrical range of the VR image 420 based on the -60 degree direction 410. That is, the HMD device displays the first portion 440 having the same size of the left image and the right image based on the -60 degree direction of the VR image 420.
  • the HMD device displays, as the view area 440, a 30-degree symmetrical range of the VR image 420 based on a +60 degree directing direction 410.
  • the HMD device displays the first portion 440 having the same size of the left image and the right image based on the +60 degree direction of the VR image 420.
  • the directing direction 410 is from -60 degrees to +60 degrees, it can be seen that the VR image can be displayed from -90 degrees and +90 degrees forward.
  • the HMD device has -60 degrees and +60 degrees to view a VR image in the 180-degree range of the front side of the user as a reference, so that the view area 440 is in a direction coinciding with the orientation direction 410.
  • the HMD device displays the view area 410 corresponding to the direction further rotated in the directing direction 410.
  • the HMD device provides a first portion in which the sizes of the left and right images are symmetric, and if the azimuth is out of ⁇ 60 degrees, the HMD device Provides a second portion having different sizes of the left and right images.
  • the heading direction 410 of the head 50 indicates -90 degrees and +90 degrees beyond +/- 60 degrees.
  • the HMD device displays a range of 15 degrees on the left side and 45 degrees on the right side of the VR image 420 as the view area 440 based on the -90 degree direction. That is, the HMD device displays the second portion 440 in which the size of the right image of the VR image 420 is larger than the size of the left image.
  • the HMD device displays a range of 15 degrees on the right side and 45 degrees on the left side of the VR image 420 as the view area 440 based on the +90 degree direction.
  • the HMD device displays the second portion 440 in which the size of the left image of the VR image 420 is larger than the size of the right image.
  • the HMD device displays a view area 440 corresponding to a direction of +/- 105 degrees that is different from the +/- 90 degrees that the directing direction 410 makes.
  • the directing direction 410 of the head 50 indicates a maximum rotational range of ⁇ 120 degrees and +120 degrees.
  • the HMD device displays the range of the right 60 degrees as the view area 440 based on ⁇ 120 degrees, which is the direction 410, of the VR image 420.
  • the HMD device displays a left 60 degree range as the view area 440 based on +120 degrees of the directing direction 410 of the VR image 420.
  • the HMD device may display all of the VR images 440 having 360 degrees in a preset range 430 of +/ ⁇ 120 degrees.
  • the HMD device has set the viewing range displayed by the view area 440 in the VR image to 60 degrees, corresponding to the front 60-degree range within which the human can perceive the object correctly.
  • the range of the view area 440 displayed on the HMD device may be determined to be wider or narrower than 60 degrees depending on the size and focal length of the display.
  • FIG. 5 is a diagram for describing a method of determining an area to be displayed to a user among VR images of an HMD device according to another embodiment of the present invention.
  • the VR image 530 having 360 degrees from -180 to +180 degrees is mapped within a range of -90 degrees to +90 degrees, which is a preset rotation radius.
  • the multiplier ⁇ is 1 in a range where the heading direction 510 of the head 50 is +/ ⁇ 45 degrees, so that the HMD device displays a view area corresponding to the direction coinciding with the heading direction 510.
  • the multiplier ⁇ is 3 in a range in which the directing direction 510 is +/- 45 degrees or more and +/- 90 degrees or less, and the HMD device is formed at an angle three times greater than the angle formed by the directing direction 510. Display the corresponding view area.
  • a multiplier greater than 1 in one critical angle is multiplied by the direction of the directing direction, but is not limited thereto, and may be implemented to multiply different multipliers at the plurality of critical angles. As the angle formed by 510 increases, the multiplier may be continuously increased.
  • FIG. 6 is a block diagram illustrating a configuration of an HMD device according to another embodiment of the present invention.
  • the HMD device 100 ′ includes a display 110, a direction sensor 120, a processor 130, and an audio interface 140.
  • the display 110 displays a view area corresponding to a specific direction among VR images for providing a VR service. Specific configuration and function of the display 110 is the same as that of the display 110 of FIG.
  • the direction sensor 120 detects a direction in which the HMD device 100 'is directed. Specific configuration and function of the direction sensor 120 is the same as that of the direction sensor 120 of FIG.
  • the audio interface 140 outputs an audio signal.
  • the audio interface 140 may be connected to a sound output device such as a speaker to output an audio signal for making a sound.
  • the audio interface 140 outputs stereoscopic sound.
  • the audio interface 140 may output a multi-channel signal for outputting different sounds at different locations for pairing based on the listener of the sound.
  • the processor 130 controls each component of the HMD device 100 'for providing a VR service. Specific configuration and function of the processor 130 is the same as that of the processor 130 of FIG.
  • the processor 130 controls the audio interface 140 to correspond to a view area corresponding to a direction different from the direction detected by the direction sensor 120 in the direction in which the sound source reproduced by the stereo sound is located.
  • the content reproduced for the VR service is multimedia content including audio and video
  • the reproduced stereo sound may reproduce a sound source having directivity in a three-dimensional virtual space corresponding to the direction of the VR image.
  • the processor 130 displays a view area corresponding to a direction different from the sensed direction to display the VR image for providing the VR service within the preset rotation radius range of the HMD device 100 '.
  • the processor 130 may control the audio interface 140 to reproduce the direction of the sound source corresponding to the direction of the displayed view area.
  • the processor 130 may be configured such that the detected direction of the HMD device 100 ′ is out of a range in which the first part is displayed based on the front of the user, and when the second part is provided, the second part may be provided.
  • the audio interface 140 may be controlled so that the position of the sound source reproduced by the stereo sound is more biased to the left or the right than the original position.
  • FIG. 7 is a diagram for describing a method of determining a position of a sound source for reproducing a stereoscopic image of an HMD device according to an embodiment of the present invention.
  • two channels of stereo sound are output from two speakers 710-1 and 710-2 on the left and right sides based on the position of the user's head 50.
  • the HMD device displays a second portion 730 in which the size of the left image is larger than the size of the right image relative to the direction 720 of the head 50.
  • the HMD device is a two-channel audio signal so that the sound source (740-1, 740-2) is reproduced at a position corresponding to the direction of the view area 730 in the two speakers (710-1, 710-2) connected to the audio interface You can output That is, the position where the sound source of the stereo sound reproduced by the intensity and time difference of the sound received in each of the two ears of the user corresponding to the direction of the second region 730 to be reproduced is located based on the directing direction 720. It is rotated further to the left (leftward) than the position to be originally reproduced.
  • FIG. 8 is a block diagram showing the configuration of an HDM device according to another embodiment of the present invention.
  • the HMD device 100 ′′ includes a display 110, a direction sensor 120, a processor 130, and a gaze sensor 150.
  • the display 110 displays a view area corresponding to a specific direction among VR images for providing a VR service. Specific configuration and function of the display 110 is the same as that of the display 110 of FIG.
  • the direction sensor 120 senses the direction that the HMD device 100 ′′ is facing. Specific configuration and function of the direction sensor 120 is the same as that of the direction sensor 120 of FIG.
  • the gaze sensor 150 detects the gaze of the user.
  • the gaze sensor 150 may detect a direction in which the user wearing the HMD device gazes in the viewing area.
  • the gaze sensor 150 may use a method of recognizing the center of the pupil from the image of both eyes.
  • the processor 130 controls each component of the HMD device 100 ′′ for providing a VR service. Specific configuration and function of the processor 130 is the same as that of the processor 130 of FIG.
  • the processor 130 displays the display 110 to display a view area corresponding to the direction further rotated from the direction detected in the direction near the end of the rotation radius. Can be controlled.
  • the processor 130 further expands the size of the image on the directional side near the end of the preset rotation radius to refer to the directing direction.
  • the display 110 may be controlled to provide a second portion having different sizes of both images.
  • the user's head 50 faces +120 degrees, which is one of both ends of the preset rotation radius 930.
  • the HMD device displays the view area 940 in a direction that matches the direction 910 of the VR image 920.
  • the HMD device confirms that the directing direction 910 remains at +120 degrees, and gradually rotates the direction in which the view area 940 is displayed.
  • the HMD device displays the view area 940 'corresponding to the rotated direction by +150 degrees.
  • the HMD device provides a second portion with a larger left image.
  • the gaze sensor 150 may be omitted.
  • the processor 130 may view a view area corresponding to a direction further rotated from the detected direction in the direction near the edge to which the gaze points.
  • the display 110 can be controlled to display.
  • the processor 130 displays the second part which enlarges the size of the image in the direction toward which the gaze is directed. ) Can be controlled.
  • FIG. 10 illustrates a view area 1010 corresponding to a sensed direction in a VR image.
  • the HMD device confirms that the user's gaze 1020 stays at the right edge of the view area 1010.
  • the HMD device gradually rotates the direction in which the view area 1010 is displayed in the right direction facing the line of sight 1020.
  • the HMD device displays the rotated view area 1010 ′ corresponding to a direction different from the sensed direction of orientation. That is, the HMD device provides a second portion having a larger size of the right image than the left image based on the directing direction.
  • the direction of orientation is located near the end of the predetermined rotation radius, and the sensed gaze is directed toward the edge of the view area, where the direction of rotation of the direction relative to the forward direction and the direction of the eye gaze in the view area is referred to. If this coincides, it is possible to display a view area corresponding to the direction further rotated from the direction of orientation.
  • the HMD device may display the entire VR image in all directions with only the user's head or gaze movement within the preset rotation range direction.
  • FIG. 11 is a flowchart illustrating a control method of an HMD device according to an embodiment of the present invention.
  • a direction of the HMD device is detected (S1110).
  • the HMD device may sense a direction in which the HMD device is rotated relative to the front on a horizontal plane by a sensor.
  • the HMD device can measure the azimuth angle on the horizontal plane that represents the sensed direction of orientation.
  • the first portion of the VR image is provided (S1120).
  • the first part has the same size of the left and right images based on the changed direction of the HMD device.
  • the second part of the VR image is provided (S1130).
  • the second part has different sizes of left and right images based on the changed direction of the HMD device. More specifically, the second part may be configured as an image in which the size of the right image is larger than the size of the left image when the direction of the HMD device is directed to the right side of the user. On the contrary, when the direction of the HMD device is directed to the left of the user based on the front of the user, the second part may be configured as an image in which the size of the left image is larger than the size of the right image.
  • the HMD device displays a partial region of the VR image based on the front as a view region corresponding to the direction corresponding to the detected orientation direction, and displays the remaining region in a direction different from the detected orientation direction. And control the display of the HMD device to display in the view area corresponding to the.
  • step S1130 is displayed to provide an image of the viewing range toward the angle multiplied by a positive multiplier greater than 1 to the angle formed by the direction of the HMD device relative to the front of the user It can be configured to control the.
  • the multiplier may vary according to the angle formed by the sensed direction based on the front.
  • control method may further comprise setting a threshold angle corresponding to a predetermined range to display the first portion symmetrical left and right in a direction corresponding to the direction of the preset rotation radius.
  • the threshold angle may be determined as the minimum angle capable of providing the first portion of a region of 180 degrees in front of the user in the entire VR image.
  • the HMD device control method may further include setting a maximum rotation radius at which the user can turn the head to rotate the HMD device according to the user's input.
  • step S1130 may set the rotation radius of the VR image.
  • the display may be controlled to display a view area corresponding to a direction different from the sensed direction direction to display all within the range.
  • the method of controlling the HMD device may further include outputting stereoscopic sound, and in this case, the HMD device may adjust the position of the sound source reproduced in stereoscopic sound in response to the second portion provided in operation S1130.
  • the second part when the HMD device detects the directing direction near the end of the preset rotation radius, the second part further enlarges the size of the image of one side, which corresponds to the direction further rotated in the direction near the end. It can be controlled to provide.
  • the method of controlling the HMD device may further include detecting a line of sight of the user wearing the HMD device.
  • the HMD device in S1130, if the line of sight of the detected user is near the edge of the viewing area, the HMD device is located near the edge. It can be controlled to provide a second portion to enlarge the image size on the side of the direction.
  • the above-described control method of the HMD device may display all VR images having a range of the set rotation radius or more at a predetermined limited rotation radius.
  • the control method of the HMD device may be implemented not only in the HMD devices of FIGS. 2, 6 and 8, but also in the display apparatus for switching the screen according to the direction of orientation.
  • control method of the HMD device may be programmed and stored in various storage media. Accordingly, the methods according to the various embodiments of the present disclosure may be implemented in various types of electronic devices that execute a storage medium.
  • a non-transitory computer readable medium may be provided in which a program for sequentially performing the operation is stored.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HMD(Head Mounted Display) 디바이스가 개시된다. VR(Virtual Reality) 영상을 제공하는 서비스를 제공하기 위한 HMD 디바이스는, 디스플레이, HMD 디바이스가 지향하는 방향을 감지하는 센서 및 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면 VR 영상 중 제1 부분을 제공하고, 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면 VR 영상 중 제2 부분을 제공하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

HMD 디바이스 및 그 제어 방법
본 개시는 HMD 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 제한된 회전 범위 내에서 VR 영상을 시청할 수 있는 HMD 디바이스 및 그 제어 방법에 관한 것이다.
최근 전자 기술의 발전에 따라 다양한 형태로 사용자에게 시각 정보를 표시하기 위한 수단으로서, 사용자의 두부에 착용 가능한 형태를 갖는 디스플레이 장치가 개발되고 있다. 이러한 두부에 착용 가능한 디스플레이 장치를 HMD 디바이스 (Head Mounted Display Device)라고 하며, 사용자의 눈앞에 화면을 표시하는 디스플레이를 통해 가상 현실(VR)의 세계를 보여주거나, 실제 외계와 함께 증강 현실(AR)의 영상을 보여준다.
종래, HMD 디바이스는 이를 착용한 사용자의 움직임에 따른 현실감 있는 영상을 표시하기 위해, 전방위의 가상 현실(VR) 영상 중 사용자의 머리의 회전된 방향과 일치하는 방향의 시역에 대응하는 뷰잉 영역을 표시하였다.
그러나, HMD 디바이스를 착용한 사용자는 외계로부터 시야가 차단되기 때문에, 안전을 위하여 앉아서 HMD 디바이스를 사용하고, 앉은 자세에서 후방의 VR 영상을 보기 위해선 허리를 돌리고 자세를 고쳐 앉아야 하는 불편이 있었다.
본 개시는 상술한 관점의 문제 인식으로부터 발명된 것으로, 본 개시의 목적은 제한된 회전 범위 내에서 VR 영상을 시청할 수 있는 HMD 디바이스 및 그 제어 방법을 제공하는 데 있다.
본 개시의 목적을 달성하기 위한 본 개시의 일 실시예에 따른 VR(Virtual Reality) 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스는, 디스플레이, 상기 HMD 디바이스가 지향하는 방향을 감지하는 센서 및 상기 VR 서비스 제공을 위한 VR 영상을 상기 HMD 디바이스의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
이 경우, 상기 센서는 전방을 기준으로 상기 HMD 디바이스가 지향하는 수평면상의 방위각을 감지하고, 상기 프로세서는, 상기 VR 영상 중 상기 감지된 방위각보다 더 큰 각도를 이루는 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 감지된 지향 방향이 전방을 기준으로 임계 각도 미만이면, 상기 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역을 표시하고, 상기 감지된 지향 방향이 상기 임계 각도 이상이면, 상기 감지된 지향 방향에서 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 임계 각도는 상기 뷰 영역을 통해 상기 VR 영상의 앞 측 180도 범위의 영역을 표시할 수 있는 최소각일 수 있다.
한편, 상기 프로세서는, 사용자 입력에 따라 고개를 돌릴 수 있는 최대 회전 반경을 설정하고, 상기 VR 영상을 상기 설정된 최대 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 기설정된 회전 반경의 끝 부근에서 상기 지향 방향이 감지되는 경우, 상기 끝 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어하는 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 센서를 더 포함하고, 상기 프로세서는, 상기 감지된 사용자의 시선이 상기 뷰 영역의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스는 입체 음향을 출력하는 오디오 인터페이스를 더 포함하고, 상기 프로세서는, 상기 입체 음향에 의해 재현되는 음원이 위치한 방향을 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역과 대응시켜 출력하도록 상기 오디오 인터페이스를 제어할 수 있다.
한편, 상기 프로세서는, 상기 VR 영상 중, 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 1보다 더 큰 양의 승수를 곱한 각을 이루는 방향의 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 승수는, 상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적일 수 있다.
한편, VR(Virtual Reality) 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스의 제어 방법은, HMD 디바이스가 지향하는 방향을 감지하는 단계 및 상기 VR 서비스 제공을 위한 VR 영상을 상기 HMD 디바이스의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 HMD 디바이스의 디스플레이를 제어하는 단계를 포함할 수 있다.
이 경우, 상기 감지하는 단계는, 전방을 기준으로 상기 HMD 디바이스가 지향하는 수평면상의 방위각을 감지하고, 상기 제어하는 단계는, 상기 VR 영상 중 상기 감지된 방위각보다 더 큰 각도를 이루는 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 제어하는 단계는, 상기 감지된 지향 방향이 전방을 기준으로 임계 각도 미만이면, 상기 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역을 표시하고, 상기 감지된 지향 방향이 상기 임계 각도 이상이면, 상기 감지된 지향 방향에서 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 임계 각도는 상기 뷰 영역을 통해 상기 VR 영상의 앞 측 180도 범위의 영역을 표시할 수 있는 최소각일 수 있다.
한편, 상기 HMD 디바이스의 제어 방법은 사용자 입력에 따라 고개를 돌릴 수 있는 최대 회전 반경을 설정하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 VR 영상을 상기 설정된 최대 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 제어하는 단계는, 상기 기설정된 회전 반경의 끝 부근에서 상기 지향 방향이 감지되는 경우, 상기 끝 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스의 제어 방법은 상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 감지된 사용자의 시선이 상기 뷰 영역의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스는 입체 음향을 출력하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 입체 음향에 의해 재현되는 음원이 위치한 방향을 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역과 대응시켜 출력하도록 상기 HMD 디바이스의 오디오 인터페이스를 제어할 수 있다.
한편, 상기 제어 방법은, 상기 VR 영상 중, 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 1보다 더 큰 양의 승수를 곱한 각을 이루는 방향의 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 승수는, 상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적일 수 있다.
이상의 다양한 실시예에 따른 HMD 디바이스 및 그 제어 방법은 다음과 같은 효과를 제공할 수 있다.
일 실시예 따르면 사용자는 제한된 고개의 가동 범위 내에서도 편하게 전방위의 VR 영상을 시청할 수 있다.
또한, 다른 실시예에 따르면, 사용자는 개인 맞춤의 회전 반경을 설정하고, 그 설정된 회전 범위 내에서 전범위의 VR 영상을 시청할 수 있다.
또한, 다른 실시예에 따르면, 사용자는 시청 중인 뷰 영역의 방향과 대응하는 현실감 있는 오디오 효과를 즐길 수 있다.
도 1a는 본 발명의 일 실시예에 따른 HMD 디바이스의 외관을 도시한 도면,
도 1b는 도 1a의 HMD 디바이스를 착용 및 이용 형태를 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도,
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면,
도 5는 본 발명의 다른 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면,
도 6은 본 발명의 다른 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도,
도 7은 본 발명의 일 실시예에 따른 HMD 디바이스의 입체 영상을 재현하기 위한 음원의 위치를 결정하는 방식을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시예에 따른 HDM 디바이스의 구성을 나타내는 블록도,
도 9 및 도 10은 본 발명의 두 실시예에 따른 HMD 디바이스의 VR 영상 중 표시할 영역을 전환하는 방식을 설명하기 위한 도면, 그리고,
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 HMD 디바이스의 외관을 도시한 도면이다.
도 1을 참조하면, HMD 디바이스는 크게 머리에 착용하기 위한 부재(10)와 눈에 밀착하여 영상을 표시하기 위한 몸체(20)의 두 부분으로 구성된다.
머리에 착용하기 위한 부재(10)는 하나 또는 복수의 스트랩(10)으로 구현될 수 있다. 스트랩(10)은 사용자의 머리를 감싸는 메인 스트랩과 사용자의 머리 윗부분을 감싸는 상단 스트랩으로 구성될 수 있다.
몸체(20)는 스트랩(10)과 연결된다. 구체적으로, 몸체(20)는 좌우 양측에 메인 스트랩이 연결되고, 상단 중앙에 상단 스트랩이 연결된다.
몸체(20)는 착용한 사용자의 눈앞에 위치한다. 그리고, 몸체(20)는 사용자의 조작을 수신하기 위한 조작부 및 영상을 표시하기 위한 디스플레이부를 포함한다. 몸체(20)는 사용자의 머리와 접촉하는 부분에 폼 쿠션(21)을 마련하여, 편안한 착용감을 제공하게 한다.
몸체(20)는 렌즈 초점 조절 휠(22), 취소 버튼(23), 터치 감지 센서(24), 음량 조절 버튼(25), 분리 버튼(26)을 포함한다.
렌즈 초점 조절 휠(22)은 사용자의 양안 각각에 대응하는 몸체(20)의 두 렌즈의 초점을 조절하는 사용자의 조작을 수신한다. 구체적으로, 렌즈 초점 조절 휠(22)은 회전시키는 사용자 조작을 수신하고, 사용자의 눈과 디스플레이 표면 사이에 위치하는 렌즈를 전진 또는 후퇴시켜, 디스플레이의 영상을 시청하기 위한 초점을 조절하기 위한 조작을 제공할 수 있다.
취소 버튼(23)은 디스플레이에 표시되는 메뉴와 같은 단계적인 화면의 전환이 이루어졌을 때, 이전 화면으로 돌아가거나 재생 중인 영상의 중지 및 메뉴로 돌아가기 위한 사용자의 조작을 수신한다. 취소 버튼(23)은 누르는 길이에 따라 상이한 기능이 실행될 수 있다. 가령, 취소 버튼(23)이 길게 눌리면 홈 화면 또는 유니버설 메뉴가 디스플레이에 표시될 수 있다.
터치 감지 센서(24)는 사용자의 터치 조작을 입력받는다. 구체적으로, 터치 감지 센서(24)는 선택 터치, 연속 두 번 터치, 방향성을 갖는 드래그 터치 등을 입력받는다.
음량 조절 버튼(25)은 출력되는 소리의 크기를 조절하는 사용자 조작을 수신한다. 음량 조절 버튼(25)은 볼륨을 올리는 버튼과 볼륨을 내리는 버튼을 포함한다.
분리 버튼(26)은 체결된 전자 기기(30)를 몸체(20)로부터 분리시키는 사용자 조작을 수신한다. 구체적으로, 분리 버튼(26)은 전기적으로 몸체(20)와 전기적으로 연결된 전자 기기(30)를 고정시키는 고정 부재를 전자 기기(30)로부터 이격시켜, 분리 가능하게 만드는 조작을 제공한다.
몸체(20)는 전자 기기(30)와 결합할 수 있다. 전자 기기(30)는 디스플레이를 포함하고, 가상 현실(VR)을 구현하기 위한 프로그램을 저장한다. 구체적으로, 전자 기기(30)는 몸체(20)와 결합된 상태에서, HMD 디바이스(100)를 착용한 사용자에게 적절하게 표시될 수 있는 화면 및 몸체(20)의 조작부를 통한 사용자의 조작에 대응하는 기능을 실행할 수 있는 프로그램을 저장할 수 있다.
몸체(20)는 전자 기기(30)와 전기적 연결을 위한 커넥터와 물리적 결합을 위한 전자 기기(30) 형상에 대응하는 고정 프레임을 포함할 수 있다. 또한, 외부로부터 충격을 방지하고 전자 기기(30)의 이탈을 방지하기 위해, 몸체(20)는 전자 기기(30)를 덮는 커버(미도시)와 더 결합할 수 있다.
전자 기기(30)는 다양한 형태의 모바일 단말이 될 수 있다. 가령, 전자 기기(30)는 스마트 폰, 태블릿 PC, PDA, PMP, 웨어러블 디바이스 등 디스플레이를 구비한 기기일 수 있다.
도 1b는 도 1a의 HMD 디바이스를 착용 및 이용 형태를 설명하기 위한 도면이다.
도 1b를 참조하면, HMD 디바이스(100)를 착용한 사용자(50)는 재생되는 VR 영상 중 일부만을 뷰 영역(60)을 통해 볼 수 있다. 여기서, 뷰 영역(60)이란, 사용자(50)의 눈 앞을 가리는 닫혀있는 공간 안에서, 사용자(50)가 디스플레이를 통해 볼 수 있는 영역을 말한다. 뷰 영역(60)은 가상 현실에서 사용자(50)의 시야범위 또는 시야 각이라 할 수 있다. 또한, 재생되는 VR 영상은 시각적으로 사용자(50)가 가상의 공간을 느낄 수 있도록 3차원 공간의 세 축 방향에 대응되는 영상을 포함한다.
도 1b(a)를 참조하면, HMD 디바이스(100)를 착용한 사용자(50)는 머리를 상하로 움직이고, 이 움직임에 따라 뷰 영역(60)을 통해 VR 영상의 위쪽과 아래쪽 부분을 볼 수 있다.
도 1b(b)를 참조하면, HMD 디바이스(100)를 착용한 사용자(50)는 머리를 좌우로 돌리고, 이 움직임에 따라 뷰 영역(60)을 통해 VR 영상의 좌측과 우측 부분을 볼 수 있다.
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도이다.
도 2를 참조하면, HMD 디바이스(100)는 디스플레이(110), 방향 센서(120) 및 프로세서(130)를 포함한다.
디스플레이(110)는 영상을 표시한다. 구체적으로, 디스플레이(110)는 VR 서비스를 제공하기 위한 VR 영상 중 일부를 뷰 영역으로 표시한다. VR 서비스는 가상 현실의 공간감을 느낄 수 있도록 사용자에게 컨텐츠를 제공하는 서비스를 말하며, VR 영상은 앞서 설명한 바와 같이 디스플레이(110)를 통해 시각적으로 사용자에게 가상의 3차원 공간 안에 있는 것처럼 느낄 수 있도록, 3차원 좌표에 대응하는 영상을 HMD 디바이스(100)로 재생한 영상을 말한다.
방향 센서(120)는 HMD 디바이스(100)가 지향하는 방향을 감지한다. 구체적으로, 방향 센서(120)는 HMD 디바이스(100)가 사용자의 움직임에 의해 돌아간 지향 방향을 감지할 수 있다. 방향 센서(120)는 가속도 센서, 중력 센서, 지자기 센서 등 다양한 센서로 구현될 수 있다. 이에 대한 보다 자세한 설명은 도 3을 참조하여 후술한다.
방향 센서(120)는 전방을 기준으로 HMD 디바이스(100)가 지향하는 수평면상의 방위각을 감지할 수 있다. 구체적으로, 방향 센서(120)는 초기 상태에서 HMD 디바이스(100)를 착용시 결정된 사용자의 정면의 시청 방향과 대응되는 HMD 디바이스(100)의 전방을 기준으로 사용자가 고개를 좌우로 돌리는 움직임에 따라 HMD 디바이스가 수평면상에서 돌아간 방위각을 감지할 수 있다.
프로세서(130)는 HMD 디바이스(100)의 각 구성을 제어한다. 구체적으로, 프로세서(130)는 VR 서비스 제공을 위한 VR 영상을 HMD 디바이스의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여 HMD 디바이스(100)의 각 구성의 기능을 제어할 수 있다.
프로세서(130)는 VR 영상 중 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어한다. 구체적으로, 프로세서(130)는 감지된 HMD 디바이스의 지향 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면, VR 영상 중 제1 부분을 제공하도록 디스플레이(110)를 제어할 수 있다. 여기서, VR 영상의 제1 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 동일한 사이즈이다. 즉, 디스플레이(110)를 통해 제공되는 제1 부분은 VR 영상 중 HMD 디바이스(100)가 일정 범위 내에서 방향을 전환하는 동안 표시되는 영역이며, 지향 방향과 일치하는 방향으로 좌측과 우측이 대칭인 시야범위에 해당하는 영역이다.
그리고, 프로세서(130)는 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면 VR 영상 중 제2 부분을 제공하도록 디스플레이(110)를 제어할 수 있다. 여기서, VR 영상의 제2 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 상이한 사이즈이다. 즉, 디스플레이(110)를 통해 제공되는 제2 부분은 VR 영상 중 HMD 디바이스(100)가 일정 범위를 벗어난 나머지 범위에서 방향을 전환하는 동안 표시되는 영역이며, 지향 방향에서 좌측 또는 우측으로 틀어진 방향의 시야범위에 해당하는 영역이다.
다르게 말하면, 프로세서(130)는 재생하고 있는 VR 영상 중 적어도 일부분에서 방향 센서(120)에서 감지된 HMD 디바이스의 지향 방향과 일치하지 않는 방향에 대응하는 영역을 뷰 영역으로 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, HMD 디바이스(100)는 VR 영상에 논리적으로 존재하는 가상의 공간의 방향과 HMD 디바이스(100)의 지향 방향을 일치시키지 아니하고 VR 영상을 표시할 수 있다.
한편, 위 VR 영상의 제2 부분은, 사용자의 전방을 기준으로 상기 HMD 디바이스(100)가 지향하는 방향이 오른쪽이면, 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 영상으로 구성되고, HMD 디바이스(100)가 지향하는 방향이 왼쪽이면, 상기 좌측 영상의 사이즈가 상기 우측 영상의 사이즈보다 더 큰 영상으로 구성될 수 있다. 즉, 제2 부분은, HMD 디바이스가 일정 범위를 벗어난 범위를 지향하도록 변경된 경우에 표시되는, 전방을 기준으로 HMD 디바이스(100)가 회전한 방향으로 더 틀어진 방향의 시야범위에 해당하는 영역의 영상일 수 있다.
즉, 프로세서(130)는 VR 영상 중 감지된 방위각보다 더 큰 각도를 이루는 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 이에 따르면, 프로세서(130)는 사용자가 고개를 돌려서 HMD 디바이스(100)가 돌아간 방향보다 더 돌아간 방향의 VR 영상의 영역을 뷰 영역으로 표시하도록 디스플레이(110)를 제어할 수 있다.
한편, 프로세서(130)는 HMD 디바이스(100)의 회전 및 일정 범위를 결정하는데 기준이 되는 방향을 설정할 수 있다. 통상, 기준이 되는 방향은 사용자의 머리가 정면을 향하는 방향이 될 것이다. 프로세서(130)는 사용자가 바른 자세로 정면을 향하도록 유도한 뒤, 초기 상태의 HMD 디바이스(100)의 방향을 기준이 되는 전방으로 설정할 수 있다. 이를 위해 HMD 디바이스(100)는 추가적으로 회전에 대한 캘리브레이션을 수행할 수 있다.
일 실시예에서, 프로세서(130)는 사용자의 전방을 기준으로 일정 범위에 대응하는 임계 각도를 설정할 수 있다. 임계 각도는 전방을 기준으로 제1 부분이 표시되는 범위 및 제2 부분이 표시되는 범위 간 경계의 각도이다. 즉, 임계 각도는 일정 범위의 양 끝의 각이다.
그리고, 프로세서(130)는 사용자의 전방 방향으로부터 HMD 디바이스(100)가 지향하는 방향까지의 방위각을 판단할 수 있다. 방위각은 기준이 되는 전방 방향으로부터 HMD 디바이스(100)의 지향 방향까지 회전한 각도이다.
프로세서(130)는 판단된 방위각의 크기와 설정된 임계 각도를 비교하여 그 결과에 따라 제1 부분 또는 제2 부분을 제공하도록 디스플레이(110)를 제어할 수 있다. 즉, 프로세서(130)는 감지된 지향 방향이 전방을 기준으로 임계 각도 미만이면, 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역을 표시하고, 감지된 지향 방향이 임계 각도 이상이면, 감지된 지향 방향에서 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 전체 기설정된 회전 반경 중 소정의 일부 반경 내에서 HMD 디바이스(100)가 지향되면, 그 지향된 방향에 대응되는 뷰 영역을 표시하고, 소정의 일부 반경을 벗어나 HMD 디바이스(100)가 지향되면, 그 지향된 방향의 회전 각도보다 더 진행된 각도의 방향에 대응하는 뷰 영역을 표시할 수 있다.
여기서, 임계 각도는 제1 부분으로 상기 VR 영상 중 사용자의 전방 측 180도 범위의 영역을 제공할 수 있는 최소각일 수 있다. 즉, 임계 각도는 뷰 영역의 시야범위로, VR 영상의 앞 측 180도 범위의 영역이 모두 표시할 수 있는 일정 범위의 양 끝의 각도일 수 있다. 즉, 프로세서(130)는 VR 영상의 전방 180도 범위에 대해서는 지향 방향에 따라 제1 부분의 뷰 영역으로 표시할 수 있도록 임계 각도를 설정하고, 관측이 어려운 후방 180도 범위에 대해서는 지향 방향에서 더 회전된 방향에 대응하는 제2 부분의 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다.
한편, 프로세서(130)는 사용자 입력에 따라 사용자가 고개를 돌려서 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정할 수 있다. 구체적으로, 프로세서(130)는 VR 영상의 모든 범위를 볼 수 있는 총 회전 가능 범위를 설정하는 사용자 입력을 수신하고, 수신된 명령에 따라 최대 회전 반경을 설정할 수 있다. 이 실시예에 따르면, HMD 디바이스(100)는 개개인마다 상이한 고개를 돌릴 수 있는 정도를 고려하여 최대 회전 반경 범위 내에서 모든 VR 영상을 사용자에게 제공할 수 있다.
그리고, 프로세서(130)는 VR 영상을 사용자 입력에 따라 설정된 최대 회전 반경 범위 내에서 모두 표시하기 위하여, VR 영상 중 감지된 HMD 디바이스(100)의 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다.
VR 영상 중 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시함에 있어서, 프로세서(130)는 사용자의 전방을 기준으로 HMD 디바이스(100)의 지향 방향이 이루는 각도에 1보다 큰 양의 승수로 곱한 각도를 향하는 시야 범위의 영상을 상기 제1 부분으로 제공하도록 디스플레이(110)를 제어할 수 있다. 이를 수식으로 표현하면 다음과 같다.
수학식 1
Figure PCTKR2016013497-appb-M000001
여기서, α는 1보다 큰 양의 승수이고, 피승수 θb는 전방을 기준으로 감지된 HMD 디바이스(100)의 지향 방향이 이루는 각도, 그리고, θa는 뷰 영역으로 표시될 VR 영상의 방향이다.
여기서 승수 α는 θb에 따라 가변할 수 있다. 가령, 승수 α는 감지된 지향 방향의 각도θb가 증가할수록 증가할 수 있다. 여기서, 승수의 증가는 연속적이거나 단속적일 수 있다.
프로세서(130)는 다양한 명령어의 처리를 수행할 수 있는 장치로 구현될 수 있다. 가령, 프로세서(130)는 주문형 집적회로(application specific integrated circuit, ASIC), 임베디드 프로세서, 마이크로프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware finite state machine, FSM) 또는 디지털 신호 프로세서(digital signal processor, DSP) 로 구현될 수 있다. 프로세서(130)는 CPU의 역할을 수행하고 ROM 및 RAM과 연동하여 입출력 신호 및 데이터를 쓰고 읽을 수 있다.
이상과 같은 HMD 디바이스(100)는 VR 영상을 감상함에 있어서, 사용자에게 보다 편안한 VR 서비스를 제공할 수 있다.
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블록도이다.
도 3을 참조하면, HMD 디바이스(100)는 통신부(310), 조작부(320), 전원부(330), 센서부(340), 모터(350), 초점 조절부(360), 저장부(370) 및 제어부(380)를 포함한다.
통신부(310)는 외부 기기와의 통신을 수행한다. 구체적으로, 통신부(310)는 다양한 통신 규격에 따라 외부 기기와 통신을 수행한다. 통신부(310)는 유무선 통신 방식을 지원할 수 있다. 통신부(310)는 외부 기기와 유선 통신을 위한 USB 모듈, 무선 랜 통신을 위한 와이파이 모듈, 근거리 직접 통신을 위한 블루투스 모듈 및 NFC 모듈, 및 측위용 위성 신호를 수신하기 위한 GPS 모듈을 포함할 수 있다.
조작부(320)는 사용자의 터치 조작을 감지하기 위한 터치 패드 및 물리 입력을 위한 버튼 부재들을 포함할 수 있다.
전원부(330)는 HMD 디바이스(100)의 구동을 위한 전원을 공급하며, 전력을 충전 가능한 배터리를 포함할 수 있다.
센서부(340)는 다양한 센서들을 포함할 수 있다. 가속도 센서는 HMD 디바이스(100)의 움직임에 의한 힘의 방향 및 크기와 관련된 가속도를 감지할 수 있다. 자이로 센서는 HMD 디바이스(100)의 회전 방향 및 크기와 관련된 각가속도를 감지할 수 있다. 지자계 센서는 지구의 자기 방향 및 크기를 감지할 수 있다. 마그네틱 센서는 자계의 방향이나 감도를 감지하며 홀 소자로 구현될 수 있다. 근접 센서는 근접한 거리의 물체의 존재를 감지하며, 사용자가 HMD 디바이스(100)를 착용 중인지 여부를 판단할 수 있게 한다. 제스처 센서는 사용자의 손, 손가락 및 특정 물체의 움직임을 감지하여, 조작부(320)에 의하지 않는 별도의 입력을 가능케 한다. 그립 센서는 HMD 디바이스(100)의 외부로부터 가해지는 압력을 감지한다. 생체 센서는 사용자의 생체 신호를 감지한다. 가령, 생체 센서는 지문 센서, 홍채 센서, ECG(electrocardiogram) 센서 중 적어도 하나를 포함할 수 있다.
모터(350)는 HMD 디바이스의 발열을 제어하기 위한 냉각 팬을 구동시키는 동력을 제공한다.
초점 조절부(360)는 HMD 디바이스의 접안 렌즈의 위치를 이동시킨다. 초점 조절부(360)는 도 1의 HMD 디바이스(100)의 렌즈 초점 조절 휠(22)을 구성할 수 있다.
저장부(370)는 VR 서비스를 제공하기 위한 프로그램 및 데이터를 저장한다. 구체적으로, 저장부(370)는 HMD 디바이스의 구동 프로그램, VR 영상을 제공할 수 있는 컨텐츠 데이터, 기설정된 회전 반경 범위, VR 영상 중 지향 방향의 각도에 비례하여 뷰 영역을 결정하는 알고리즘 등 HMD 디바이스의 동작에 필요한 정보들을 저장할 수 있다.
제어부(380)는 HMD 디바이스(100)의 각 구성을 제어한다. 제어부(380)는 CPU 및 주기억장치인 RAM과 제어 프로그램이 저장된 ROM을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면이다.
도 4를 참조함에 있어서, 도시된 머리(50)는 HDM 디바이스를 착용한 사용자의 지향 방향(410)을 나타낸다. 그리고, 머리(50) 주위의 완전한 원(420)은 360도의 전방위 영상을 갖는 VR 영상의 범위를 나타낸다. 그리고, 원(420) 밖의 호(430)는 기설정된 회전 반경의 범위 240도를 나타낸다. 이 예시에서 HMD 디바이스는 머리(50)의 지향 방향(410)이 호(430)의 240도 범위 내에서만 회전하더라도 VR 영상의 360도 전 범위(420)를 제공할 수 있다.
도 4a를 참조하면, 머리(50)가 지향하는 방향(410)은 전방이다. 전방을 향했을 때, HMD 디바이스는 VR 영상(420) 중 지향 방향(410)으로부터 좌우 30도의 범위를 뷰 영역(440)으로 표시한다.
도 4b를 참조하면, 머리(50)의 지향 방향(410)은 우측 60도 및 좌측 60도를 가리킨다. 도 4b(a)를 참조하면, HMD 디바이스는 VR 영상(420) 중 -60도의 지향 방향(410)을 기준으로 좌우 30도 대칭인 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 -60도의 방향을 기준으로 좌측 영상과 우측 영상의 사이즈가 동일한 제1 부분(440)을 표시한다. 또한, 도 4b(b)를 참조하면, HMD 디바이스는 VR 영상(420) 중 +60도의 지향 방향(410)을 기준으로 좌우 30도 대칭인 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 +60도의 방향을 기준으로 좌측 영상과 우측 영상의 사이즈가 동일한 제1 부분(440)을 표시한다. 여기서, 우리는 지향 방향(410)이 -60도 에서 +60도인 경우, 전방 -90도 및 +90도까지 VR 영상을 표시할 수 있는 것을 확인할 수 있다.
일 실시예에서, HMD 디바이스는 기준이 되는 사용자의 전방 측 180도 범위의 VR 영상을 볼 수 있는 -60도 및 +60도를, 지향 방향(410)과 일치하는 방향으로 뷰 영역(440)이 표시되는, 임계 각도로 설정한다. 그리고, HMD 디바이스는 지향 방향(410)이 이루는 각도가 임계 각도를 넘어서는 경우, 지향 방향(410)에서 더 회전된 방향에 대응하는 뷰 영역(410)을 표시한다. 즉, HMD 디바이스가 지향하는 방향의 방위각이 임계 각도 ±60도 이내에 속하는 경우, HMD 디바이스는 좌측 및 우측 영상의 사이즈가 대칭인 제1 부분을 제공하고, 방위각이 ±60도를 벗어나는 경우, HMD 디바이스는 좌측 및 우측 영상의 사이즈가 상이한 제2 부분을 제공한다.
도 4c를 참조하면, 머리(50)의 지향 방향(410)은 +/- 60도를 넘어 -90도와 +90도를 가리킨다. 도 4c(a)를 참조하면, HMD 디바이스는 VR 영상(420) 중 -90도의 지향 방향을 기준으로 좌측이 15도 우측이 45도의 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 제2 부분(440)을 표시한다. 또한, 도 4c(b)를 참조하면, HMD 디바이스는 VR 영상(420) 중 +90도의 지향 방향을 기준으로 우측이 15도 좌측이 45도의 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 제2 부분(440)을 표시한다. 이 예시에서, HMD 디바이스는 지향 방향(410)이 이루는 +/- 90도와 상이한 +/- 105도의 방향에 대응하는 뷰 영역(440)을 표시한다.
도 4d를 참조하면, 머리(50)의 지향 방향(410)은 최대 회전 범위인 -120도와 +120도를 가리킨다. 도 4d(a)를 참조하면, HMD 디바이스는 VR 영상(420) 중 지향 방향(410)인 -120도를 기준으로 우측 60도의 범위를 뷰 영역(440)으로 표시한다. 또한, 도 4d(b)를 참조하면, HMD 디바이스는 VR 영상(420) 중 지향 방향(410)인 +120도를 기준으로 좌측 60도의 범위를 뷰 영역(440)으로 표시한다. 이상과 같이, HMD 디바이스는 기설정된 +/- 120도의 범위(430) 내에서 360도의 전방위를 갖는 VR 영상(440)을 모두 표시할 수 있다.
이상의 예시에 HMD 디바이스는, 사람의 양안 시야 범위 중에서 사람이 사물을 올바르게 인지할 수 있는 전방 60도의 범위에 대응하여, VR 영상 중 뷰 영역(440)으로 표시되는 시야 범위를 60도로 정하였다. 그러나, 이는 일 예에 불과하고 HMD 디바이스에 표시되는 뷰 영역(440)의 범위는 디스플레이의 크기 및 초점 거리에 따라 60도 보다 더 넓거나 더 좁게 결정될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면이다.
도 5를 참조하면, -180도에서 +180도까지 360도의 전방위를 갖는 VR 영상(530)은 기설정된 회전 반경인 -90도 내지 +90도의 범위 내에 매핑되어 있다. 머리(50)의 지향 방향(510)이 +/-45도인 범위에서 승수(α)는 1로서, HMD 디바이스는 지향 방향(510)과 일치하는 방향에 대응하는 뷰 영역을 표시한다. 그리고, 지향 방향(510)이 +/-45도 이상 +/-90도 이하인 범위에서 승수(α)는 3로서, HMD 디바이스는 지향 방향(510)이 이루는 각보다 3배의 각을 이루는 방향에 대응하는 뷰 영역을 표시한다.
도 5의 실시예에서는 하나의 임계 각도에서 1보다 더 큰 승수가 지향 방향의 각도에 곱해지는 것으로 설명하였지만 이에 한정되지 아니하며, 복수의 임계 각도에서 상이한 승수가 곱해지도록 구현될 수 있고, 지향 방향(510)이 이루는 각도가 증가함에 따라 승수가 연속적으로 증가하도록 구현될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도이다.
도 6을 참조하면, HMD 디바이스(100')는 디스플레이(110), 방향 센서(120), 프로세서(130) 및 오디오 인터페이스(140)를 포함한다.
디스플레이(110)는 VR 서비스를 제공하기 위한 VR 영상 중 특정 방향에 대응하는 뷰 영역을 표시한다. 디스플레이(110)의 구체적인 구성 및 기능은 도 2의 디스플레이(110)의 그것과 동일한바 중복 설명은 생략한다.
방향 센서(120)는 HMD 디바이스(100')가 지향하는 방향을 감지한다. 방향 센서(120)의 구체적인 구성 및 기능은 도 2의 방향 센서(120)의 그것과 동일한바 중복 설명은 생략한다.
오디오 인터페이스(140)는 오디오 신호를 출력한다. 구체적으로 오디오 인터페이스(140)는 스피커와 같은 음향 출력 장치와 연결되어 소리를 내기 위한 오디오 신호를 출력할 수 있다.
오디오 인터페이스(140)는 입체 음향을 출력한다. 구체적으로, 오디오 인터페이스(140)는 음향의 청취자를 기준으로 쌍이 효과(binaural)를 위하여 상이한 위치에서 서로 다른 소리를 출력하기 위한 다중 채널 신호를 출력할 수 있다.
프로세서(130)는 VR 서비스를 제공하기 위한 HMD 디바이스(100')의 각 구성을 제어한다. 프로세서(130)의 구체적인 구성 및 기능은 도 2의 프로세서(130)의 그것과 동일한바 중복 설명은 생략한다.
프로세서(130)는 입체 음향에 의해 재현되는 음원이 위치한 방향을 방향 센서(120)에 의해 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역과 대응시켜 출력하도록 오디오 인터페이스(140)를 제어한다. 구체적으로, VR 서비스를 위해 재생되는 컨텐츠는 오디오 및 비디오를 포함하는 멀티 미디어 컨텐츠이고, 재생되는 스테레오 음향은 VR 영상의 방향과 대응하여 3차원 가상 공간에 방향성을 갖는 음원을 재현할 수 있다. 프로세서(130)는 VR 서비스 제공을 위한 VR 영상을 상기 HMD 디바이스(100')의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시한다. 그리고, 프로세서(130)는 표시된 뷰 영역의 방향에 대응하여 음원의 방향이 재현되도록 오디오 인터페이스(140)를 제어할 수 있다.
즉, 프로세서(130)는 감지된 HMD 디바이스(100')의 지향 방향이 사용자의 전방을 기준으로 제1 부분이 표시되는 일정 범위를 벗어나, 제2 부분이 제공되는 경우, 제공되는 제2 부분과 대응되도록 입체 음향에 의해 재현되는 음원의 위치를 원래 위치보다 좌측 또는 우측으로 더 편향되도록 오디오 인터페이스(140)를 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 HMD 디바이스의 입체 영상을 재현하기 위한 음원의 위치를 결정하는 방식을 설명하기 위한 도면이다.
도 7을 참조하면, 사용자의 머리(50)의 위치를 기준으로 좌측 및 우측의 두 스피커(710-1, 710-2)에서 2 채널의 스테레오 음향이 출력된다
HMD 디바이스는 머리(50)의 지향 방향(720)을 기준으로 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 제2 부분(730)을 표시한다. 그리고, HMD 디바이스는 오디오 인터페이스에 연결된 두 스피커(710-1, 710-2)에서 뷰 영역(730)의 방향과 대응하는 위치에서 음원(740-1, 740-2)이 재현되도록 2채널 오디오 신호를 출력할 수 있다. 즉, 재생되는 제2 영역(730)의 방향에 대응하여 사용자의 두 귀 각각에 수신되는 소리의 세기와 시간차에 의해 재현되는 입체 음향의 음원이 자리하는 위치는, 지향 방향(720)을 기준으로 원래 재현될 위치보다, 더 좌측으로 회전(좌편향)된다.
도 8은 본 발명의 다른 실시예에 따른 HDM 디바이스의 구성을 나타내는 블록도이다.
도 8을 참조하면, HMD 디바이스(100'')는 디스플레이(110), 방향 센서(120), 프로세서(130) 및 시선 센서(150)를 포함한다.
디스플레이(110)는 VR 서비스를 제공하기 위한 VR 영상 중 특정 방향에 대응하는 뷰 영역을 표시한다. 디스플레이(110)의 구체적인 구성 및 기능은 도 2의 디스플레이(110)의 그것과 동일한바 중복 설명은 생략한다.
방향 센서(120)는 HMD 디바이스(100'')가 지향하는 방향을 감지한다. 방향 센서(120)의 구체적인 구성 및 기능은 도 2의 방향 센서(120)의 그것과 동일한바 중복 설명은 생략한다.
시선 센서(150)는 사용자의 시선을 감지한다. 구체적으로, 시선 센서(150)는 HMD 디바이스를 착용한 사용자가 뷰 영역에서 주시하는 방향을 감지할 수 있다. 시선 센서(150)는 양안을 촬영한 이미지로부터 눈동자의 중심을 인식하는 방식이 사용될 수 있다.
프로세서(130)는 VR 서비스를 제공하기 위한 HMD 디바이스(100'')의 각 구성을 제어한다. 프로세서(130)의 구체적인 구성 및 기능은 도 2의 프로세서(130)의 그것과 동일한바 중복 설명은 생략한다.
프로세서(130)는 기설정된 회전 반경의 끝 부근에서 지향 방향이 감지되는 경우, 회전 반경의 끝 부근의 방향으로 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 기설정된 회전 반경 범위의 끝 부근에서 HMD 디바이스(100'')가 지향되고 있는 경우, 지향하는 그 끝 부근의 방향 측의 영상의 사이즈를 더 확대시켜 지향 방향을 기준으로 양측 영상의 사이즈가 상이한 제2 부분이 제공되도록 디스플레이(110)를 제어할 수 있다.
도 9를 참조하면, 사용자의 머리(50)는 기설정된 회전 반경(930)의 양 끝 중 하나인 +120도를 향하고 있다. HMD 디바이스는 VR 영상(920) 중 지향 방향(910)과 일치하는 방향으로 뷰 영역(940)을 표시한다. 그리고, HMD 디바이스는 지향 방향(910)이 +120도에 머물러 있는 것을 확인하고, 뷰 영역(940)이 표시되는 방향을 점차 회전시킨다. HMD 디바이스는 +150도까지 회전된 방향에 대응하는 뷰 영역(940')을 표시한다. 즉, HMD 디바이스는 좌측 영상이 더 큰 제2 부분을 제공한다. 이 실시예에 의할 경우, 시선 센서(150)는 생략될 수 있다.
또 다른 실시예에 따르면, 프로세서(130)는 감지된 사용자의 시선이 뷰 영역의 가장자리 부근을 향하는 경우, 시선이 향하는 가장자리 부근의 방향으로 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 감지된 사용자의 시선이 디스플레이에 제공되고 있는 영상의 가장자리 부근을 주시하고 있는 경우, 시선이 향하는 방향 쪽의 영상의 사이즈를 확대한 제2 부분이 제공되도록 디스플레이(110)를 제어할 수 있다.
도 10은 VR 영상 중 감지된 지향 방향에 대응하는 뷰 영역(1010)을 나타낸다. HMD 디바이스는 사용자의 시선(1020)이 뷰 영역(1010)의 우측 가장자리에 머무는 것을 확인한다. HMD 디바이스는 시선(1020)이 향하는 우측 방향으로 뷰 영역(1010)이 표시되는 방향을 점차 회전시킨다. HMD 디바이스는 감지된 지향 방향과 상이한 방향에 대응하는 회전된 뷰 영역(1010')을 표시한다. 즉, HMD 디바이스는 지향 방향을 기준으로 좌측 영상보다 우측 영상의 사이즈가 더 큰 제2 부분을 제공한다.
한편, HMD 디바이스는 지향 방향이 기설정된 회전 반경의 끝 부근에 위치하고 감지된 시선이 뷰 영역의 가장자리를 향하고, 여기서 전방을 기준으로, 지향 방향으로 회전된 방향과 뷰 영역에서 시선이 향하는 가장자리의 방향이 일치하는 경우에, 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시할 수 있다.
이상과 같은 HMD 디바이스는 기설정된 회전 범위 방향 내에서 사용자의 고개나 시선의 움직임만으로 전방위의 VR 영상 전체를 표시할 수 있다.
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, VR 영상을 제공하는 서비스를 제공하기 위한 HMD 디바이스의 제어 방법은 먼저, HMD 디바이스가 지향하는 방향을 감지한다(S1110). 구체적으로, HMD 디바이스는 센서에 의해 HMD 디바이스가 수평면상에서, 전방을 기준으로 회전한 지향 방향을 감지할 수 있다. HMD 디바이스는 감지된 지향 방향을 나타내는 수평면상의 방위각을 측정할 수 있다.
다음으로, 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면, VR 영상 중 제1 부분을 제공한다(S1120). 여기서, 제1 부분은 변경된 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측 영상의 사이즈가 동일하다.
그리고, 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, VR 영상 중 제2 부분을 제공한다(S1130). 여기서, 제2 부분은 변경된 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측 영상의 사이즈가 상이하다. 더 구체적으로는, 제2 부분은 사용자의 전방을 기준으로 HMD 디바이스가 지향하는 방향이 일정 범위 밖의 오른쪽이면, 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 영상으로 구성될 수 있다. 반대로, 사용자의 전방을 기준으로 HMD 디바이스가 지향하는 방향이 일정 범위 밖의 왼쪽이면, 제2 부분은 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 영상으로 구성될 수 있다.
즉, S1120 단계 및 S1130 단계에서, HMD 디바이스는 VR 영상 중 전방을 기준으로 하는 일부 영역을 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역으로 표시하고, 나머지 영역을 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역으로 표시하도록 HMD 디바이스의 디스플레이를 제어하도록 구성될 수 있다.
한편, VR 영상 중 제2 부분을 제공하기 위하여, S1130 단계는 사용자의 전방을 기준으로 HMD 디바이스의 지향 방향이 이루는 각도에 1보다 큰 양의 승수를 곱한 각도를 향하는 시야 범위의 영상을 제공하도록 디스플레이를 제어하는 단계를 구성할 수 있다. 여기서, 승수는 전방을 기준으로 감지된 지향 방향이 이루는 각도에 따라 가변적일 수 있다.
한편, 위 제어하는 방법은, 기설정된 회전 반경 중 지향 방향과 일치하는 방향으로 좌우가 대칭인 제1 부분을 표시할 일정 범위에 대응하는 임계 각도를 설정하는 단계를 더 포함할 수 있다. 여기서, 임계 각도는 전체 VR 영상 중 사용자 전방 측 180도 범위의 영역을 제1 부분으로 제공할 수 있는 최소각으로 결정될 수 있다.
또한, HMD 디바이스 제어 방법에는 사용자의 입력에 따라 사용자가 고개를 돌려 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정하는 단계를 더 포함할 수 있으며, 이 경우, 단계 S1130 는 VR 영상을 설정된 회전 반경 범위 내에 모두 표시하도록 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 디스플레이를 제어할 수 있다.
HMD 디바이스의 제어 방법은 입체 음향을 출력하는 단계를 더 포함할 수 있고, 이 경우, HMD 디바이스는 S1130 단계에서 제공되는 제2 부분에 대응하여, 입체 음향으로 재현되는 음원의 위치를 조절할 수 있다.
한편, 일 실시예에서 HMD 디바이스는 기설정된 회전 반경의 끝 부근에서 지향 방향이 감지되는 경우, 끝 부근의 방향으로 더 회전된 방향에 대응하는, 일 측의 영상의 사이즈를 더 확대한 제2 부분을 제공하도록 제어될 수 있다.
HMD 디바이스의 제어 방법은 HMD 디바이스를 착용한 사용자의 시선을 감지하는 단계를 더 포함할 수 있으며, 이 경우, S1130에서 HMD 디바이스는 감지된 사용자의 시선이 뷰 영역의 가장자리 부근을 향하는 경우, 가장자리 부근의 방향 측의 영상 사이즈를 확대한 제2 부분을 제공하도록 제어될 수 있다.
이상 설시한 HMD 디바이스의 제어 방법은 기설정된 제한적인 회전 반경에서, 설정된 회전 반경 이상의 범위를 갖는 VR 영상을 모두 표시시킬 수 있다. 또한, HMD 디바이스의 제어 방법은 도 2, 도 6 및 도 8 각각의 HMD 디바이스뿐만 아니라, 지향 방향에 따라 화면을 전환하는 디스플레이 장치에 구현될 수 있다.
한편, 이러한 다양한 실시 예에 따른 HMD 디바이스의 제어 방법은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, HMD 디바이스가 지향하는 방향을 감지하는 단계 및 VR 영상 중 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 HMD 디바이스의 디스플레이를 제어하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
-
-

Claims (15)

  1. VR(Virtual Reality) 영상을 제공하는 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스에 있어서,
    디스플레이;
    상기 HMD 디바이스가 지향하는 방향을 감지하는 센서; 및
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면 상기 VR 영상 중 제1 부분을 제공하고, 상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면 상기 VR 영상 중 제2 부분을 제공하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
    상기 VR 영상의 제1 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 동일한 사이즈이고, 상기 VR 영상의 제2 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 상이한 사이즈인, HMD 디바이스.
  2. 제1항에 있어서,
    상기 VR 영상의 제2 부분은,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 오른쪽이면, 상기 우측 영상의 사이즈가 상기 좌측 영상의 사이즈보다 더 큰 영상으로 구성되고,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 왼쪽이면, 상기 좌측 영상의 사이즈가 상기 우측 영상의 사이즈보다 더 큰 영상으로 구성되는, HMD 디바이스.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 전방을 기준으로 상기 일정 범위에 대응하는 임계 각도를 설정하고,
    사용자의 전방 방향으로부터 상기 HMD 디바이스가 지향하는 방향까지의 방위각을 판단하고,
    상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경 내에서 변경되면 상기 제1 부분을 제공하고,
    상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경을 벗어나도록 변경되면 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는 HMD 디바이스.
  4. 제3항에 있어서,
    상기 임계 각도는 상기 제1 부분으로 상기 VR 영상 중 상기 사용자의 전방 측 180도 범위의 영역을 제공할 수 있는 최소각인, HMD 디바이스.
  5. 제1항에 있어서,
    상기 프로세서는,
    사용자 입력에 따라 사용자가 고개를 돌려 상기 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정하고,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, 상기 VR 영상이 상기 설정된 최대 회전 반경 범위 내에서 상기 디스플레이에 모두 제공될 수 있도록, 상기 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측이 서로 상이한 영상의 사이즈를 갖는 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  6. 제1항에 있어서,
    상기 프로세서는,
    기설정된 회전 반경의 끝 부근에서 상기 HMD 디바이스의 지향 방향이 감지되는 경우, 상기 끝 부근의 방향 측의 영상의 사이즈를 더 확대한 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  7. 제1항에 있어서,
    상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 센서;를 더 포함하고,
    상기 프로세서는,
    상기 감지된 사용자의 시선이 상기 디스플레이에 제공되는 영상의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향 측의 영상의 사이즈를 확대한 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  8. 제1항에 있어서,
    입체 음향을 출력하는 오디오 인터페이스;를 더 포함하고,
    상기 프로세서는,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 상기 일정 범위를 벗어나도록 변경되면, 상기 디스플레이에서 제공되는 상기 제2 부분과 대응되도록, 상기 입체 음향에 의해 재현되는 음원의 위치가 좌측 및 우측 중 어느 한 측으로 편향되도록 상기 오디오 인터페이스를 제어하는, HMD 디바이스.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스의 지향 방향이 이루는 각도에 1보다 큰 양의 승수로 곱한 각도를 향하는 시야 범위의 영상을 상기 제2 부분으로 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  10. 제9항에 있어서,
    상기 승수는,
    상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적인, HMD 디바이스.
  11. VR(Virtual Reality) 영상을 제공하는 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스의 제어 방법에 있어서,
    HMD 디바이스가 지향하는 방향을 감지하는 단계; 및
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면 상기 VR 영상 중 제1 부분을 제공하고, 상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면 상기 VR 영상 중 제2 부분을 제공하도록 상기 HMD 디바이스의 디스플레이를 제어하는 단계; 를 포함하고,
    상기 VR 영상의 제1 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 동일한 사이즈이고, 상기 VR 영상의 제2 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 상이한 사이즈인, 제어 방법.
  12. 제11항에 있어서,
    상기 VR 영상의 제2 부분은,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 오른쪽이면, 상기 우측 영상의 사이즈가 상기 좌측 영상의 사이즈보다 더 큰 영상으로 구성되고,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 왼쪽이면, 상기 좌측 영상의 사이즈가 상기 우측 영상의 사이즈보다 더 큰 영상으로 구성되는, 제어 방법.
  13. 제11항에 있어서,
    상기 제어하는 단계는,
    상기 사용자의 전방을 기준으로 상기 일정 범위에 대응하는 임계 각도를 설정하는 단계;
    사용자의 전방 방향으로부터 상기 HMD 디바이스가 지향하는 방향까지의 방위각을 판단하는 단계; 및
    상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경 내에서 변경되면 상기 제1 부분을 제공하고, 상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경을 벗어나도록 변경되면 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는 단계;를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 임계 각도는 상기 제1 부분으로 상기 VR 영상 중 상기 사용자의 전방 측 180도 범위의 영역을 제공할 수 있는 최소각인, 제어 방법.
  15. 제11항에 있어서,
    사용자 입력에 따라 사용자가 고개를 돌려 상기 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정하는 단계;를 더 포함하고,
    상기 제어하는 단계는,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, 상기 VR 영상이 상기 설정된 최대 회전 반경 범위 내에서 상기 디스플레이에 모두 제공될 수 있도록, 상기 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측이 서로 상이한 영상의 사이즈를 갖는 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, 제어 방법.
PCT/KR2016/013497 2016-01-22 2016-11-22 Hmd 디바이스 및 그 제어 방법 WO2017126797A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16886640.8A EP3376278B1 (en) 2016-01-22 2016-11-22 Hmd device and control method therefor
US16/062,402 US10845869B2 (en) 2016-01-22 2016-11-22 HMD device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0008202 2016-01-22
KR1020160008202A KR102524641B1 (ko) 2016-01-22 2016-01-22 Hmd 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2017126797A1 true WO2017126797A1 (ko) 2017-07-27

Family

ID=59361894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013497 WO2017126797A1 (ko) 2016-01-22 2016-11-22 Hmd 디바이스 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10845869B2 (ko)
EP (1) EP3376278B1 (ko)
KR (1) KR102524641B1 (ko)
WO (1) WO2017126797A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR102005744B1 (ko) 2017-11-24 2019-07-31 (주)텔리언 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스
US11188144B2 (en) * 2018-01-05 2021-11-30 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
KR102651104B1 (ko) 2018-02-13 2024-03-26 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
KR102444924B1 (ko) * 2019-04-04 2022-09-19 주식회사 빌리버 가상 현실 장치 및 그 제어 방법
CN110346937A (zh) * 2019-07-23 2019-10-18 业成科技（成都）有限公司 后置式头戴虚拟现实显示设备
CN114175630A (zh) * 2019-07-28 2022-03-11 谷歌有限责任公司 利用注视点网格渲染沉浸式视频内容的方法、***和介质
US11488365B2 (en) * 2019-10-25 2022-11-01 Magic Leap, Inc. Non-uniform stereo rendering
FR3120959B1 (fr) * 2021-03-22 2023-10-06 Airbus Helicopters Procede et systeme de visualisation et de gestion d'une situation de l'environnement d'un aeronef

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
KR20150122355A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR20150122975A (ko) * 2014-04-24 2015-11-03 엘지전자 주식회사 Hmd 및 그 제어 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742263A (en) 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
JP2004213350A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US7385624B2 (en) 2003-01-17 2008-06-10 Nippon Telegraph And Telephone Corporation Remote image display method, image capturing device, and method and program therefor
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US7224326B2 (en) 2004-03-03 2007-05-29 Volo, Llc Virtual reality system
US20130063477A1 (en) 2004-12-06 2013-03-14 James Richardson Systems and methods for using a movable object to control a computer
US8564532B2 (en) * 2005-12-06 2013-10-22 Naturalpoint, Inc. System and methods for using a movable object to control a computer
IL194701A (en) 2008-10-12 2012-08-30 Rafael Advanced Defense Sys Method and system for displaying a panoramic view to an operator
KR101692433B1 (ko) 2010-01-07 2017-01-03 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
JP2011203446A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
KR20130054569A (ko) * 2011-11-17 2013-05-27 재단법인대구경북과학기술원 머리 위치에 따른 3차원 음향 구현장치 및 그 방법
US8767040B2 (en) 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
WO2014178479A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
US20160170207A1 (en) * 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
KR20150122355A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR20150122975A (ko) * 2014-04-24 2015-11-03 엘지전자 주식회사 Hmd 및 그 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3376278A4 *

Also Published As

Publication number Publication date
EP3376278A4 (en) 2018-12-26
US10845869B2 (en) 2020-11-24
US20180356884A1 (en) 2018-12-13
KR102524641B1 (ko) 2023-04-21
KR20170088181A (ko) 2017-08-01
EP3376278B1 (en) 2022-01-05
EP3376278A1 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
WO2017126797A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2020036343A1 (en) Electronic device and control method thereof
WO2017119788A1 (ko) 머리 장착형 전자장치
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2019050338A1 (en) METHOD FOR CONTROLLING POINTER IN VIRTUAL REALITY, AND ELECTRONIC DEVICE
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2021020814A1 (en) Electronic device for providing avatar and operating method thereof
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2016200102A1 (ko) 카메라의 초점을 변경하는 방법 및 장치
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2019231090A1 (ko) 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2021137475A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2017022872A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2021066564A1 (ko) 복수의 카메라들을 포함하고 형태가 변하는 전자 장치 및 이미지 촬영 방법
WO2017164545A1 (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
WO2021230568A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2021221436A1 (ko) 카메라를 이용하여 공간의 깊이를 획득하는 디바이스 및 방법
WO2018080202A1 (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
WO2020204594A1 (ko) 가상 현실 장치 및 그 제어 방법
WO2020022750A1 (ko) 디스플레이에서 출력된 광에 대해 다중 초점을 제공할 수 있는 전자 장치
EP3402410A1 (en) Detection system
WO2018093075A1 (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886640

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2016886640

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016886640

Country of ref document: EP

Effective date: 20180612

NENP Non-entry into the national phase

Ref country code: DE