WO2020174554A1 - 映像表示装置及び映像表示方法 - Google Patents
映像表示装置及び映像表示方法 Download PDFInfo
- Publication number
- WO2020174554A1 WO2020174554A1 PCT/JP2019/007184 JP2019007184W WO2020174554A1 WO 2020174554 A1 WO2020174554 A1 WO 2020174554A1 JP 2019007184 W JP2019007184 W JP 2019007184W WO 2020174554 A1 WO2020174554 A1 WO 2020174554A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- avatar
- unit
- trajectory
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
Definitions
- the present invention relates to a portable video display device and video display method.
- HMD Head Mounted Display
- AR augmented reality
- a sensor attaching a sensor to the HMD, the information acquired by the sensor can be displayed on the display screen as an AR image.
- a terminal information acquisition unit that acquires position information and the like of its own terminal and a camera unit that generates a camera image of the surroundings are acquired in advance as a mobile terminal that depicts a user's action history.
- Depiction history calculation means for calculating the action history depiction information (avatar) to be displayed based on the action history and the imaging range of the camera means, and image composition for generating a composite image in which the behavior history depiction information is depicted in the camera image.
- a configuration including a unit and a display unit that displays a composite image is disclosed.
- Patent Document 1 when a user gives an instruction to record an action history, it is registered in the action history server. Then, the activity history of the desired user is acquired from the activity history server, and the avatar is displayed in a superimposed manner on the camera image according to the position information of the user. However, in Patent Document 1, it is assumed that the behavior history of any other user is acquired and displayed, and displaying the behavior history of the user himself is not particularly considered. Also, when displaying the action history, the avatars are displayed in the order in which the user moved to the position where the user has moved, so it is not suitable as a tool for guiding the return route from the current position to the user who has forgotten the return route. ..
- An object of the present invention is to provide a video display device that guides a return route along a route actually traveled by a user.
- a video display device of the present invention includes a sensor that detects a position and a direction of a user who carries the video display device, and a locus information acquisition that acquires information of a locus of movement of the user from a detection result of the sensor.
- Section a locus information of the user acquired by the locus information acquisition section, a storage section for storing information of an avatar which is a virtual image showing the user, a display section for displaying the locus of movement of the user by an avatar, and locus information acquisition
- a control unit that controls the display unit.
- control unit generates an avatar from the information of the avatar stored in the storage unit, obtains the current user's visual field area with the sensor, and based on the trajectory information of the user stored in the storage unit, An avatar is arranged on the user's movement locus according to the user's field of view and displayed on the display unit.
- the control unit temporally moves from the new trajectory information toward the old trajectory information when moving the avatar along the user's trajectory.
- FIG. 3 is an external view of the HMD according to the first embodiment.
- FIG. The block diagram which shows the internal structure of HMD.
- a differential trajectory information storage table that stores position information as differential values.
- a start point/end point position coordinate table that saves start/end position information.
- Still image data storage table for saving still images.
- the flowchart which shows the whole avatar display process. 9 is a flowchart showing a rescue process in FIG. 9A.
- FIG. 6 is a diagram illustrating an operation instruction by a user's finger.
- trajectory information storage table which preserve
- FIG. 8 is a schematic diagram of avatar display in the third embodiment.
- FIG. 14 is a diagram showing an appearance of a smartphone of Example 8.
- FIG. 16 is a diagram showing the configuration of a video display system in which a plurality of HMDs of Example 9 are connected.
- the schematic diagram which shows the example of a display of a plurality of avatars.
- HMD head mounted display
- FIG. 1 shows an external view of the HMD according to the first embodiment.
- the HMD 1 has a spectacles shape, and a display section 72 on which a user visually recognizes an image and an image pickup section 71 for photographing an outside scene are arranged on the front surface, and a temple section (vine) 91 stores various processing sections described later. ..
- a part of the processing unit in the temple unit 91 may be separated from the HMD main body, stored in another housing, and connected to the HMD main body by a cable.
- FIG. 2 is a block diagram showing the internal configuration of the HMD 1.
- the HMD 1 includes a main control unit 10, a system bus 30, a storage unit 40, a sensor unit 50, a communication processing unit 60, a video processing unit 70, an audio processing unit 80, and an operation input unit 90.
- the main control unit 10 is a microprocessor unit that controls the entire HMD 1 according to a predetermined operation program.
- the system bus 30 is a data communication path for transmitting and receiving various commands and data between the main control unit 10 and each component block in the HMD 1.
- the storage unit 40 stores various programs 41 for controlling the operation of the HMD 1 and various data 42 such as operation setting values, detection values from a sensor unit described later and objects including contents, and is used for various program operations. It has an area 43. At that time, the storage unit 40 can store the operation program downloaded from the network, various data created by the operation program, and the downloaded contents such as moving images, still images, and voices. Further, it is possible to store data such as moving images and still images taken by the image pickup unit 71. The storage unit 40 needs to hold the stored information even when the HMD 1 is not externally supplied with power.
- a semiconductor element memory such as a flash ROM or an SSD (Solid State Drive), a magnetic disk drive such as an HDD (Hard Disc Drive), or the like is used.
- the operation programs stored in the storage unit 40 can be updated and their functions can be expanded by a download process from each server device on the network.
- the sensor unit 50 includes a GPS (Global Positioning System) sensor 51, a geomagnetic sensor 52, a distance sensor 53, an acceleration sensor 54, a gyro sensor 55, an altitude sensor 56, and the like in order to detect various states of the HMD 1.
- the position, inclination, direction, movement, altitude, etc. of the HMD 1 are detected by these sensor groups.
- other sensors such as an illuminance sensor and a proximity sensor may be provided.
- the communication processing unit 60 includes a LAN (Local Area Network) communication unit 61 and a telephone network communication unit 62.
- the LAN communication unit 61 is connected to a network such as the Internet via an access point or the like, and transmits/receives data to/from each server device on the network.
- the connection with the access point or the like may be performed by a wireless connection such as Wi-Fi (registered trademark).
- the telephone network communication unit 62 performs telephone communication (call) and data transmission/reception by wireless communication with a base station of the mobile telephone communication network. Communication with base stations etc. is W-CDMA (Wideband Code Division Multiple Access) (registered trademark) system, GSM (registered trademark) (Global System for Mobile communications) system, LTE (Long Term Evolution) system, or other communication system. May be done by.
- the LAN communication unit 61 and the telephone network communication unit 62 each include an encoding circuit, a decoding circuit, an antenna and the like.
- the communication processing unit 60 may further include another communication unit such as a Bluetooth (registered trademark) communication unit or an infrared communication unit.
- the video processing unit 70 is composed of an image pickup unit 71 and a display unit 72.
- the image capturing unit 71 inputs image data of an external scene by converting light input from a lens into an electric signal by using an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is a camera unit.
- the display unit 72 is a display device of a transmissive display that uses, for example, a laser projector and a half mirror, and provides image data to the user of the HMD 1.
- the voice processing unit 80 includes a voice input/output unit 81, a voice recognition unit 82, and a voice decoding unit 83.
- a voice input of the voice input/output unit 81 is a microphone, which converts a user's voice or the like into voice data and inputs the voice data.
- the audio output of the audio input/output unit 81 is a speaker, and outputs audio information and the like required by the user.
- the voice recognition unit 82 analyzes the input voice information and extracts an instruction command or the like.
- the voice decoding unit 83 performs a decoding process of an encoded voice signal and a voice synthesis process.
- the operation input unit 90 is an instruction input unit that inputs an operation instruction for the HMD 1.
- the operation input unit 90 is composed of operation keys in which button switches and the like are arranged, but may further include other operation devices.
- the communication processing unit 60 may be used to operate the HMD 1 by using a separate mobile terminal device connected by wire communication or wireless communication.
- the voice recognition unit 82 of the voice processing unit 80 may be used to operate the HMD 1 by a voice command of an operation instruction.
- the configuration example of the HMD 1 shown in FIG. 2 includes a large number of configurations that are not essential to this embodiment, but the configuration without these does not impair the effects of this embodiment. On the contrary, a configuration not shown such as a digital broadcast receiving function and an electronic money settlement function may be further added.
- FIG. 3 is a diagram showing a connection configuration example with the external device by the communication processing unit 60.
- the LAN communication unit 61 of the HMD 1 connects to the network 5 such as the Internet via the wireless router 4 which is an access point.
- a server 6 is connected to the network 5 and transmits/receives data via the LAN communication unit 61 of the HMD 1.
- FIG. 4 is a diagram showing a configuration of functional blocks of the HMD 1.
- the main control unit 10 mainly executes the control processing of the entire HMD 1 using the various programs 41 and the various data 42 of the storage unit 40.
- the processing in the HMD1 is composed of a trajectory collection processing (S100) that collects and saves information about the movement trajectory of the user and an avatar display processing (S200) that displays an avatar that is a virtual image showing the user based on the saved trajectory information. (Represented by a broken line and a chain line, respectively).
- the various sensor information acquisition function 11 acquires information from various sensors of the sensor unit 50, and the trajectory information processing function 12 acquires information from the various sensors into trajectory information that is easily processed internally. Convert.
- the converted trajectory information is stored by the trajectory information storage function 13.
- the shooting is performed using the image pickup unit 71 of the video processing unit 70.
- the shooting process in that case is performed by the shooting data acquisition function 14, and the acquired shooting data is stored in the shooting data storage function 15 in association with the trajectory information.
- the avatar display processing (S200), the avatar information of the user stored in advance in the avatar information storage function 16 is read, and the avatar generated by the avatar generation function 17 is displayed by the avatar display function 18.
- the display position of the avatar is determined based on the trajectory information stored in the trajectory information storage function 13.
- the visual field calculation function 19 determines whether or not the display position of the avatar exists in the visual field of the HMD 1, and if it does not exist, the avatar is not displayed.
- the photographing data reproducing function 20 reproduces the photographing data stored in the photographing data storing function 15 according to the route locus.
- Storage functions such as the trajectory information storage function 13, the shooting data storage function 15, and the avatar information storage function 16 are stored in the external server 6 via the LAN communication unit 61 of the communication processing unit 60, as shown in FIG. You can also
- FIG. 5 is a schematic diagram showing an example of user trajectory collection.
- the user 2 wearing the HMD 1 is moving in the order of locus points 501, 502, 503, 504 (indicated by a ⁇ mark).
- the image pickup unit 71 photographs the subject 510. Therefore, the locus point 503 becomes a shooting point.
- the target to be photographed here is decided by the user's intention such as the place to stop by, the corner, the place where the route is wrong, the flora and fauna or buildings seen at that point, but when shooting the route trajectory later, the captured image Will be played.
- FIG. 6 is a flowchart showing the trajectory collection process (S100) of the HMD 1, and takes the trajectory schematic diagram of FIG. 5 as an example.
- This processing procedure is stored in various programs 41 of the storage unit 40.
- the instruction to start the trajectory collection is given by the voice of the user 2 in this embodiment. For example, when the voice command “Kiseki Kaishi” is uttered, the voice recognition unit 82 determines that it is an instruction to start the trajectory collection process.
- S111 Initialize the point number of the locus point.
- 0 is set as the initial value of the point number p
- the point number p 0 at the start of the trajectory collection process.
- S112 Start the timer. The timer counts using a clock built in the main control unit 10. The reason for using the timer is to collect the data of the trajectory points of the user at regular time intervals (unit time).
- the position of the HMD 1 is detected by the information from the sensor unit 50 (various sensor information acquisition function 11), converted into a format of saved data (trajectory information processing function 12), and saved in various data 42 of the storage unit 40. (Track information storage function 13).
- the GPS sensor 51 of the sensor unit 50 detects the position of the HMD 1 on the plane.
- Global position coordinates (longitude/latitude) of the HMD 1 can be detected by receiving radio waves from a plurality of GPS satellites.
- the altitude can be detected by the height sensor 56 of the sensor unit 50. For example, the atmospheric pressure is measured to calculate the altitude.
- the HMD 1's position information can also be acquired as global position information using Wi-Fi (registered trademark), Bluetooth (registered trademark), information transmitted from a mobile base station, or the like. Therefore, if the GPS information cannot be obtained, the position information of the HMD 1 is obtained from the information. Of course, other information may be combined with the GPS information.
- GPS information and the like the information for acquiring the global position information will be referred to as “GPS information and the like”.
- the user's trajectory information can be placed in the spatial coordinate system using the global position information.
- a unique spatial coordinate system with the locus acquisition start position as the origin is generated, and the position changes from the moving distance and moving direction of the user detected by the acceleration sensor 54, the gyro sensor 55, etc. of the sensor unit 50. May be calculated and placed in the local coordinate system. Then, by acquiring the global position information at a position where the global position information can be acquired with high accuracy and associating the global position information with the position information of the local coordinate system, for example, even when the trajectory is not continuously acquired or the trajectory information of another person is viewed. Applicable.
- S114 It is determined whether or not there is a shooting instruction by the user. If there is a shooting instruction, the process proceeds to S115, and if there is no shooting instruction, the process proceeds to S116.
- the shooting function of the image pickup unit 71 provides two shooting modes: still image shooting and moving image shooting. In order to distinguish these, for example, the voice command “Satei” is used for a still image shooting instruction, and the voice command “Satei Kaishi” is used for a moving image shooting instruction. For moving images, the voice command “Satsuaiowari” is used as an instruction to end shooting.
- S115 The subject in front of the HMD 1 is photographed by the image pickup unit 71 of the image processing unit 5 (photographing data acquisition function 14), and the photographed data is stored as various data 42 of the storage unit 40 (photographing data storage function 15).
- S116 It is determined whether or not the user has given an instruction to end the trajectory information acquisition process. For example, the voice command “kisekiowari” is used to determine that it is an instruction to end the trajectory collection process. If the end is instructed, the process proceeds to S117 to end the trajectory information acquisition process. If the end of the trajectory information acquisition process is not instructed, the process proceeds to S118.
- S118 It is determined whether a unit time has passed. Specifically, it is determined whether the timer has exceeded the unit time. When the unit time has elapsed, the process proceeds to S119, and when the unit time has not elapsed, the process returns to S114.
- S119 Add 1 to the point number p, return to S112, reset the timer, and restart.
- the trajectory points (position information) of the user can be collected at regular time intervals. For example, by setting the unit time of the timer to 1 second, the trajectory of the HMD 1 can be saved every 1 second. In addition, in parallel with this, a subject on the way can be photographed and saved according to a user's instruction.
- trajectory information data data table
- S100 trajectory collection processing
- FIG. 7A shows a trajectory information storage table 710 that stores position information as it is as measured values.
- the item is composed of a point number 711 indicating the order of each locus point and a position coordinate 712 corresponding to the locus point.
- position coordinates 712 planar position information (X, Y) from GPS information and the value of the altitude (Y) by the altitude sensor 56 are used.
- Point number 0 is the position coordinate (X 0 , Y 0 , Z 0 ) at the time when the trajectory collection process is started (S110), and point number 1 is the position coordinate (X 1 after the unit time (here, 1 second)).
- Y 1 , Z 1 is the position coordinate (X 1 after the unit time (here, 1 second)
- the point number k is the position coordinates (X k , Y k , Z k ) at the time when the user issues a shooting instruction (S114) after k seconds.
- the point number n is the position coordinate (X n , Y n , Z n ) at the time when the trajectory collection process ends (S117) n seconds after the start.
- the position coordinates 712 are fixed-length size data, so if the data are recorded in time series, the data of the point number 711 can be omitted. That is, the data of the target position coordinate of the point number p can be searched for by the multiple value p of the fixed length size.
- the relative value information (difference value information) of the acceleration sensor 54 and the gyro sensor 55 of the sensor unit 50 is temporarily stored. Then, when the position information (absolute value information) from the GPS information or the like can be acquired at any one of the locus points, the once stored relative value is corrected to the absolute value.
- FIG. 7B shows a differential trajectory information storage table 720 that stores position information as a differential value.
- the item includes a point number 721 and differential position coordinates 722 corresponding to the locus point.
- the difference position coordinate 722 the difference value between the position coordinate of the immediately previous trajectory point and the current position coordinate of the trajectory point is described. That is, the difference value ( ⁇ X, ⁇ Y) of the plane position coordinates is described by the distance in the longitude direction and the distance in the latitude direction between the two trajectory points.
- the difference value ( ⁇ Z) in the height direction is also described by the distance.
- the point number 1 is the difference position coordinates ( ⁇ X1, ⁇ Y1, ⁇ Z 1 ) one second after the start of the trajectory collection process
- the point number k is the difference position coordinates ( ⁇ Xk, ⁇ Yk, ⁇ Z k ) after k seconds
- the point number n indicates the differential position coordinates ( ⁇ Xn, ⁇ Yn, ⁇ Z n ) at the time when the trajectory collection process ends (n seconds after the start). The relationship with the value of the position coordinate 712 in FIG.
- FIG. 7C shows a start point/end point position coordinate table 730 that stores position information at the start/end of trajectory collection. This table is necessary when calculating the display position (absolute position) of the avatar using the differential trajectory information storage table 720 of FIG. 7B.
- the item includes a start point/end point distinction 731 that distinguishes a start point or an end point of trajectory collection, and a position coordinate 732 that indicates each position information by an absolute value.
- the start point is equal to the position coordinate (X 0 , Y 0 , Z 0 ) at the point number 0 in FIG. 7A (trajectory information storage table 710)
- the end point is the position coordinate (X n , Y) at the point number n. n , Z n ).
- the differential trajectory information storage table 720 of FIG. 7B can be converted into the trajectory information storage table 710 of FIG. 7A.
- the avatar can be displayed efficiently. The reason will be explained.
- the avatar is displayed by reversing the time from the end point (point number n) of the trajectory.
- the position coordinates of the end point for starting the display are not known, in order to calculate this, the position coordinates (X 0 , Y 0 , Z 0 ) of the start point in FIG.
- the position coordinates 722 must be added. If the position coordinates (X n , Y n , Z n ) of the end point are known, the avatar is first displayed at the position coordinates. The position where the avatar is displayed next can be easily calculated by subtracting the difference position coordinate ( ⁇ Xn, ⁇ Yn, ⁇ Z n ) at the point number n in FIG. 7C from the current position coordinate. The same process may be repeated thereafter.
- the locus information (the locus information storage table 710, the difference locus information storage table 720, the start point/end point position coordinate table 730) is not only stored in the various data 42 of the storage unit 40, but also as described in FIG. It is also possible to store it in the external server 6 via the network 5 for each trajectory point or when the table of trajectory information is completed. By storing the data in the server 6, the amount of data stored in the HMD 1 can be reduced.
- FIG. 8A shows a still image data storage table 810 that stores still images.
- the still image data storage table 810 includes a point number 811 indicating a locus point at the time of a shooting instruction, a shooting direction 812 indicating a shooting direction, a shooting data size 813, and shooting data 814.
- the HMD 1 shoots in the direction of ⁇ k at the locus point k (point number k), and the shooting data D k of the shooting data size M k is stored in the various data 42 of the storage unit 40 (S115). doing.
- the trajectory information storage table 710 and the still image data storage table 810 of this example are stored in association with each other.
- the still image captured in synchronization with the moving position of the HMD 1 per unit time here, 1 second. You can play back images.
- FIG. 8B shows a moving image data storage table 820 for storing moving images. Similar to the case of the still image in FIG. 8A, the moving image data storage table 820 includes a point number 821 indicating a locus point at the time of a shooting instruction, a shooting direction 822 at the start of shooting, a shooting data size 823, and shooting data 824. Composed. Furthermore, in the case of a moving image, the shooting time (start and end) 825 is described. This is to cope with the case where moving image shooting is performed over a plurality of locus points. If the moving image is played back every unit time (every 1 second), it can be synchronized with the time when the avatar is displayed.
- the HMD 1 starts shooting from the start time T ks in the direction of ⁇ k , and shoots the shooting data D k of the data size M k until the end time T ke.
- the storage unit 40 S115.
- the video data playback but it may be the entire display screen of the HMD, in this example, displayed in Shukushoko screen, to play from the moving image shooting start time T ks to movie shooting end time T ke.
- the information of these shooting data (still image data storage table 810, moving image data storage table 820) is also stored in the HMD 1 by being stored in the external server 6 via the network 5 as described in FIG.
- the amount of data to be used can be reduced.
- the avatar display process (S200) of the HMD 1 will be described.
- This processing procedure is stored in various programs 41 of the storage unit 40.
- the avatar is displayed by extracting the avatar information from the avatar information storage function 16 (avatar generation function 17) and displaying the avatar on the display unit 72 of the HMD 1 (avatar display function 18).
- the shape of the avatar is the same size as the user, and the height of the avatar is set by the user himself.
- the height of the height obtained by adding 10 cm to the distance from the ground (the height of the HMD 1 from the ground) can be set by the distance sensor 53 of the sensor unit 50.
- the display position of the avatar is displayed on the display unit 72 of the HMD so as to be superimposed on the background image according to the position information stored in the trajectory information storage table 710 and the like.
- the locus information and the shooting data to be used are stored in various data 42 in the HMD, the locus information and the shooting data are used, but the external server 6 is accessed via the LAN communication unit 61 of the communication processing unit 60. If it is stored, it is obtained from the server 6 and used.
- the avatar is displayed by reversing from the new trajectory information to the old trajectory information in time based on the trajectory point of the user.
- the display order is reversed in terms of time, so that the user can return from the end point (current point) to the start point (departure point) by the same route that has actually passed.
- FIG. 9A is a flowchart showing the entire avatar display process (S200).
- S210 Avatar display processing (S200) is started.
- the user utters the voice command “avatar kaishi” which means to start the avatar display, and determines that this is the avatar display start instruction.
- S211 Detect the current position and direction of the HMD 1 worn by the user.
- the detection method is performed by the GPS sensor 51, the geomagnetic sensor 52, the height sensor 56, and the like of the sensor unit 50, as in S113 in the trajectory collection process (S100).
- S212: The locus information storage table 710 (or the differential locus information storage table 720) is referred to, and the point number s of the position coordinate closest to the current position of the HMD 1 is searched. That is, if the current position is the end point of the trajectory collection, s n, but if the user subsequently moves from the end point, s ⁇ n.
- S213 As the initial value of the point number m to be displayed, the point number s closest to the current position is set. Thereby, the display can be performed from the locus point close to the current position of the user.
- the timer uses a clock built in the main control unit 10.
- the reason for using the timer is that the user's trajectories are collected at constant time intervals (unit time), and are displayed accordingly.
- the unit time used for displaying the avatar may be different from the unit time of the trajectory collection process and may be the time multiplied by an arbitrary coefficient. For example, if the unit time used for displaying the avatar is set to 1/2 time (0.5 seconds in this example), the displayed avatar can be moved at double speed. On the contrary, if the unit time used for displaying the avatar is set to double the time (2 seconds in this example), the displayed avatar can be moved at 1/2 speed (slow). Further, the avatar can be displayed as a moving image (animation) by sequentially interpolating (for example, every 1/24 seconds) the avatar between the trajectory points and displaying the avatar.
- S215 The position and direction of displaying the avatar are calculated.
- the locus information is stored in the locus information storage table 710
- the value (X m , Y m , Z m ) of the position coordinate 712 corresponding to the point number m is read out, and the avatar is placed at the planar position (X m , Y m ) and altitude (Z m ).
- X m X m+1- ⁇ X m+1
- Y m Y m+1- ⁇ Y m+1
- Z m Z m+1- ⁇ Z m+1
- the position coordinates (X n , Y n , Z n ) of the end point described in the start point/end point position coordinate table 730 and the value of the differential position coordinate 722 up to the point number s are set. Calculate using.
- the direction in which the avatar is facing is the direction connecting the previous locus point (m+1) and the current locus point (m).
- S217 The visibility calculation function 19 determines the display area of the HMD1, that is, the user's visual field from the current position and direction of the HMD1, and determines whether the placement position of the avatar calculated in S215 is within the display area. If it is determined that the avatar can be placed in the display area of the HMD 1, the process proceeds to S218, and if it is determined that the avatar cannot be placed, the relief process of S300 is performed.
- the rescue processing of S300 guidance processing such as changing the visual field direction of the user or moving the user to a position where the avatar can be seen is performed, and details will be described later with reference to FIG. 9B.
- the avatar can be arranged within the field of view of the user, and the user can move (track) without losing sight of the avatar or overtaking the avatar.
- S219 By referring to the still image data storage table 810 or the moving image data storage table 820, it is determined whether or not the currently displayed point number m is the shooting point k. When it is determined that the locus point is the shooting point, the process proceeds to S220. If it is determined that it is not the shooting point, the process proceeds to S222. S220: Notify that the current time is the shooting point. The shooting point notification method notifies the user by changing the color of the displayed avatar or blinking the avatar. S221: According to a user's instruction, the corresponding shooting data is read from the still image data storage table 810 or the moving image data storage table 820 and reproduced. The reproduction of the shooting data is executed by the voice command “Saisei”. The reproduction of the image data may be performed on the entire display screen of the HMD, but in this example, the image data is displayed on the reduced screen and the reproduction of the image data is ended after the display is continued for a certain time.
- S222 It is determined whether or not the user has given an instruction to end the avatar display processing. For example, the voice command “avatar owari” is used to determine that the command is an instruction to end the avatar display process. If the end of the avatar display processing is instructed, the process proceeds to S226, and the avatar display processing ends.
- S223 It is determined whether a unit time has passed. If it is determined that the unit time has elapsed, the process proceeds to S224. If it is determined that the unit time has not elapsed, the process returns to S222.
- S224 1 is subtracted from the point number m to obtain a new point number. As a result, it returns to the previous trajectory point that was traced back in time.
- FIG. 9B is a flowchart showing the rescue process (S300) in FIG. 9A. This process is performed when the determination in S217 is No, that is, when the avatar cannot be arranged in the display area. After the processing ends, the process returns to S211.
- S301 The visibility calculation function 20 determines whether or not the avatar can be arranged by changing the direction of the HMD 1. If it is possible, the process proceeds to S302, and if it is not possible, the process proceeds to S303.
- S302 This corresponds to the case where the HMD does not face the direction in which the avatar exists, and therefore the user is guided by voice or display to change the direction of the HMD.
- the voice decoding unit 83 of the voice processing unit 80 generates voice guides “Migi”, “Hidari”, and the like. At that time, the avatar may be displayed on the screen and uttered. After that, the process returns to S211.
- FIG. 10A is a diagram showing an example of the direction change guide display in S302.
- the avatar 3 appears on the display screen 400, and a message 401 indicating that the avatar exists is displayed on the right side.
- the new direction of the HMD is detected in S216 of FIG. 9A.
- the avatar is present in the new display area, and the avatar can be displayed in S218.
- S303 When it is impossible to place the avatar by changing the direction of the HMD1 in S301, it is considered that the current position is far from any of the points collected by the trajectory. Therefore, it is determined whether map information can be acquired in order to guide the user to the proximity point. For example, when the navigation application can be used, the process proceeds to S304. If the map information cannot be acquired, the process proceeds to S306.
- S304 Using the navigation application, the route analysis to the closest locus point s searched in S212 is performed.
- S305 Route information up to the locus point s (new locus point) is added to the locus information storage table 710. After that, the process returns to S211, and the display target position of the avatar including the added trajectory point is set. As a result, the avatar is placed in the display area of the HMD in S217, and the avatar can be displayed in S218.
- S306 If the map information cannot be acquired in S303, the direction of movement to the closest locus point s is presented to the user.
- the presentation method is voice or AR display. After that, the process returns to S211.
- the user can approach the closest locus point s by moving in the presented direction.
- the avatar is placed in the display area in S217, and the avatar can be displayed in S218.
- FIG. 10B is a diagram showing an example of the moving direction guide display in S306.
- the AR display 402 informs the display screen 400 of the direction in which the user should move.
- the AR display 402 only needs to know the direction in which to proceed, and uses characters, icons (arrows), and the like.
- the rescue process of S300 can be performed to guide the user to the position or direction in which the avatar can be seen. This allows the user to move (track) without losing sight of the avatar.
- FIGS. 11A and 11B are diagrams showing display examples of avatars. This example corresponds to the schematic diagram at the time of trajectory collection shown in FIG.
- each locus point of the HMD collected from the loci is temporally reversed to display the avatar 3. That is, the display position of the avatar 3 is moved in the direction of the arrow in the order of the locus points 504, 503, 502, 501 (displayed by ⁇ marks) and displayed.
- the locus point 503 is the shooting point k, and is therefore indicated by a double circle to distinguish it from other positions.
- the body orientation when moving the avatar 3 is set to a posture (backward) opposite to the traveling direction of the avatar 3. , Showing how to return to the original route.
- the display screen 400 of FIG. 11B shows the display state of the avatar 3 at the trajectory point 503. Since the locus point 503 is a corner, the direction of the avatar 3 is changed. Further, since the locus point 503 is a photographing point, the color of the avatar 3 is changed and displayed. Here, when the user gives an instruction to reproduce the photographing data, an image 510' of the subject 510 photographed at the photographing point is displayed.
- the trajectory point ( ⁇ mark) and the traveling direction (arrow) are displayed on the display screen 400, but these may be hidden.
- the locus points of the avatar are displayed every unit time (1 second), but the present invention is not limited to this, and it is also possible to display at other time intervals. For example, if the image is interpolated and displayed every 1/24 second, the avatar is displayed as a smooth moving image such as a movie.
- FIG. 12 is a table showing an example of voice commands used for operating the HMD.
- the items of the voice command table 600 are composed of a command classification 601, a voice command 602 issued by the user, a command name 603, and a processing content 604.
- the voice command classification 601 is divided into trajectory collection related and avatar display related.
- the trajectory collection-related voice commands 602 include “kisekikaishi”, “kisekistart” for starting the trajectory collection process, “kisekiowari”, “kisekiend” for ending the trajectory collection process, “satsuei”, “kilok” for shooting still images, There are “Satsuei Kaishi” and “Kirok Start” to start video recording, and “Satsuei Owari” and “Kirok End” to end video recording.
- Avatar display-related voice commands 602 include “avatar kaishi” and “avatar start” to start avatar display processing, “avatar owari” and “avatar end” to end avatar display processing, and “saisei” to play still images or videos. There is “Saturday data” etc.
- the voice commands listed here are merely examples, and it goes without saying that they can be appropriately set according to the preference of the user.
- the HMD 1 can make a voice response corresponding to the voice command issued by the user by using the voice synthesizing function of the voice decoding unit 83 of the voice processing unit 80.
- the voice synthesizing function of the voice decoding unit 83 of the voice processing unit 80 As a result, for example, it is possible to respond with the same voice (aum return) as the voice command of the user, or to confirm the voice command of the user.
- the user's response is "high”
- a confirmation voice "XX Wokkokkomusu” is answered, and if the user's response is "yes", a confirmation voice "is displayed”.
- the voice commands “high” and “yes” used by the user in the reply are not shown in FIG.
- the voice synthesizing function of the voice decoding unit 83 can be used to generate a synthetic voice such as a voice "Migi” for urging a rightward rotation and a voice "Hidari” for urging a leftward rotation. This can be utilized in the step S306 of FIG. 9B.
- Operation instructions for HMD1 can be realized by methods other than voice commands.
- the operation menu is displayed on the display screen of the HMD 1 and the user selects with a gesture (movement of hand/finger).
- the user's finger can be photographed by the imaging unit 71 of the image processing unit 70, and the movement of the finger can be recognized from the captured image and used for the operation.
- FIG. 13 is a diagram for explaining an operation instruction with a user's finger.
- a “photograph” menu 411 and a “video” menu 412 are displayed as selection menus.
- the menu display is preferably semi-transparent, but not limited to this.
- the imaging unit 71 detects the finger image 415 that gradually increases toward the display screen 410. Further, it recognizes that the finger image 415 is heading to the “video” menu 412, and determines that “video” is selected and designated. As other operations, only the "start” menu is displayed at the start of trajectory collection or avatar display, and the "end” menu is displayed at the end. Then, the approach of the user's finger image 415 by the imaging unit 71 is detected, and it is determined that the start or end is instructed. In addition to this, a method may be used in which a touch sensor is provided in the operation input unit 90 of the HMD 1 to detect that the user's hand or finger touches the HMD 1.
- the first embodiment it is possible to easily guide the return route to the user who has forgotten the place to stop or the return route during the movement.
- the position coordinates of the HMD are stored in three dimensions (X, Y, Z), but in the second embodiment, a case of storing the position coordinates in two dimensions (X, Y) will be described.
- the basic configuration of the HMD in the second embodiment is similar to that of the first embodiment, and the differences from the first embodiment will be described.
- the trajectory collection process is performed by the same flowchart (S100) as in the first embodiment (FIG. 6). Then, the collected data is stored in the tables shown in FIGS. 14A and 14B.
- FIG. 14A shows a two-dimensional trajectory information storage table 740, in which position information is stored as a difference value.
- a point number 741 indicating the number of each locus point
- a differential position coordinate 742 indicating the plane position of the locus point are configured.
- the difference position coordinate 742 is not an absolute value of the position coordinate but a difference value (change amount) between adjacent locus points to reduce the amount of data to be stored.
- the point number 1 is the difference position coordinate ( ⁇ X1, ⁇ Y 1 ) 1 second after the start of the trajectory collection process, and the point number k is k seconds.
- differential position coordinates after ( ⁇ Xk, ⁇ Y k), point number n indicates differential position coordinates (.DELTA.Xn, [Delta] Y n) of the time the trajectory collection process has been completed (after n seconds from the start), respectively.
- the method of obtaining the differential position coordinates is the same as that in the first embodiment (FIG. 7B).
- FIG. 14B shows a two-dimensional start point/end point position coordinate table 750 that stores position information at the start/end of trajectory collection. This table is needed when the display position (absolute position) of the avatar is calculated using the two-dimensional differential trajectory information storage table 740 of FIG. 14A.
- the item is composed of a start point/end point distinction 751 for discriminating between the start point and the end point of trajectory collection, and a position coordinate 752 indicating respective position information by an absolute value, which is the same as in FIG. 7C.
- a position coordinate 752 indicating respective position information by an absolute value, which is the same as in FIG. 7C.
- the position coordinate 752 only the position coordinate (X 0 , Y 0 , Z 0 ) of the start point stores the position coordinate (Z 0 ) in the height direction. This is to cope with the case where the altitude change amount exceeds a predetermined value (threshold value) during acquisition of the trajectory information.
- the change ( ⁇ X, ⁇ Y) in the planar position coordinates of the HMD are linear, and the changes in the altitude of the HMD ( ⁇ Z) are also linear.
- the change ( ⁇ X, ⁇ Y) in the planar position coordinates of the HMD is the step width, and the change in the HMD altitude ( ⁇ Z) is the step difference.
- the trajectory collection processing by the two-dimensional trajectory information storage tables 740 and 750 ends as trajectory A. Then, the process newly moves to the trajectory collecting process by the three-dimensional trajectory information storage tables 710 to 730 of the first embodiment, and the trajectory B is set. After that, when the amount of change in altitude falls within the threshold value, the trajectory collection processing by the two-dimensional trajectory information storage tables 740 and 750 is restarted to obtain the trajectory C. With this method, the amount of data to be stored can be reduced as much as possible.
- the two-dimensional trajectory information storage tables 740 and 750 of the second embodiment can be converted into the three-dimensional trajectory information storage tables 710 to 730 of the first embodiment.
- the GPS sensor 51 of the sensor unit 50 is relatively easy to acquire GPS information (positional information) outdoors, but when it is difficult to acquire GPS information such as in an underground mall or indoors. There is.
- the information from the acceleration sensor 54 of the sensor unit 50, the gyro sensor 55, or the like is used for supplementation.
- Example 1 when the avatar was displayed, the direction of the avatar was reversed from the traveling direction, and the avatar was moved backward.
- the avatar is displayed so as to face the traveling direction.
- FIG. 15 is a schematic diagram of avatar display in the third embodiment.
- the avatar 3 On the display screen 400, the avatar 3 is displayed in a posture (forward) facing the traveling direction. That is, the orientation of the avatar 3 is set in the vector direction from the current locus point 503 to the next locus point 502.
- FIG. 11B the uncomfortable feeling of the user (that the advancing direction of the avatar does not match the direction of the avatar) caused by the orientation of the avatar as shown in the first embodiment (FIG. 11B).
- FIG. 16 is a schematic diagram of avatar display in the fourth embodiment.
- the avatar 3 is moving backward.
- the avatar 3 controls so that the part hidden by the building 521 is not displayed.
- Whether or not the avatar 3 is hidden can be determined by comparing the distances to the buildings 521 and 522 and the avatar 3, and the distance to the buildings 521 and 522 can be measured by the distance sensor 53.
- the hidden avatar may be displayed semi-transparently so that it can be tracked.
- the images of the buildings 521 and 522 can also be displayed using, for example, Street View (Google, Inc.), which is an Internet service that provides panoramic photographs of landscapes along the road. Further, depending on the position and direction of the HMD 1, the name of a building attached to the building or the like can be used.
- Street View Google, Inc.
- the name of a building attached to the building or the like can be used.
- the photographing instruction is not automatically given to the user but is automatically photographed.
- the image capturing unit 71 of the HMD starts capturing from a start point and always loops and temporarily captures an image of a certain time (for example, twice the unit time between the trajectory points used in the trajectory collecting process) from the present time. save.
- the image automatically captured is a moving image or a still image that is traced back a certain time (for example, 2 seconds) from the current time.
- the function can be sufficiently exerted by temporarily storing one or two still images between the locus point and the next locus point. Then, an image taken at a peculiar place on the moving route, for example, a place where the moving direction is changed is left.
- the specific operation of automatic shooting will be explained using the trajectory collection schematic diagram of FIG.
- the image from the locus point 502 to the locus point 504 (twice the length of the unit time) is temporarily stored.
- the movement direction (movement vector between points) changes by 90 degrees. Therefore, the image captured from the locus point 502 to the locus point 503 is automatically saved as the image immediately before the direction of the movement vector changes greatly.
- the image data of the locus point 503 to be stored may be a moving image (moving image frame captured up to the locus point 503) or a still image (shooting data of the locus point 503).
- the imaging method of the fifth embodiment when the user changes the traveling direction, the image of the traveling direction immediately before changing the traveling direction is stored, so that an image that is most suitable for recalling the user can be displayed. it can.
- information such as the posture of the user is also collected in the trajectory collection processing and reflected when the avatar is displayed.
- the distance sensor 53 of the sensor unit 50 detects the distance from the ground or floor surface to the HMD 1 (that is, the height of the user's head), and collects it for each trajectory point. By comparing this detected value with the height (known) of the user, the posture of the user wearing the HMD 1 (standing, sitting, crouching, sleeping, etc.) can be estimated. The standing avatar and the sitting avatar are displayed by reflecting this posture information on the displayed avatar.
- the orientation of the face of the user wearing the HMD 1 can be known by the geomagnetic sensor 52 of the sensor unit 50.
- the face orientation information is reflected in the displayed avatar, and the face orientation of the avatar is changed for each trajectory point.
- the orientation of the body of the avatar may be estimated and changed based on the orientation of the face, but may be adjusted according to the vector information between the trajectory points (the traveling direction). With these displays, it is possible to display a more realistic avatar.
- FIG. 17A shows an example of the trajectory information storage table 710′ in the seventh embodiment.
- the passing time 713 when each trajectory point is passed is additionally described.
- FIG. 17B is a diagram showing a display example of an avatar.
- the passing time 420 is displayed together with the display of the avatar 3.
- the passing time 713 corresponding to the point number 711 currently displaying the avatar in the trajectory information storage table 710' of FIG. 17A may be referred to.
- the seventh embodiment when the user has passed the currently displayed locus point is displayed, which is effective information for recalling the user's memory.
- Example 8 describes a case where a smartphone is used instead of the HMD as a portable video display device.
- the smartphone has almost the same hardware configuration and software configuration as the HMD, and can realize equivalent functions.
- FIG. 18 is a diagram showing an appearance of the smartphone 9, where (a) is a front side for displaying an image and (b) is a back side having a camera. As shown in (b), a camera 901 is provided on the back side to photograph an outside scene.
- the smartphone 9 has a sensor for detecting the three-dimensional position and the direction of the camera 901, and can collect the trajectory information as in the case of the HMD.
- the front side has a display screen 902 with a built-in touch panel, and displays an image taken with the camera 901 facing the outside scene. Then, on the display screen 902, the avatar 3 can be superimposed and displayed in accordance with the image of the displayed outside scene, based on the collected trajectory information, as in the first embodiment (FIG. 11A).
- a smartphone is taken as an example of the portable video display device, but the operation of this embodiment can be realized if there is an equivalent or approximate hardware configuration or software configuration.
- it can be applied to a notebook PC, a tablet PC, or the like.
- FIG. 19 is a diagram showing a configuration of a video display system in which a plurality of HMDs are connected. Here, the case of two users 2a and 2b is shown, and the HMD 1a and the HMD 1b are worn, respectively. The same applies to cases other than two.
- the HMD 1a worn by the user 2a is connected to the external server 6 via the wireless router 4a and the network 5.
- the HMD 1b worn by the user 2b is connected to the same server 6 via the wireless router 4b and the network 5.
- the wireless routers 4a and 4b can be shared.
- each HMD 1a, 1b collects the trajectory of each user 2a, 2b. Then, the trajectory information of the user 2a who wears the HMD 1a and the trajectory information of the user 2b who wears the HMD 1b are stored in the common server 6. After that, the locus information of the two persons is read from the server 6 and displayed on the respective HMDs 1a and 1b as two avatars which are virtual images of the two persons. As a result, the loci can be referred to each other by the avatar.
- FIG. 20 is a schematic diagram showing a display example of a plurality of avatars.
- the avatar 3b of the user 2b wearing the HMD 1b is displayed on the display screen 400a of the HMD 1a.
- the loci 520a and 520b in which the two persons have acted are displayed by respective locus points (marked by ⁇ and ⁇ ), and the positional relationship between the two can be displayed in reverse time.
- the two people merged at the intersection of the locus points 521. The same is displayed on the display screen 400b of the HMD 1b.
- the loci of a plurality of users can be mutually confirmed. As a result, if another user is out of the field of view during trajectory collection, the position of the other user can be immediately known.
- the short-distance wireless communication such as Bluetooth (registered trademark) is used to communicate between the portable information terminals to use the server 6 via the wireless router 4 and the network 5.
- Bluetooth registered trademark
- the functions and the like of the present invention described above may be realized in hardware by designing a part or all of them with, for example, an integrated circuit.
- the microprocessor unit or the like may be realized by software by interpreting and executing a program for realizing each function or the like.
- Hardware and software may be used together.
- the software may be stored in advance in various programs 41 of the HMD 1 at the time of product shipment. It may be obtained from various server devices on the Internet after the product is shipped. Further, the software provided by a memory card, an optical disc, or the like may be acquired.
- control lines and information lines shown in the figure are those that are considered necessary for explanation, and not all control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.
- HMD video display device
- 2 User
- 3 Avatar
- 4 Wireless router
- 5 Network
- 6 Server
- 9 Smartphone
- Smartphone video display device 10
- Main control part 40
- Communication processing unit 70
- Image processing unit 71
- Imaging unit 72
- Display unit 80
- Audio processing Section 90... Operation input section.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Computer Hardware Design (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
携帯型の映像表示装置1は、ユーザ2の位置と方向を検出するセンサ50と、ユーザの移動軌跡の情報を取得する軌跡情報取得部と、ユーザの軌跡情報とアバターの情報を保存する記憶部40と、ユーザの移動軌跡をアバターで表示する表示部72とを備える。制御部は、アバター3を生成するとともに、センサにより現在のユーザの視界領域を求め、記憶部に保存されたユーザの軌跡情報をもとに、現在のユーザの視界領域に合わせ、ユーザの移動軌跡にアバター3を配置して表示部72に表示する。アバター3をユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させる。
Description
本発明は、携帯型の映像表示装置及び映像表示方法に関する。
近年、スマートフォンを代表とする携帯型の映像表示装置が世の中に普及している。中でも、ユーザの頭部に装着するヘッドマウントディスプレイ(以下、HMD:Head Mounted Display)は、眼鏡型の表示画面上に、現実空間の映像とコンピュータ等により作成した拡張現実(AR:Augmented Reality)の映像とを重畳させて表示するものである。さらにHMDにセンサを取り付けることで、センサで取得した情報をAR映像として表示画面に表示することができる。例えば特許文献1には、ユーザの行動履歴を描写する携帯端末として、自己の端末の位置情報などを取得する端末情報取得手段と、周囲を撮像したカメラ画像を生成するカメラ手段と、予め取得した行動履歴と、カメラ手段の撮像範囲と、に基づいて表示すべき行動履歴描写情報(アバター)を算出する描写履歴算出手段と、行動履歴描写情報をカメラ画像に描写した合成画像を生成する画像合成手段と、合成画像を表示する表示手段と、を備える構成が開示されている。
ユーザが、複雑な経路を移動しているうちに、途中立ち寄った場所や戻り経路を失念するケースが、高齢者の中に多く見受けられる。このような場合、ナビゲーション装置のように、出発地を設定すればそこに戻る代表的な経路を案内する方法があるが、ユーザが実際に通過した経路と同一に案内するとは限らず、途中の経路を正確に再現することは期待できない。
前記特許文献1では、ユーザが行動履歴の記録を指示すると、行動履歴サーバに登録される。そして、行動履歴サーバから所望のユーザの行動履歴を取得して、ユーザの位置情報に従いアバターをカメラ画像に重ねて表示するものである。しかし前記特許文献1では、任意の他のユーザの行動履歴を取得して表示することを想定しており、ユーザ本人の行動履歴を表示することは特に考慮されていない。また、行動履歴を表示する際、ユーザが移動した地点に移動した順序にアバターが表示されるので、戻り経路を失念したユーザに対し、現在位置から帰路の道順を案内するツールとしては適していない。
本発明の目的は、ユーザが実際に移動した経路に沿って戻り経路を案内する映像表示装置を提供することである。
前記課題を解決するため、本発明の映像表示装置は、当該映像表示装置を携帯したユーザの位置と方向を検出するセンサと、センサの検出結果からユーザの移動軌跡の情報を取得する軌跡情報取得部と、軌跡情報取得部にて取得したユーザの軌跡情報と、ユーザを示す仮想映像であるアバターの情報を保存する記憶部と、ユーザの移動軌跡をアバターで表示する表示部と、軌跡情報取得部と表示部を制御する制御部と、を備える。ここに制御部は、記憶部に保存されたアバターの情報からアバターを生成するとともに、センサにより現在のユーザの視界領域を求め、記憶部に保存されたユーザの軌跡情報をもとに、現在のユーザの視界領域に合わせ、ユーザの移動軌跡にアバターを配置して表示部に表示する構成とする。制御部は、アバターをユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させる。
本発明によれば、移動の際に途中立ち寄った場所や戻り経路を失念したユーザに対し、戻り経路を分かりやすく案内することができる。
以下、本発明の実施形態を、頭部装着型の映像表示装置であるヘッドマウントディスプレイ(HMD)の例を中心に説明する。
図1は、実施例1に係るHMDの外観図を示す。HMD1はメガネ型形状で、前面にはユーザが映像を視認する表示部72や外景を撮影する撮像部71が配置され、テンプル部(つる)91には、後述する各種処理部が格納されている。また、テンプル部91内の一部の処理部は、HMD本体と分離して別の筐体に格納し、HMD本体とケーブルで接続する構成でも良い。
図2は、HMD1の内部構成を示すブロック図である。HMD1は、主制御部10、システムバス30、記憶部40、センサ部50、通信処理部60、映像処理部70、音声処理部80、操作入力部90で構成される。
主制御部10は、所定の動作プログラムに従ってHMD1全体を制御するマイクロプロセッサユニットである。システムバス30は、主制御部10とHMD1内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。
記憶部40は、HMD1の動作を制御するための各種プログラム41、動作設定値や後述するセンサ部からの検出値やコンテンツを含むオブジェクトなどの各種データ42を格納し、各種プログラム動作で使用するワークエリア43を有する。その際記憶部40は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ、ダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、撮像部71で撮影した動画や静止画等のデータを記憶可能である。記憶部40は、HMD1に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュROMやSSD(Solid State Drive)などの半導体素子メモリ、HDD(Hard Disc Drive)などの磁気ディスクドライブ、等のデバイスが用いられる。なお、記憶部40に記憶された前記各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。
センサ部50は、HMD1の各種の状態を検出するため、GPS(Global Positioning System)センサ51、地磁気センサ52、距離センサ53、加速度センサ54、ジャイロセンサ55、高度センサ56等で構成される。これらのセンサ群により、HMD1の位置、傾き、方角、動き、高度等を検出する。これ以外に、照度センサ、近接センサ等、他のセンサを備えていても良い。
通信処理部60は、LAN(Local Area Network)通信部61と、電話網通信部62で構成される。LAN通信部61はアクセスポイント等を介してインターネット等のネットワークと接続され、ネットワーク上の各サーバ装置とデータの送受信を行う。アクセスポイント等との接続はWi-Fi(登録商標)等の無線接続で行われて良い。
電話網通信部62は移動体電話通信網の基地局等との無線通信により、電話通信(通話)及びデータの送受信を行う。基地局等との通信はW-CDMA(Wideband Code Division Multiple Access)(登録商標)方式やGSM(登録商標)(Global System for Mobile communications)方式、LTE(Long Term Evolution)方式、或いはその他の通信方式によって行われて良い。LAN通信部61と電話網通信部62は、それぞれ符号化回路や復号回路やアンテナ等を備える。また、通信処理部60が、Bluetooth(登録商標)通信部や赤外線通信部等、他の通信部をさらに備えていても良い。
映像処理部70は、撮像部71と表示部72で構成される。撮像部71は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、外景の被写体の画像データを入力するカメラユニットである。表示部72は、例えばレーザープロジェクターとハーフミラー等を使った透過型ディスプレイの表示デバイスであり、画像データをHMD1のユーザに提供する。
音声処理部80は、音声入出力部81と音声認識部82と音声復号部83とで構成される。音声入出力部81の音声入力はマイクであり、ユーザの声などを音声データに変換して入力する。また、音声入出力部81の音声出力はスピーカであり、ユーザに必要な音声情報等を出力する。音声認識部82は、入力された音声情報を解析し、指示コマンド等を抽出する。音声復号部83は、符号化音声信号の復号処理や音声合成処理を行う。
操作入力部90は、HMD1に対する操作指示の入力を行う指示入力部である。操作入力部90は、ボタンスイッチ等を並べた操作キー等で構成されるが、さらにその他の操作デバイスを備えても良い。例えば、通信処理部60を利用し、有線通信または無線通信により接続された別体の携帯端末機器を用いてHMD1の操作を行っても良い。また、音声処理部80の音声認識部82を利用して、操作指示の音声コマンドによりHMD1の操作を行っても良い。
なお、図2に示したHMD1の構成例は、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。逆に、デジタル放送受信機能や電子マネー決済機能等、図示していない構成をさらに加えても良い。
図3は、上記の通信処理部60による外部機器との接続構成例を示す図である。HMD1のLAN通信部61は、アクセスポイントである無線ルータ4を介して、インターネット等のネットワーク5と接続する。ネットワーク5にはサーバ6が接続されており、HMD1のLAN通信部61を介してデータの送受信を行なう。
図4は、HMD1の機能ブロックの構成を示す図である。
HMD1全体の制御処理は、主に、主制御部10が記憶部40の各種プログラム41及び各種データ42を用いて実行する。HMD1における処理は、ユーザの移動軌跡の情報を収集し保存する軌跡収集処理(S100)と、保存した軌跡情報に基づいてユーザを示す仮想映像であるアバターを表示するアバター表示処理(S200)で構成される(それぞれ破線と鎖線で示す)。
HMD1全体の制御処理は、主に、主制御部10が記憶部40の各種プログラム41及び各種データ42を用いて実行する。HMD1における処理は、ユーザの移動軌跡の情報を収集し保存する軌跡収集処理(S100)と、保存した軌跡情報に基づいてユーザを示す仮想映像であるアバターを表示するアバター表示処理(S200)で構成される(それぞれ破線と鎖線で示す)。
軌跡収集処理(S100)では、各種センサ情報取得機能11によりセンサ部50の各種センサからの情報を取得し、軌跡情報処理機能12により取得した各種センサからの情報を内部で処理しやすい軌跡情報に変換する。変換処理された軌跡情報は軌跡情報保存機能13にて保存する。また、軌跡情報取得途上でユーザにより撮影指示があった場合は、映像処理部70の撮像部71を用いて撮影が行なわれる。その場合の撮影処理は撮影データ取得機能14により行われ、取得した撮影データは軌跡情報に関連付けられて撮影データ保存機能15にて保存する。
アバター表示処理(S200)では、アバター情報保存機能16に予め保存されたユーザのアバター情報を読み出し、アバター生成機能17により生成されたアバターを、アバター表示機能18により表示する。アバターの表示位置は、軌跡情報保存機能13に保存された軌跡情報に基づいて決定する。但し、視界算出機能19により、アバターの表示位置がHMD1の視界に存在するかどうかを判断し、存在しない場合はアバターを表示しない。また、撮影データ再生機能20では、撮影データ保存機能15に保存された撮影データを経路軌跡に合わせて再生する。
軌跡情報保存機能13、撮影データ保存機能15、アバター情報保存機能16などの保存機能は、図3で示したように、通信処理部60のLAN通信部61を介して外部のサーバ6に保存させることもできる。
図5は、ユーザの軌跡収集の例を示す模式図である。この例では、HMD1を装着したユーザ2が、軌跡ポイント501、502、503、504、の順番に移動している(●印で示す)。また移動方向が90度変化した軌跡ポイント503(曲がり角)において、撮像部71により被写体510を撮影している。よってこの軌跡ポイント503は撮影ポイントとなる。ここで撮影する対象は、立ち寄った場所、曲がり角、経路を間違った場所、その地点で見かけた動植物や建物等、ユーザの意思により決定されるが、後で経路軌跡を再現するときにその撮影映像が再生されるものとなる。
図6は、HMD1の軌跡収集処理(S100)を示すフローチャートであり、図5の軌跡模式図を例としている。この処理手順は、記憶部40の各種プログラム41に格納されている。
S110:ユーザ2の指示で軌跡収集処理(S100)を開始する。軌跡収集開始の指示は、本実施例ではユーザ2の音声で行う。例えば、音声コマンド「キセキカイシ」を発声すると、音声認識部82は軌跡収集処理の開始指示であると判断する。
S110:ユーザ2の指示で軌跡収集処理(S100)を開始する。軌跡収集開始の指示は、本実施例ではユーザ2の音声で行う。例えば、音声コマンド「キセキカイシ」を発声すると、音声認識部82は軌跡収集処理の開始指示であると判断する。
S111:軌跡ポイントのポイント番号の初期化を行なう。ここでは、ポイント番号pの初期値として0を設定し、軌跡収集処理の開始時点のポイント番号p=0とする。
S112:タイマーを起動する。タイマーは、主制御部10に内蔵されているクロックを用いて計時する。タイマーを使用するのは、ユーザの軌跡ポイントのデータを一定時間(単位時間)の間隔で収集するためである。
S112:タイマーを起動する。タイマーは、主制御部10に内蔵されているクロックを用いて計時する。タイマーを使用するのは、ユーザの軌跡ポイントのデータを一定時間(単位時間)の間隔で収集するためである。
S113:HMD1の位置をセンサ部50からの情報により検出し(各種センサ情報取得機能11)、保存データの形式に変換して(軌跡情報処理機能12)、記憶部40の各種データ42に保存する(軌跡情報保存機能13)。HMD1の平面上の位置は、センサ部50のGPSセンサ51にて検出する。複数のGPS衛星からの電波を受信することにより、HMD1のグローバル位置座標(経度・緯度)を検出することができる。また、高度は、センサ部50の高さセンサ56により検出することができる。例えば、気圧を計測して高度を算出する。
HMD1の位置情報は、GPS衛星からのGPS情報以外にも、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯基地局から発信される情報などを使ってグローバル位置情報を取得することもできるので、GPS情報が取得できない場合は、それらの情報によりHMD1の位置情報を取得する。勿論、GPS情報とともに他の情報を組み合わせてもよい。以下、グローバル位置情報を取得するための情報を「GPS情報等」と呼ぶ。
なお、上記グローバル位置情報が常に精度良く取得できる環境下であれば、ユーザの軌跡情報をグローバル位置情報を用いた空間座標系に配置することができる。一方、軌跡取得開始位置を原点とした独自の空間座標系(ローカル座標系)を生成し、センサ部50の加速度センサ54やジャイロセンサ55等で検出したユーザの移動距離や移動方向から位置の変化を算出して、ローカル座標系に配置してもよい。そして、グローバル位置情報を精度良く取得できる地点でグローバル位置情報を取得し、ローカル座標系の位置情報と対応付けることにより、例えば、連続して軌跡を取得しない場合や他人の軌跡情報を見る場合にも適用できる。
S114:ユーザにより撮影指示があるかどうかを判断し、撮影指示がある場合はS115へ進み、撮影指示がない場合はS116へ進む。なお、撮像部71の撮影機能では、静止画撮影と動画撮影の2つの撮影モードを用意している。これらを区別するため、例えば、静止画の撮影指示には音声コマンド「サツエイ」を、動画の撮影指示には音声コマンド「サツエイカイシ」を用いる。また、動画については撮影終了の指示として音声コマンド「サツエイオワリ」を用いる。
S115:HMD1の前方にある被写体を映像処理部5の撮像部71で撮影し(撮影データ取得機能14)、撮影データを記憶部40の各種データ42として保存する(撮影データ保存機能15)。
S115:HMD1の前方にある被写体を映像処理部5の撮像部71で撮影し(撮影データ取得機能14)、撮影データを記憶部40の各種データ42として保存する(撮影データ保存機能15)。
S116:ユーザにより軌跡情報取得処理の終了の指示がなされたかどうかを判断する。例えば、音声コマンド「キセキオワリ」により、軌跡収集処理の終了指示であると判断する。終了が指示された場合は、S117に進み軌跡情報取得処理を終了する。軌跡情報取得処理の終了が指示されなかった場合は、S118に進む。
S118:単位時間を経過したかどうかを判断する。具体的にはタイマーが単位時間を越えたかどうかで判断する。単位時間を経過した場合はS119へ進み、単位時間を経過していない場合はS114へ戻る。
S119:ポイント番号pに1を加算し、S112へ戻りタイマーをリセットして再度起動する。
S118:単位時間を経過したかどうかを判断する。具体的にはタイマーが単位時間を越えたかどうかで判断する。単位時間を経過した場合はS119へ進み、単位時間を経過していない場合はS114へ戻る。
S119:ポイント番号pに1を加算し、S112へ戻りタイマーをリセットして再度起動する。
以上の軌跡収集処理(S100)により、ユーザの軌跡ポイント(位置情報)を一定時間の間隔で収集することができる。例えばタイマーの単位時間を1秒に設定することで、HMD1の軌跡を1秒毎に保存することができる。また、これに並行してユーザの指示により途中の被写体を撮影し、保存することができる。
ここで、上記の軌跡収集処理(S100)により記憶部40に保存される軌跡情報データ(データテーブル)について、2つの方式を説明する。
図7Aは、位置情報を測定値のまま保存する軌跡情報保存テーブル710を示す。項目として、各軌跡ポイントの順序を示すポイント番号711と、その軌跡ポイントに対応する位置座標712から構成される。位置座標712は、GPS情報等からの平面的位置情報(X,Y)と高度センサ56による高度(Y)の値を用いる。ポイント番号0は軌跡収集処理が開始(S110)された時点の位置座標(X0,Y0,Z0)、ポイント番号1は単位時間(ここでは1秒とする)後の位置座標(X1,Y1,Z1)である。ポイント番号kは、k秒後にユーザから撮影指示(S114)があった時点の位置座標(Xk,Yk,Zk)である。ポイント番号nは開始からn秒後に軌跡収集処理が終了(S117)した時点の位置座標(Xn,Yn,Zn)である。
なお、データテーブルでは位置座標712は固定長サイズのデータなので、時系列に記録すれば、ポイント番号711のデータは省略できる。つまり、目的とするポイント番号pの位置座標のデータは、固定長サイズの倍数値pにより検索することができる。
ここで、GPS情報等から位置情報が取得できない場合は、センサ部50の加速度センサ54やジャイロセンサ55などの相対値情報(差分値情報)で一旦保存する。そして、いずれかの軌跡ポイントで、GPS情報等からの位置情報(絶対値情報)が取得できた段階で、一旦保存した相対値を絶対値に補正することで対応する。
図7Bは、位置情報を差分値で保存する差分軌跡情報保存テーブル720を示す。軌跡ポイント間で測定値の変化が少ない場合には、測定値そのままではなく差分値(変化量)で保存する方が、保存するデータ量を低減することができ実用的である。
項目として、ポイント番号721と、その軌跡ポイントに対応する差分位置座標722から構成される。差分位置座標722では、直前の軌跡ポイントの位置座標と、現時点での軌跡ポイントの位置座標との差分値を記述する。すなわち、平面位置座標の差分値(ΔX,ΔY)は、2つの軌跡ポイント間の経度方向の距離と緯度方向の距離で記述している。高さ方向の差分値(ΔZ)についても距離で記述する。
ポイント番号1は、軌跡収集処理が開始された時点から1秒後の差分位置座標(ΔX1,ΔY1,ΔZ1)、ポイント番号kはk秒後の差分位置座標(ΔXk,ΔYk,ΔZk)、ポイント番号nは軌跡収集処理が終了した時点(開始からn秒後)の差分位置座標(ΔXn,ΔYn,ΔZn)をそれぞれ示している。前記図7A(軌跡情報保存テーブル710)の位置座標712の値との関係は、
ΔXp=Xp-Xp-1,ΔYp=Yp-Yp-1,ΔZp=Zp-Zp-1
となる。
ΔXp=Xp-Xp-1,ΔYp=Yp-Yp-1,ΔZp=Zp-Zp-1
となる。
図7Cは、軌跡収集の開始時/終了時の位置情報を保存する始点・終点位置座標テーブル730を示す。このテーブルは、図7Bの差分軌跡情報保存テーブル720を用いて、アバターの表示位置(絶対位置)を算出するときに必要になる。
項目は、軌跡収集の開始点か終了点かを区別する始点/終点区別731と、それぞれの位置情報を絶対値で示す位置座標732から構成される。当然ながら、始点は、図7A(軌跡情報保存テーブル710)のポイント番号0での位置座標(X0,Y0,Z0)に等しく、終点は、ポイント番号nの位置座標(Xn,Yn,Zn)に等しい。
このように、始点と終点の位置情報(絶対値)732を保存しておけば、図7Bの差分軌跡情報保存テーブル720を図7Aの軌跡情報保存テーブル710に変換することができる。特に、終点の位置座標(Xn,Yn,Zn)を保存しておくことで、アバターの表示を効率良く実行できるようになる。その理由を説明する。
後述するように、アバターの表示は軌跡の終点(ポイント番号n)から時間を逆行させて行う。その際、表示を開始する終点の位置座標が分からない場合には、これを算出するために、図7Cの始点の位置座標(X0,Y0,Z0)に、図7Bの全ての差分位置座標722を加算せねばならなくなる。終点の位置座標(Xn,Yn,Zn)が分かっていれば、始めにその位置座標にアバターを表示する。次にアバターを表示する位置は、現在の位置座標から図7Cのポイント番号nにおける差分位置座標(ΔXn,ΔYn,ΔZn)を減算することで容易に算出できる。以後同様に繰り返せばよい。
これらの軌跡情報(軌跡情報保存テーブル710、差分軌跡情報保存テーブル720、始点・終点位置座標テーブル730)は、記憶部40の各種データ42に保存するだけでなく、図3で説明したように、ネットワーク5を介して外部のサーバ6に、軌跡ポイント毎もしくは軌跡情報のテーブルが完了した時点で、保存することもできる。サーバ6にデータを保存することにより、HMD1に保存するデータ量を削減することができる。
次に、撮影データの保存について説明する。撮影データは静止画と動画の両方に対応している。
図8Aは、静止画を保存する静止画データ格納テーブル810を示す。静止画データ格納テーブル810は、撮影指示があった時点の軌跡ポイントを示すポイント番号811、撮影方向を示す撮影方向812、撮影データサイズ813、撮影データ814から構成される。この例では、軌跡ポイントk(ポイント番号k)の地点で、HMD1がΘkの方向で撮影し、撮影データサイズMkの撮影データDkを、記憶部40の各種データ42に保存(S115)している。
図8Aは、静止画を保存する静止画データ格納テーブル810を示す。静止画データ格納テーブル810は、撮影指示があった時点の軌跡ポイントを示すポイント番号811、撮影方向を示す撮影方向812、撮影データサイズ813、撮影データ814から構成される。この例では、軌跡ポイントk(ポイント番号k)の地点で、HMD1がΘkの方向で撮影し、撮影データサイズMkの撮影データDkを、記憶部40の各種データ42に保存(S115)している。
前記した軌跡情報保存テーブル710と、本例の静止画データ格納テーブル810とを紐付けして保存することにより、単位時間(ここでは1秒)毎のHMD1の移動位置に同期して撮影した静止画映像を再生することができる。
図8Bは、動画を保存する動画データ格納テーブル820を示す。動画データ格納テーブル820は、図8Aの静止画の場合と同様に、撮影指示があった時点の軌跡ポイントを示すポイント番号821、撮影開始時の撮影方向822、撮影データサイズ823、撮影データ824から構成される。さらに動画の場合、撮影時刻(開始および終了)825を記述している。これは、動画撮影が複数の軌跡ポイントにまたがって撮影している場合に対応するためである。動画を単位時間毎(1秒毎)に再生すれば、アバター表示の時刻と同期させることができる。
この例では、軌跡ポイントk(ポイント番号k)の地点で、HMD1がΘkの方向で開始時刻Tksから撮影を開始し、終了時刻Tkeまで撮影したデータサイズMkの撮影データDkを、記憶部40の各種データ42に保存(S115)している。動画データの再生は、HMDの表示画面全体でも良いが、本例では、縮小子画面で表示し、動画撮影開始時刻Tksから動画撮影終了時刻Tkeまで再生する。
これらの撮影データの情報(静止画データ格納テーブル810、動画データ格納テーブル820)についても、図3で説明したように、ネットワーク5を介して外部のサーバ6に保存することにより、HMD1に保存すべきデータ量を削減することができる。
次に、HMD1のアバター表示処理(S200)について説明する。この処理手順は、記憶部40の各種プログラム41に格納されている。アバターの表示は、アバター情報保存機能16からアバター情報を抽出して(アバター生成機能17)、HMD1の表示部72にアバターを表示する(アバター表示機能18)。アバターの形状は、ユーザと等身大の大きさで、アバターの身長はユーザ自身が設定する。便宜的には、起立した状態で、センサ部50の距離センサ53により、地面からの距離(HMD1の地面からの高さ)に10cmを加えた高さを身長とすることもできる。アバターの表示位置は、軌跡情報保存テーブル710等に保存されている位置情報に従い、HMDの表示部72に背景映像に重畳して表示する。
使用する軌跡情報や撮影データが、HMD内の各種データ42に保存されている場合はその軌跡情報や撮影データを使用するが、通信処理部60のLAN通信部61を介して外部のサーバ6に保存している場合は、サーバ6から入手して使用する。
本実施例では、ユーザの軌跡ポイントに基づいて、時間的に新しい軌跡情報から古い軌跡情報へ逆戻りさせてアバターを表示する。このように時間的に逆行した表示順とすることで、ユーザは終点(現在地点)から始点(出発地点)まで実際に通過した同じ経路で戻ることができる。
図9Aは、アバター表示処理(S200)の全体を示すフローチャートである。
S210:アバター表示処理(S200)を開始する。本例では、ユーザがアバター表示開始を意味する音声コマンド「アバターカイシ」を発声することにより、アバター表示開始指示と判断する。
S210:アバター表示処理(S200)を開始する。本例では、ユーザがアバター表示開始を意味する音声コマンド「アバターカイシ」を発声することにより、アバター表示開始指示と判断する。
S211:ユーザが装着している現時点のHMD1の位置と方向を検出する。検出方法は前記軌跡収集処理(S100)におけるS113と同様に、センサ部50のGPSセンサ51、地磁気センサ52、高さセンサ56等で行う。
S212:軌跡情報保存テーブル710(または差分軌跡情報保存テーブル720)を参照し、現時点のHMD1の位置に最も近い位置座標のポイント番号sを検索する。すなわち、現在位置が軌跡収集の終点であればs=nとなるが、もしユーザがその後終点から移動した場合にはs≠nとなることもある。
S213:表示するポイント番号mの初期値として、現在位置に最も近いポイント番号sを設定する。これにより、ユーザの現在位置に近い軌跡ポイントから表示を行うことができる。
S212:軌跡情報保存テーブル710(または差分軌跡情報保存テーブル720)を参照し、現時点のHMD1の位置に最も近い位置座標のポイント番号sを検索する。すなわち、現在位置が軌跡収集の終点であればs=nとなるが、もしユーザがその後終点から移動した場合にはs≠nとなることもある。
S213:表示するポイント番号mの初期値として、現在位置に最も近いポイント番号sを設定する。これにより、ユーザの現在位置に近い軌跡ポイントから表示を行うことができる。
S214:タイマーを起動する。タイマーは、主制御部10に内蔵されているクロックを用いる。タイマーを使用するのは、ユーザの軌跡が一定時間間隔(単位時間)で収集されているので、これに合わせて表示するためである。ただし、アバター表示に使用する単位時間を、軌跡収集処理の単位時間と異ならせ、任意の係数を乗じた時間とすることもできる。例えば、アバター表示に使用する単位時間を、1/2の時間(本例では0.5秒)に設定すれば、表示したアバターを2倍速で移動させることができる。逆に、アバター表示に使用する単位時間を、2倍の時間(本例では2秒)に設定すれば、表示したアバターを1/2速(スロー)で移動させることができる。また、軌跡ポイントと軌跡ポイントとの間にアバターを順次(例えば1/24秒毎)補間して表示することにより、アバターを動画表示(アニメーション)することもできる。
S215:アバターを表示する位置と方向を算出する。軌跡情報が軌跡情報保存テーブル710に保存されている場合は、ポイント番号mに対応する位置座標712の値(Xm,Ym,Zm)を読み出して、アバターを平面的位置(Xm,Ym)、高度(Zm)に配置する。
軌跡情報が差分軌跡情報保存テーブル720に保存されている場合は、ポイント番号(m+1)における差分位置座標722の値(差分値)を読み出して、前回の表示位置(ポイント番号=m+1)から減算する。すなわち、
Xm=Xm+1-ΔXm+1,Ym=Ym+1-ΔYm+1,Zm=Zm+1-ΔZm+1
となる。ただし、初回(m=s)については、始点・終点位置座標テーブル730に記述された終点の位置座標(Xn,Yn,Zn)、およびポイント番号sまでの差分位置座標722の値を用いて算出する。
アバターの向いている方向は、便宜的に、前回の軌跡ポイント(m+1)と今回の軌跡ポイント(m)を結ぶ方向とする。
軌跡情報が差分軌跡情報保存テーブル720に保存されている場合は、ポイント番号(m+1)における差分位置座標722の値(差分値)を読み出して、前回の表示位置(ポイント番号=m+1)から減算する。すなわち、
Xm=Xm+1-ΔXm+1,Ym=Ym+1-ΔYm+1,Zm=Zm+1-ΔZm+1
となる。ただし、初回(m=s)については、始点・終点位置座標テーブル730に記述された終点の位置座標(Xn,Yn,Zn)、およびポイント番号sまでの差分位置座標722の値を用いて算出する。
アバターの向いている方向は、便宜的に、前回の軌跡ポイント(m+1)と今回の軌跡ポイント(m)を結ぶ方向とする。
S216:現時点のHMD1の位置と方向を検出する。これはS211と同じ処理であり、初回(m=s)についてはS211で検出済みなので省略できる。
S217:視界算出機能19により、現時点のHMD1の位置と方向から、HMD1の表示領域、すなわちユーザの視野領域を求め、S215で算出したアバターの配置位置が表示領域内かどうかを判断する。HMD1の表示領域内にアバターを配置できると判断した場合はS218へ進み、アバターを配置できないと判断した場合はS300の救済処理を行う。S300の救済処理では、ユーザに対し視野方向を変えさせるとかユーザをアバターの見える位置まで移動させるなどの誘導処理を行うもので、詳細は図9Bで後述する。このS217の判断処理とS300の救済処理により、ユーザの視界内にアバターを配置させることができ、ユーザはアバターを見失うことなく、あるいはアバターを追い越すことなく移動(追跡)することができる。
S217:視界算出機能19により、現時点のHMD1の位置と方向から、HMD1の表示領域、すなわちユーザの視野領域を求め、S215で算出したアバターの配置位置が表示領域内かどうかを判断する。HMD1の表示領域内にアバターを配置できると判断した場合はS218へ進み、アバターを配置できないと判断した場合はS300の救済処理を行う。S300の救済処理では、ユーザに対し視野方向を変えさせるとかユーザをアバターの見える位置まで移動させるなどの誘導処理を行うもので、詳細は図9Bで後述する。このS217の判断処理とS300の救済処理により、ユーザの視界内にアバターを配置させることができ、ユーザはアバターを見失うことなく、あるいはアバターを追い越すことなく移動(追跡)することができる。
S218:HMD1の表示領域内にアバターが表示できると判断した場合は、アバター情報保存機能16からアバター情報を読み出してアバターを生成する。そして、HMD1の表示部72に、S215で算出したアバターの表示位置と方向となるようアバターを表示する。
S219:静止画データ格納テーブル810または動画データ格納テーブル820を参照し、表示している現在のポイント番号mが撮影ポイントkであるかどうかを判断する。軌跡ポイントが撮影ポイントであると判断した場合は、S220へ進む。撮影ポイントでないと判断した場合は、S222へ進む。
S220:現時点が撮影ポイントであることを報知する。撮影ポイントの報知方法は、表示中のアバターの色を変えたり、アバターをブリンク(点滅)させたりすることでユーザに知らせる。
S221:ユーザの指示により、静止画データ格納テーブル810または動画データ格納テーブル820から該当する撮影データを読み出して再生する。撮影データの再生は、音声コマンド「サイセイ」により実行する。撮影データの再生は、HMDの表示画面全体でも良いが、本例では、縮小子画面で表示し、一定の時間表示を継続した後に撮影データの再生を終了する。
S220:現時点が撮影ポイントであることを報知する。撮影ポイントの報知方法は、表示中のアバターの色を変えたり、アバターをブリンク(点滅)させたりすることでユーザに知らせる。
S221:ユーザの指示により、静止画データ格納テーブル810または動画データ格納テーブル820から該当する撮影データを読み出して再生する。撮影データの再生は、音声コマンド「サイセイ」により実行する。撮影データの再生は、HMDの表示画面全体でも良いが、本例では、縮小子画面で表示し、一定の時間表示を継続した後に撮影データの再生を終了する。
S222:ユーザにより、アバター表示処理の終了が指示されたかどうかを判断する。例えば、音声コマンド「アバターオワリ」により、アバター表示処理の終了指示であると判断する。アバター表示処理の終了が指示された場合は、S226へ進み、アバター表示処理を終了する。
S223:単位時間を経過したかどうかを判断する。単位時間を経過したと判断した場合は、S224へ進む。単位時間を経過しないと判断した場合は、S222へ戻る。
S224:ポイント番号mから1を減算して新しいポイント番号とする。これにより、時間的に遡った1つ前の軌跡ポイントに戻る。
S223:単位時間を経過したかどうかを判断する。単位時間を経過したと判断した場合は、S224へ進む。単位時間を経過しないと判断した場合は、S222へ戻る。
S224:ポイント番号mから1を減算して新しいポイント番号とする。これにより、時間的に遡った1つ前の軌跡ポイントに戻る。
S225:新しいポイント番号mの値が0未満になったかどうか(すなわち軌跡の始点m=0を越えたかどうか)を判断する。ポイント番号mの値が0未満にならなかった場合は、S214に戻り、次の軌跡ポイントについてアバター表示を継続する。ポイント番号mの値が0未満になった場合は、全ての軌跡ポイントでのアバターの表示が完了しているので、S226に進みアバター表示処理を終了する。
図9Bは、図9Aにおける救済処理(S300)を示すフローチャートである。この処理は、S217の判定でNoの場合、すなわちアバターを表示領域内に配置できない場合に実施する。処理終了後はS211へ戻る。
S301:視界算出機能20により、HMD1の方向転換でアバターを配置可能かを判断する。可能であればS302へ進み、不可能である場合はS303へ進む。
S302:HMDがアバターの存在方向に向いていない場合に該当するので、ユーザにHMDの方向を転換するように音声又は表示でガイドする。例えば、音声処理部80の音声復号部83により音声ガイド「ミギ」、「ヒダリ」等を発生する。その際、アバターを画面に出して発声させても良い。その後、S211へ戻る。
S302:HMDがアバターの存在方向に向いていない場合に該当するので、ユーザにHMDの方向を転換するように音声又は表示でガイドする。例えば、音声処理部80の音声復号部83により音声ガイド「ミギ」、「ヒダリ」等を発生する。その際、アバターを画面に出して発声させても良い。その後、S211へ戻る。
ここで図10Aは、S302の方向転換ガイド表示の例を示す図である。表示画面400にアバター3が出現して、右側にアバターが存在する旨のメッセージ401を表示している。これに呼応してユーザが右側を向くと、図9AのS216でHMDの新たな方向を検出する。S217の判定では新たな表示領域内にアバターが存在することになり、S218でアバターを表示することができる。
S303:S301でHMD1の方向転換ではアバターの配置が不可能な場合、現在位置が軌跡収集したいずれのポイントからも離れている場合と考えられる。そこで、ユーザを近接ポイントへ誘導するために、地図情報が取得できるかどうかを判断する。例えば、ナビゲーションアプリを利用できる場合はS304へ進む。地図情報が取得できない場合はS306へ進む。
S304:ナビゲーションアプリを利用して、S212で検索した最も近い軌跡ポイントsへのルート解析を行う。
S305:軌跡ポイントsまでのルート情報(新たな軌跡ポイント)を軌跡情報保存テーブル710に追加する。その後S211へ戻り、追加した軌跡ポイントを含めてアバターの表示対象位置となる。その結果、S217ではHMDの表示領域内にアバターが配置されることになり、S218でアバターを表示することができる。
S305:軌跡ポイントsまでのルート情報(新たな軌跡ポイント)を軌跡情報保存テーブル710に追加する。その後S211へ戻り、追加した軌跡ポイントを含めてアバターの表示対象位置となる。その結果、S217ではHMDの表示領域内にアバターが配置されることになり、S218でアバターを表示することができる。
S306:S303で地図情報を取得できない場合は、最も近い軌跡ポイントsへの移動方角をユーザに提示する。提示方法は、音声またはAR表示で行う。その後、S211へ戻る。ユーザは提示された方角に移動すると、最も近い軌跡ポイントsへ近づくことができる。その結果、S217では表示領域内にアバターが配置されることになり、S218でアバターを表示することができる。
ここで図10Bは、S306の移動方角ガイド表示の例を示す図である。表示画面400には、ユーザが移動すべき方角をAR表示402により知らせている。AR表示402は進む方向が分かればよく、文字やアイコン(矢印)等を用いている。
以上のように、アバターをHMD表示領域に配置できないと判断した場合は、S300の救済処理を行うことで、ユーザをアバターの見える位置や方向に誘導することができる。これにより、ユーザはアバターを見失うことなく移動(追跡)することができる。
図11Aと図11Bは、アバターの表示例を示す図である。この例は、前記図5に示した軌跡収集時の模式図に対応させている。
図11Aの表示画面400では、軌跡収集したHMDの各軌跡ポイントを時間的に逆行させてアバター3を表示する。すなわち、アバター3の表示位置を軌跡ポイント504、503、502、501(●印で表示)の順に、矢印方向に移動させて表示する。この中で軌跡ポイント503は撮影ポイントkであるので、他の位置と識別するため◎印で表示している。また、軌跡収集処理の過程でユーザ2(HMD)が向いていた方向を再現するため、アバター3を移動させるときの体の向きを、アバター3の進行方向とは逆向き(後ろ向き)の姿勢として、元来た経路を戻る様子を示している。
図11Aの表示画面400では、軌跡収集したHMDの各軌跡ポイントを時間的に逆行させてアバター3を表示する。すなわち、アバター3の表示位置を軌跡ポイント504、503、502、501(●印で表示)の順に、矢印方向に移動させて表示する。この中で軌跡ポイント503は撮影ポイントkであるので、他の位置と識別するため◎印で表示している。また、軌跡収集処理の過程でユーザ2(HMD)が向いていた方向を再現するため、アバター3を移動させるときの体の向きを、アバター3の進行方向とは逆向き(後ろ向き)の姿勢として、元来た経路を戻る様子を示している。
図11Bの表示画面400は、軌跡ポイント503でのアバター3の表示状態を示す。軌跡ポイント503は曲がり角なので、アバター3の向きを変えている。またこの軌跡ポイント503は撮影ポイントであるので、アバター3の色を変えて表示している。ここでユーザが撮影データの再生を指示すると、撮影ポイントにて撮影した被写体510の画像510’が表示される。
本例では、戻り経路の道順をユーザに知らせるため、表示画面400上に軌跡ポイント(●印)と進行方向(矢印)を表示しているが、これらを非表示とすることもできる。
また、アバターの軌跡ポイントを単位時間(1秒)毎に表示しているが、これに限らず、他の時間間隔で表示することもできる。例えば、1/24秒毎に補間して表示すると、アバターが映画のような滑らかな動画で表示される。
また、アバターの軌跡ポイントを単位時間(1秒)毎に表示しているが、これに限らず、他の時間間隔で表示することもできる。例えば、1/24秒毎に補間して表示すると、アバターが映画のような滑らかな動画で表示される。
次に、HMD1に対するユーザの操作方法について説明する。上記したように、本実施例では、ユーザの操作として音声コマンドを使用している。
図12は、HMDの操作に使用する音声コマンドの例を示すテーブルである。音声コマンドテーブル600の項目は、コマンドの分類601と、ユーザの発する音声コマンド602と、コマンドの名称603と、処理内容604から構成されている。
図12は、HMDの操作に使用する音声コマンドの例を示すテーブルである。音声コマンドテーブル600の項目は、コマンドの分類601と、ユーザの発する音声コマンド602と、コマンドの名称603と、処理内容604から構成されている。
音声コマンドの分類601は、軌跡収集関連とアバター表示関連に分けられる。軌跡収集関連の音声コマンド602には、軌跡収集処理を開始する「キセキカイシ」「キセキスタート」、軌跡収集処理を終了する「キセキオワリ」「キセキエンド」、静止画を撮影する「サツエイ」「キロク」、動画撮影を開始する「サツエイカイシ」「キロクスタート」、動画撮影を終了する「サツエイオワリ」「キロクエンド」などがある。
アバター表示関連の音声コマンド602には、アバター表示処理を開始する「アバターカイシ」「アバタースタート」、アバター表示処理を終了する「アバターオワリ」「アバターエンド」、静止画もしくは動画を再生する「サイセイ」「サツエイデータ」などがある。なお、ここに掲げた音声コマンドは一例であり、ユーザの好みに応じて適宜設定できることは言うまでもない。
一方HMD1は、音声処理部80の音声復号部83の音声合成機能を用いて、ユーザの発した音声コマンドに対応する音声応答を行なうことができる。その結果、例えば、ユーザの音声コマンドと同じ音声(オウム返し)で応答することや、ユーザの音声コマンドの確認の音声応答などが可能となる。例えば、HMDからの問合せ「XXデスネ?」に対して、ユーザの返答が「ハイ」ならば確認の音声「XXヲジッコウシマス」で応答し、ユーザの返答が「イイエ」ならば確認の音声「XXヲトリケシマス」で応答する。なお、ユーザが返答で用いる音声コマンド「ハイ」、「イイエ」は図12には記載していないが、これらも音声コマンドテーブル600に含まれることは言うまでもない。
さらに、音声復号部83の音声合成機能を用いて、右方向への回転を促す音声「ミギ」や、左方向への回転を促す音声「ヒダリ」などの合成音声を発生させることができる。これは、図9BのS306の工程で利用することができる。
さらに、音声復号部83の音声合成機能を用いて、右方向への回転を促す音声「ミギ」や、左方向への回転を促す音声「ヒダリ」などの合成音声を発生させることができる。これは、図9BのS306の工程で利用することができる。
HMD1に対する操作指示は、音声コマンド以外の方法でも実現できる。例えば、HMD1の表示画面に操作メニューを表示して、ユーザがジェスチャー(手・指の動き)で選択するものである。その場合、映像処理部70の撮像部71によりユーザの指を撮影し、その撮影映像から指の動きを認識して操作に利用することができる。
図13は、ユーザの指による操作指示を説明する図である。HMD1の操作画面410には、選択メニューとして、例えば「写真」メニュー411と、「ビデオ」メニュー412が表示されている。メニュー表示は、半透明とするのが好ましいがこれに限定する訳ではない。
ユーザが例えば「ビデオ」メニュー412を選択するため、指415をHMD1の外側から表示画面410に近づけると、撮像部71は、表示画面410に向かって次第に大きくなる指映像415を検出する。また、指映像415が「ビデオ」メニュー412に向かっていることを認識し、「ビデオ」が選択指定されたと判断する。それ以外の操作として、軌跡収集やアバター表示の開始時は、単に「開始」メニューのみを表示し、終了時は単に「終了」メニューを表示する。そして、撮像部71によるユーザの指映像415の接近を検出して、開始または終了が指示されたと判断する。
これ以外に、HMD1の操作入力部90にタッチセンサを設け、HMD1にユーザの手や指が触れたことを検出する方式でも良い。
これ以外に、HMD1の操作入力部90にタッチセンサを設け、HMD1にユーザの手や指が触れたことを検出する方式でも良い。
実施例1によれば、移動の際に途中立ち寄った場所や戻り経路を失念したユーザに対し、戻り経路を分かりやすく案内することができる
実施例1では、HMDの位置座標を3次元(X,Y,Z)で保存していたが、実施例2では、2次元(X,Y)の位置座標で保存する場合について説明する。実施例2におけるHMDの基本構成は実施例1と同様であり、実施例1との相違点について説明する。
通常の平坦な地面での移動状態では高さ方向の変化は少ないので、高さ方向のデータを省略しても、平面位置座標に基づきアバターを表示させることができる。軌跡収集処理は実施例1(図6)と同じフローチャート(S100)で行う。そして、収集したデータを、図14Aと図14Bに示すテーブルで保存する。
図14Aは、2次元軌跡情報保存テーブル740を示すが、ここでは位置情報を差分値で保存している。項目として、各軌跡ポイントの番号を示すポイント番号741と、その軌跡ポイントの平面位置を示す差分位置座標742から構成される。差分位置座標742は前記図7Bのように、位置座標の絶対値ではなく、隣接する軌跡ポイント間の差分値(変化量)として、保存するデータ量を低減させている。
本例では、単位時間を1秒に設定しているので、ポイント番号1は、軌跡収集処理が開始された時点から1秒後の差分位置座標(ΔX1,ΔY1)、ポイント番号kはk秒後の差分位置座標(ΔXk,ΔYk)、ポイント番号nは軌跡収集処理が終了した時点(開始からn秒後)の差分位置座標(ΔXn,ΔYn)をそれぞれ示している。差分位置座標の求め方は、実施例1(図7B)と同様である。
図14Bは、軌跡収集の開始時/終了時の位置情報を保存する2次元始点・終点位置座標テーブル750を示す。このテーブルは、図14Aの2次元差分軌跡情報保存テーブル740を用いて、アバターの表示位置(絶対位置)を算出するときに必要になる。
項目は、軌跡収集の開始点か終了点かを区別する始点/終点区別751と、それぞれの位置情報を絶対値で示す位置座標752から構成され、前記図7Cと同様である。ただし位置座標752において、始点の位置座標(X0,Y0,Z0)のみが高さ方向の位置座標(Z0)を保存している。これは、軌跡情報取得中に高度変化量が所定の値(閾値)を超えた場合に対応するためである。
実施例2では2次元の位置座標のみを扱っているが、高度が変化する場合については次のように処理する。
坂道を上る(下る)場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が直線的であり、HMDの高度の変化(ΔZ)も直線的になる。階段を上る(下る)場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が階段幅分であり、HMDの高度の変化(ΔZ)も階段の段差分になる。
坂道を上る(下る)場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が直線的であり、HMDの高度の変化(ΔZ)も直線的になる。階段を上る(下る)場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が階段幅分であり、HMDの高度の変化(ΔZ)も階段の段差分になる。
エスカレータの場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が直線的であり、HMDの高度の変化(ΔZ)も直線的になる。坂道との識別は、エスカレータの方が加速度の変化量が少ないことから判別する。エレベータの場合は、HMDの平面的位置座標がほとんど変化しないで(ΔX=0,ΔY=0)、HMDの高度のみが変化する(ΔZ≠0)。
このように、坂道、階段、エスカレータ、エレベータ等で移動する場合は、平面的位置座標と高度の検出値にそれぞれ特徴的な変化(ΔX,ΔY)、(ΔZ)が生じるので、アバターを表示する際には、この変化を捉えて経路情報(坂道、階段、エスカレータ、エレベータ等)を表示する。また、坂道、階段、エスカレータ、エレベータ等の映像と重畳して表示することで、臨場感にあふれたアバターを表示できる。さらに、地下街マップ等の地図情報とリンクすることにより、大きな効果が得られる。
高度変化量が所定の値(閾値)を超えた場合は、2次元の軌跡情報保存テーブル740,750による軌跡収集処理を軌跡Aとして終了する。そして新規に、実施例1の3次元の軌跡情報保存テーブル710~730による軌跡収集処理に移行し、軌跡Bとする。その後、高度変化量が閾値に収まった場合に、2次元の軌跡情報保存テーブル740,750による軌跡収集処理を再開して軌跡Cとする。
この手法により、保存するデータ量を極力少なくすることができる。勿論、実施例2の2次元軌跡情報保存テーブル740,750から、実施例1の3次元の軌跡情報保存テーブル710~730に変換することも可能である。
この手法により、保存するデータ量を極力少なくすることができる。勿論、実施例2の2次元軌跡情報保存テーブル740,750から、実施例1の3次元の軌跡情報保存テーブル710~730に変換することも可能である。
前記した実施例1,2では、センサ部50のGPSセンサ51によりGPS情報(位置情報)の取得が比較的容易な屋外を想定したが、地下街や屋内のようにGPS情報の取得が困難な場合がある。GPS情報が取得できない場合は、センサ部50の加速度センサ54やジャイロセンサ55などからの情報により補完する。
始点から終点まで一度もGPS情報等から位置情報が取得できなかった場合は、始点の位置座標がX0=0,Y0=0のまま格納する。その場合は、高さの位置座標についても、Z0=0として格納する。さらに、終点の位置座標については、始点から終点までの全ての差分位置座標を積算して算出する。
実施例1では、アバター表示の際、アバターの向きを進行方向と逆にして、後ろ向きでアバターを進行させた。これに対し実施例3では、アバターの向きを進行方向に向けて表示する。
図15は、実施例3におけるアバター表示の模式図である。表示画面400において、アバター3を進行方向に向く姿勢(前向き)で表示している。すなわち、現在の軌跡ポイント503から次の軌跡ポイント502へのベクトル方向にアバター3の向きを設定している。これにより、実施例1(図11B)に示したようなアバターの向きにより生じるユーザの違和感(アバターの進行方向とアバターの向きが一致しないこと)を解消することができる。
図15は、実施例3におけるアバター表示の模式図である。表示画面400において、アバター3を進行方向に向く姿勢(前向き)で表示している。すなわち、現在の軌跡ポイント503から次の軌跡ポイント502へのベクトル方向にアバター3の向きを設定している。これにより、実施例1(図11B)に示したようなアバターの向きにより生じるユーザの違和感(アバターの進行方向とアバターの向きが一致しないこと)を解消することができる。
なお、アバターの向きを前向き(実施例3)にするか、あるいは後ろ向き(実施例1)にするかは、ユーザの好みにも依存する。よって、アバターの向きをいずれの表示形態にするかをユーザが選択して設定できる構成がより好ましい。
実施例4では、HMDの視界に建物等が存在し、アバターがその陰に位置するときにはアバターを非表示にする。
図16は、実施例4におけるアバター表示の模式図である。ここでは、アバター3を後ろ向きで進行させている。そして移動経路の近くに建物521と建物522が存在し、アバター3が建物521で隠れる場合を示している。このような場合には、アバター3は建物521により隠れる部分を表示しないように制御する。アバター3が隠れるか否かは、建物521、522とアバター3までの距離を比較することで判断でき、建物521、522までの距離は距離センサ53で測定可能である。
図16は、実施例4におけるアバター表示の模式図である。ここでは、アバター3を後ろ向きで進行させている。そして移動経路の近くに建物521と建物522が存在し、アバター3が建物521で隠れる場合を示している。このような場合には、アバター3は建物521により隠れる部分を表示しないように制御する。アバター3が隠れるか否かは、建物521、522とアバター3までの距離を比較することで判断でき、建物521、522までの距離は距離センサ53で測定可能である。
これにより、HMDを介して視認できる実空間にアバターを重ねて表示するとき、違和感のない現実的な表示が可能になる。なお、アバター全体が隠れてこれを完全に非表示にすると、それ以降追跡することができなくなる恐れがある。そこで、隠れたアバターの部分を半透明に表示することで、追跡可能にする構成でも良い。
建物521や建物522の映像は、例えば、道路沿いの風景をパノラマ写真で提供するインターネットサービスであるのストリートビュー(Google社)などを利用して表示することもできる。また、HMD1の位置・方向により、建物等に付随する建物等の名称なども利用することができる。
実施例5では、撮影の指示をユーザではなく、自動的に撮影する構成とする。
HMDの撮像部71は、始点から撮影を開始し、現時点から一定時間(例えば、軌跡収集処理で使用する軌跡ポイント間の単位時間の2倍の長さ)の映像を、常にループ撮影して一時保存する。これにより自動的に撮影される映像は、現時点から一定時間(例えば2秒)だけ遡った動画もしくは静止画となる。静止画の場合は、軌跡ポイントと次の軌跡ポイントとの間に、1個もしくは2個程度の静止画を一時保存するだけで十分機能は発揮できる。そして、移動経路中の特異箇所、例えば移動方向を変えた地点において撮影した映像を残すようにする。
HMDの撮像部71は、始点から撮影を開始し、現時点から一定時間(例えば、軌跡収集処理で使用する軌跡ポイント間の単位時間の2倍の長さ)の映像を、常にループ撮影して一時保存する。これにより自動的に撮影される映像は、現時点から一定時間(例えば2秒)だけ遡った動画もしくは静止画となる。静止画の場合は、軌跡ポイントと次の軌跡ポイントとの間に、1個もしくは2個程度の静止画を一時保存するだけで十分機能は発揮できる。そして、移動経路中の特異箇所、例えば移動方向を変えた地点において撮影した映像を残すようにする。
自動撮影の具体的動作を、前記図5の軌跡収集模式図を用いて説明する。図5において、軌跡ポイント504の時点では、軌跡ポイント502から軌跡ポイント504までの映像(単位時間の2倍の長さ)が一時保存されている。ただし、軌跡ポイント503において移動方向(ポイント間の移動ベクトル)が90度変化している。そこで、移動ベクトルの方向が大きく変化する直前の映像として、軌跡ポイント502から軌跡ポイント503までに撮影した映像を自動的に保存する。保存する軌跡ポイント503の映像データは、動画(軌跡ポイント503までに撮影した動画フレーム)でも、静止画(軌跡ポイント503の撮影データ)でも良い。
実施例5の撮影方法によれば、ユーザが進行方向を変えた場合に進行方向を変える直前の進行方向の映像が保存されるので、ユーザの記憶を呼び起こすのに最適な映像を表示することができる。
実施例6では、軌跡収集処理においてユーザの姿勢等の情報も収集して、アバターを表示する際に反映させるようにした。
例えば、センサ部50の距離センサ53により、地面もしくは床面からHMD1までの距離(すなわちユーザの頭部の高さ)を検出し、軌跡ポイント毎に収集する。この検出値をユーザの身長(既知)と比較することで、HMD1を装着したユーザの姿勢(立っている、座っている、しゃがんでいる、寝ている等)を推定することができる。この姿勢情報を表示するアバターに反映させて、立っているアバターや座っているアバターなどの表示を行う。
例えば、センサ部50の距離センサ53により、地面もしくは床面からHMD1までの距離(すなわちユーザの頭部の高さ)を検出し、軌跡ポイント毎に収集する。この検出値をユーザの身長(既知)と比較することで、HMD1を装着したユーザの姿勢(立っている、座っている、しゃがんでいる、寝ている等)を推定することができる。この姿勢情報を表示するアバターに反映させて、立っているアバターや座っているアバターなどの表示を行う。
また、センサ部50の地磁気センサ52により、HMD1を装着したユーザの顔の向きが分かる。この顔の向きの情報を表示するアバターに反映させ、軌跡ポイント毎にアバターの顔の向き変えるようにする。なお、アバターの体の向きは、顔の向きで推定して変化させても良いが、軌跡ポイント間のベクトル情報(進行方向)に合わせても良い。これらの表示により、より臨場感のあるアバターを表示することができる。
実施例7では、軌跡収集処理において各軌跡ポイントを通過した時刻を記憶しておき、アバター表示の際、表示画面に通過時刻を表示する。
図17Aは、実施例7における軌跡情報保存テーブル710’の例を示す。実施例1(図7A)の軌跡情報保存テーブル710に対し、各軌跡ポイントを通過した通過時刻713を追加して記載している。
図17Aは、実施例7における軌跡情報保存テーブル710’の例を示す。実施例1(図7A)の軌跡情報保存テーブル710に対し、各軌跡ポイントを通過した通過時刻713を追加して記載している。
図17Bは、アバターの表示例を示す図である。表示画面400には、アバター3の表示とともに通過時刻420を表示している。この時刻は、図17Aの軌跡情報保存テーブル710’において、現在アバターを表示しているポイント番号711に対応する通過時刻713を参照すればよい。
このように実施例7によれば、現在表示している軌跡ポイントをユーザがいつ通過したかが表示されるので、ユーザの記憶を呼び起こすのに有効な情報となる。
実施例8では、携帯型の映像表示装置としてHMDの代わりにスマートフォンを使用する場合について説明する。スマートフォンは、HMDとほぼ同じハードウェア構成及びソフトウェア構成を有し、同等の機能を実現できる。
図18は、スマートフォン9の外観を示す図であり、(a)は映像を表示する正面側、(b)はカメラを有する背面側である。
(b)に示すように背面側にはカメラ901を有し、外景を撮影する。スマートフォン9の内部には、3次元位置やカメラ901の方向を検出するセンサを有し、HMDと同等に軌跡情報を収集することができる。
(b)に示すように背面側にはカメラ901を有し、外景を撮影する。スマートフォン9の内部には、3次元位置やカメラ901の方向を検出するセンサを有し、HMDと同等に軌跡情報を収集することができる。
(a)に示すように正面側には、タッチパネルが組み込まれた表示画面902を有し、外景にカメラ901を向けて撮影した映像を表示する。そして表示画面902には、表示されている外景の映像に合わせ、前記収集した軌跡情報に基づき、実施例1(図11A)と同様にアバター3を重畳して表示することができる。
HMDと比較するとスマートフォン9の場合には、軌跡情報収集における撮影処理では、その都度カメラ901を被写体に向けて撮影する必要があり、撮影ポイントが多くなると撮影操作が煩雑になる。また、自動撮影については、ユーザがカメラ901の撮影方向を一定に維持するのは、現実的でないなどの欠点もある。しかしながら、既存のスマートフォンで軌跡情報収集をすることができるので、利便性が向上する。但し、ユーザが撮影しながら移動するには困難が伴うので、主要なポイントのみ単独で行なう方が現実的である。
ここでは、携帯型の映像表示装置としてスマートフォンを例に挙げたが、同等及び近似のハードウェア構成やソフトウェア構成があれば、本実施例の動作を実現することができる。例えば、ノートPCやタブレットPC等にも適用可能である。
実施例9では、HMDを装着した複数のユーザが連携して使用する映像表示システムについて説明する。
図19は、複数のHMDを接続した映像表示システムの構成を示す図である。ここでは、2人のユーザ2a,2bの場合を示し、それぞれHMD1aとHMD1bを装着している。2人以外の場合も同様である。
図19は、複数のHMDを接続した映像表示システムの構成を示す図である。ここでは、2人のユーザ2a,2bの場合を示し、それぞれHMD1aとHMD1bを装着している。2人以外の場合も同様である。
ユーザ2aが装着したHMD1aは、無線ルータ4a及びネットワーク5を介して外部のサーバ6に接続されている。また、ユーザ2bが装着したHMD1bは、無線ルータ4b及びネットワーク5を介して、同じサーバ6に接続されている。HMD1a(ユーザ2a)とHMD1b(ユーザ2b)が近距離の場合は、無線ルータ4a,4bを共通とすることができる。
この場合、それぞれのHMD1a,1bではそれぞれのユーザ2a,2bの軌跡収集を行う。そして、HMD1aを装着したユーザ2aの軌跡情報と、HMD1bを装着したユーザ2bの軌跡情報は、共通のサーバ6に保存する。その後、サーバ6から2人の軌跡情報を読み出して、それぞれのHMD1a,1bにて、2人の仮想映像である2つのアバターとして表示する。これにより、それぞれの軌跡をアバターにより相互に参照することができる。
図20は、複数のアバターの表示例を示す模式図である。例えばHMD1aの表示画面400aには、HMD1aを装着したユーザ2aのアバター3aに加えて、HMD1bを装着したユーザ2bのアバター3bが表示されている。そして、2人が行動した軌跡520a、520bがそれぞれの軌跡ポイント(●印と▲印)で表示され、2人の位置関係を時間を逆行させて表示することができる。この例では軌跡ポイント521の交差点で2人が合流したことが分かる。HMD1bの表示画面400bでも、同様に表示される。
このように実施例9によれば、複数のユーザのお互いの軌跡を相互に確認することができる。この結果付随的な効果として、軌跡収集中に他のユーザが視界から外れた場合、他のユーザの位置を即座に知ることができる。
本実施例の実用的な形態として、Bluetooth(登録商標)などの近距離無線通信を用いて、携帯型情報端末間で通信を行うことにより、無線ルータ4やネットワーク5を介したサーバ6を使用しない構成も可能である。例えば、親子連れで移動中に子供にスマートフォンを携帯させ、子供が行方不明になったような場合に、親のHMDまたはスマートフォンで即座に探すことができる。
以上、本発明の実施形態の例を実施例1~9を用いて説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めHMD1の各種プログラム41等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
1…HMD(映像表示装置)、2…ユーザ、3…アバター、4…無線ルータ、5…ネットワーク、6…サーバ、9…スマートフォン(映像表示装置)10…主制御部、40…記憶部、50…センサ部、51…GPSセンサ、52…地磁気センサ、53…距離センサ、56…高度センサ、60…通信処理部、70…映像処理部、71…撮像部、72…表示部、80…音声処理部、90…操作入力部。
Claims (13)
- ユーザが携帯し、該ユーザの移動軌跡を映像で表示する映像表示装置において、
当該映像表示装置を携帯した前記ユーザの位置と方向を検出するセンサと、
前記センサの検出結果から前記ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
前記軌跡情報取得部にて取得した前記ユーザの軌跡情報と、前記ユーザを示す仮想映像であるアバターの情報を保存する記憶部と、
前記ユーザの移動軌跡を前記アバターで表示する表示部と、
前記軌跡情報取得部と前記表示部を制御する制御部と、を備え、
前記制御部は、
前記記憶部に保存された前記アバターの情報から前記アバターを生成するとともに、前記センサにより現在の前記ユーザの視界領域を求め、
前記記憶部に保存された前記ユーザの軌跡情報をもとに、現在の前記ユーザの視界領域に合わせ、前記ユーザの移動軌跡に前記生成したアバターを配置して前記表示部に表示することを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記制御部は前記アバターを前記ユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させることを特徴とする映像表示装置。 - 請求項2記載の映像表示装置において、
前記軌跡情報取得部は、前記ユーザの移動軌跡の情報を予め定めた単位時間毎に取得して、各軌跡ポイントの位置座標を前記記憶部に保存し、
前記制御部は、前記単位時間毎、あるいは前記単位時間に任意の係数を乗じた時間毎に、前記記憶部から各軌跡ポイントの位置座標を読み出して、該位置座標に前記アバターを配置することを特徴とする映像表示装置。 - 請求項3記載の映像表示装置において、
前記軌跡情報取得部は、各軌跡ポイントの位置座標を、時間的に1つ前の軌跡ポイントの位置座標との差分値として前記記憶部に保存するとともに、少なくとも終点の軌跡ポイントの位置座標は、絶対値として前記記憶部に保存することを特徴とする映像表示装置。 - 請求項2記載の映像表示装置において、
前記制御部は前記アバターを移動させるときの体の向きを、前記アバターの進行方向とは逆向きに表示することを特徴とする映像表示装置。 - 請求項2記載の映像表示装置において、
当該映像表示装置は前記ユーザが頭部に装着して使用するものであり、
前記センサにより、さらに当該映像表示装置を装着した前記ユーザの頭部の高さと方向を検出し、
前記軌跡情報取得部は、前記センサが検出した前記ユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存し、
前記制御部は前記アバターを生成して表示させるとき、前記記憶部に保存された前記ユーザの頭部の高さと方向の情報をもとに、前記ユーザの身長情報と比較して、前記アバターの姿勢と顔の向きを決定することを特徴とする映像表示装置。 - 請求項2記載の映像表示装置において、
前記制御部は、現在の前記ユーザの視界領域内に前記アバターを配置できないとき、前記ユーザに対し、視野方向を変えさせる、または前記アバターの見える位置まで移動させるための誘導処理を行うことを特徴とする映像表示装置。 - 請求項3記載の映像表示装置において、
さらに外景を撮影する撮像部を備え、
前記撮像部で撮影した撮影データを、撮影位置である撮影ポイントと対応付けて前記記憶部に保存し、
前記制御部は、前記アバターの位置が前記撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。 - 請求項8記載の映像表示装置において、
前記制御部は、前記撮像部で撮影した撮影データのうち、前記ユーザの移動軌跡の方向が変化した撮影ポイントにおいて撮影された映像を前記記憶部に保存し、
前記制御部は、前記アバターの位置が前記ユーザの移動軌跡の方向が変化した撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。 - 請求項3記載の映像表示装置において、
さらに外景を撮影する撮像部を備え、
前記表示部には、前記撮像部で撮影されている現在の映像を表示するとともに、
前記制御部は、前記表示部に表示されている外景の映像に合わせ、前記ユーザの移動軌跡に基づき前記アバターを重畳して表示することを特徴とする映像表示装置。 - 複数のユーザが携帯する複数の映像表示装置を接続して、該複数のユーザの移動軌跡を前記複数の映像表示装置にて映像で表示する映像表示システムにおいて、
前記複数の映像表示装置は、それぞれ、
当該映像表示装置を携帯した当該ユーザの位置と方向を検出するセンサと、
前記センサの検出結果から当該ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバターの情報を保存する記憶部と、
他のユーザが携帯する他の映像表示装置との間でそれぞれのユーザの軌跡情報を送受信する通信処理部と、
それぞれのユーザの移動軌跡をそれぞれのアバターで表示する表示部と、
前記軌跡情報取得部、前記通信処理部、前記表示部を制御する制御部と、を備え、
前記制御部は、
前記記憶部に保存されたアバターの情報からそれぞれのユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求め、
前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザと他のユーザの移動軌跡に前記生成したそれぞれのアバターを配置して前記表示部に表示することを特徴とする映像表示システム。 - ユーザの移動軌跡を映像で表示する映像表示方法において、
前記ユーザの位置と方向を検出し前記ユーザの移動軌跡の情報を取得するステップと、
取得した前記ユーザの軌跡情報を記憶部に保存するステップと、
前記ユーザを示す仮想映像であるアバターを生成するステップと、
現在の前記ユーザの視界領域を求めるステップと、
前記記憶部に保存された前記ユーザの軌跡情報をもとに、現在の前記ユーザの視界領域に合わせ、前記ユーザの移動軌跡に前記生成したアバターを配置して表示部に表示するステップと、
を備えることを特徴とする映像表示方法。 - 請求項12記載の映像表示方法において、
前記表示するステップでは、前記アバターを前記ユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させることを特徴とする映像表示方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/434,400 US20220044450A1 (en) | 2019-02-26 | 2019-02-26 | Video display device and video display method |
PCT/JP2019/007184 WO2020174554A1 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
JP2021501411A JP7168757B2 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
CN201980093082.XA CN113574491A (zh) | 2019-02-26 | 2019-02-26 | 影像显示装置和影像显示方法 |
JP2022171963A JP7427747B2 (ja) | 2019-02-26 | 2022-10-27 | 映像表示装置及び映像表示方法 |
JP2024008763A JP2024050675A (ja) | 2019-02-26 | 2024-01-24 | 映像表示装置及び映像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/007184 WO2020174554A1 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020174554A1 true WO2020174554A1 (ja) | 2020-09-03 |
Family
ID=72238282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/007184 WO2020174554A1 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220044450A1 (ja) |
JP (3) | JP7168757B2 (ja) |
CN (1) | CN113574491A (ja) |
WO (1) | WO2020174554A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210312842A1 (en) * | 2018-12-20 | 2021-10-07 | Ns West Inc. | Display light emission device, head-up display device, image display system, and helmet |
JP7464694B2 (ja) | 2019-08-07 | 2024-04-09 | マジック リープ, インコーポレイテッド | 複合現実における空間命令およびガイド |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6559870B1 (ja) * | 2018-11-30 | 2019-08-14 | 株式会社ドワンゴ | 動画合成装置、動画合成方法及び動画合成プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06258088A (ja) * | 1993-03-09 | 1994-09-16 | Maspro Denkoh Corp | 走行軌跡表示装置 |
JP2001134595A (ja) * | 1999-11-08 | 2001-05-18 | Mega Chips Corp | 地理情報システム |
JP2008157880A (ja) * | 2006-12-26 | 2008-07-10 | Victor Co Of Japan Ltd | 車載カメラ装置を用いた運転支援装置 |
JP2012063253A (ja) * | 2010-09-16 | 2012-03-29 | Olympus Corp | 画像生成システム、プログラム及び情報記憶媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006279266A (ja) | 2005-03-28 | 2006-10-12 | Noritsu Koki Co Ltd | 電子アルバム作成装置、電子アルバム作成システム、及び、電子アルバム作成プログラム |
US20160134938A1 (en) * | 2013-05-30 | 2016-05-12 | Sony Corporation | Display control device, display control method, and computer program |
JP6375597B2 (ja) | 2013-07-22 | 2018-08-22 | カシオ計算機株式会社 | ネットワークシステム、サーバー、プログラム、並びにトレーニング支援方法 |
US20160134840A1 (en) * | 2014-07-28 | 2016-05-12 | Alexa Margaret McCulloch | Avatar-Mediated Telepresence Systems with Enhanced Filtering |
EP3243557B1 (en) * | 2015-01-05 | 2020-03-04 | Sony Corporation | Information processing device, information processing method, and program |
JP6569452B2 (ja) | 2015-10-08 | 2019-09-04 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
US11054272B2 (en) | 2017-05-11 | 2021-07-06 | Disney Enterprises, Inc. | Physical navigation guided via story-based augmented and/or mixed reality experiences |
-
2019
- 2019-02-26 US US17/434,400 patent/US20220044450A1/en active Pending
- 2019-02-26 WO PCT/JP2019/007184 patent/WO2020174554A1/ja active Application Filing
- 2019-02-26 JP JP2021501411A patent/JP7168757B2/ja active Active
- 2019-02-26 CN CN201980093082.XA patent/CN113574491A/zh active Pending
-
2022
- 2022-10-27 JP JP2022171963A patent/JP7427747B2/ja active Active
-
2024
- 2024-01-24 JP JP2024008763A patent/JP2024050675A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06258088A (ja) * | 1993-03-09 | 1994-09-16 | Maspro Denkoh Corp | 走行軌跡表示装置 |
JP2001134595A (ja) * | 1999-11-08 | 2001-05-18 | Mega Chips Corp | 地理情報システム |
JP2008157880A (ja) * | 2006-12-26 | 2008-07-10 | Victor Co Of Japan Ltd | 車載カメラ装置を用いた運転支援装置 |
JP2012063253A (ja) * | 2010-09-16 | 2012-03-29 | Olympus Corp | 画像生成システム、プログラム及び情報記憶媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210312842A1 (en) * | 2018-12-20 | 2021-10-07 | Ns West Inc. | Display light emission device, head-up display device, image display system, and helmet |
US11651714B2 (en) * | 2018-12-20 | 2023-05-16 | Ns West Inc. | Display light emission device, head-up display device, image display system, and helmet |
JP7464694B2 (ja) | 2019-08-07 | 2024-04-09 | マジック リープ, インコーポレイテッド | 複合現実における空間命令およびガイド |
Also Published As
Publication number | Publication date |
---|---|
JP2024050675A (ja) | 2024-04-10 |
JPWO2020174554A1 (ja) | 2020-09-03 |
JP7427747B2 (ja) | 2024-02-05 |
US20220044450A1 (en) | 2022-02-10 |
JP2023017832A (ja) | 2023-02-07 |
CN113574491A (zh) | 2021-10-29 |
JP7168757B2 (ja) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230392944A1 (en) | Navigation methods and apparatus for the visually impaired | |
JP7427747B2 (ja) | 映像表示装置及び映像表示方法 | |
US10169923B2 (en) | Wearable display system that displays a workout guide | |
CN105027033B (zh) | 用于选择扩增现实对象的方法、装置和计算机可读媒体 | |
KR101591579B1 (ko) | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 | |
KR102355135B1 (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
US11272160B2 (en) | Tracking a point of interest in a panoramic video | |
WO2015182227A1 (ja) | 情報処理装置および情報処理方法 | |
KR20180112599A (ko) | 가상 공간의 캡쳐 방법 및 그 전자장치 | |
US9392248B2 (en) | Dynamic POV composite 3D video system | |
US20120027305A1 (en) | Apparatus to provide guide for augmented reality object recognition and method thereof | |
JP7441926B2 (ja) | 映像コーディングを行うコンピュータプログラム | |
JP7400882B2 (ja) | 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム | |
JP7279646B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108346179A (zh) | Ar设备显示方法和装置 | |
CN113678171A (zh) | 信息处理装置、信息处理方法和记录介质 | |
KR102140077B1 (ko) | 서버, 사용자 단말 장치 및 그 제어 방법 | |
US11523055B1 (en) | Super resolution/super field of view (FOV) digital photography | |
JP7293991B2 (ja) | サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム | |
CN114783432A (zh) | 智能眼镜的播放控制方法及智能眼镜、存储介质 | |
CN116324675A (zh) | 使用可穿戴设备识别可控设备的位置 | |
TWI611307B (zh) | 適地性空間物件資料建立方法、顯示方法與應用系統 | |
JP2020532219A (ja) | ストリートビューサービス方法およびこのような方法を遂行する装置 | |
US20240073402A1 (en) | Multi-perspective augmented reality experience | |
CN115867890A (zh) | 信息处理***和信息处理终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19917132 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021501411 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19917132 Country of ref document: EP Kind code of ref document: A1 |