WO2017056597A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2017056597A1 WO2017056597A1 PCT/JP2016/068874 JP2016068874W WO2017056597A1 WO 2017056597 A1 WO2017056597 A1 WO 2017056597A1 JP 2016068874 W JP2016068874 W JP 2016068874W WO 2017056597 A1 WO2017056597 A1 WO 2017056597A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display device
- image
- display
- video
- displayed
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
- H04M1/724097—Worn on the head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/16—Details of telephonic subscriber devices including more than one display unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
Definitions
- the present invention relates to an information processing apparatus, an information processing method, and a program for displaying an image on a plurality of display devices.
- a plurality of display devices By displaying images on a plurality of display devices, for example, a plurality of users can play a game while simultaneously viewing another screen.
- the present invention has been made in consideration of the above circumstances, and one of the objects thereof is an information processing apparatus capable of switching a display mode according to a situation when displaying a video on a plurality of video display devices. , Providing an information processing method and program.
- An information processing apparatus is an information processing apparatus connected to a first display device browsed by a first user and a second display device browsed by a second user, and the first display device, A common display mode for executing a program for drawing an image to be displayed on each of the second display devices and drawing a common image to be displayed on both the first display device and the second display device; and the first display A program execution unit that switches between an individual display mode for drawing two images of a first image to be displayed on the device and a second image to be displayed on the second display device, according to the processing content of the program; And a display control unit configured to display an image drawn by a unit on the first display device and the second display device.
- an information processing method is a first display device browsed by a first user, and an information processing method for displaying an image on a second display device browsed by a second user, the first display A program for drawing an image to be displayed on each of the device and the second display device, and a common display mode for drawing a common image to be displayed on both the first display device and the second display device; Switching between the first image displayed on the first display device and the individual display mode for drawing two images of the second image displayed on the second display device according to the processing content of the program; and the program And displaying the video drawn by the display on the first display device and the second display device.
- a program includes: a first display device browsed by a first user; and a computer connected to a second display device browsed by a second user, the first display device, and the second display A process of drawing a video to be displayed on each of the devices is executed, and a common display mode for drawing a common video to be displayed on both the first display device and the second display device, and the display on the first display device It is a program for causing an individual display mode for drawing two pictures of the first picture and the second picture to be displayed on the second display device to function as drawing means switching according to the contents of the processing.
- This program may be stored and provided in a computer readable non-transitory information storage medium.
- FIG. 1 is a configuration block diagram showing a configuration of a video display system including an information processing device according to an embodiment of the present invention. It is a functional block diagram showing the function of the information processor concerning this embodiment. It is a figure which shows an example of a common imaging
- FIG. 1 is a configuration block diagram showing a configuration of a video display system 1 including an information processing apparatus 10 according to an embodiment of the present invention.
- the video display system 1 includes an information processing device 10, a first operation device 20a, a second operation device 20b, a relay device 30, a first display device 40a, and a second display device. And 40b.
- the first operation device 20a and the second operation device 20b are collectively referred to as the operation device 20.
- the first display device 40a and the second display device 40b are collectively referred to as a display device 40.
- the information processing apparatus 10 is an apparatus that supplies an image displayed by the display device 40, and may be, for example, a home game machine, a portable game machine, a personal computer, a smartphone, a tablet, or the like. As shown in FIG. 1, the information processing apparatus 10 includes a control unit 11, a storage unit 12, and an interface unit 13.
- the control unit 11 includes at least one processor such as a CPU, and executes a program stored in the storage unit 12 to execute various information processing. In addition, the specific example of the process which the control part 11 performs in this embodiment is mentioned later.
- the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
- the interface unit 13 performs data communication with each of the first operation device 20a, the second operation device 20b, and the relay device 30 by either wire or wireless.
- the information processing apparatus 10 receives a signal indicating the content of the user's operation input to the first operation device 20 a and the second operation device 20 b through the interface unit 13, or the first display device 40 a and the second display device. 40b transmits a video signal of a video to be displayed.
- the interface unit 13 includes a first interface 13a and a second interface 13b that perform data communication based on different communication standards.
- the first interface 13 a and the second interface 13 b both perform data communication with the relay device 30.
- the first interface 13a is a multimedia interface used to transmit video and audio, such as HDMI (High-Definition Multimedia Interface: registered trademark).
- the second interface 13b is a general data communication interface capable of transmitting and receiving various data, such as USB.
- the first operation device 20a and the second operation device 20b are controllers or the like of a home game machine, and are used by the user to perform various instruction operations on the information processing apparatus 10.
- two users the first user U1 and the second user U2, simultaneously use the information processing apparatus 10, the first user U1 performs the first operation device 20a, and the second user U2 performs the second operation.
- the devices 20b are used respectively.
- the content of the user's operation input to each operation device 20 is transmitted to the information processing apparatus 10 by either wire or wireless.
- Each operation device 20 may include an operation button or a touch panel disposed on the surface of the housing of the information processing apparatus 10.
- the relay device 30 receives video data supplied from the information processing device 10, and outputs a video signal corresponding to the received data to each of the first display device 40a and the second display device 40b. At this time, the relay device 30 may execute correction processing or the like that cancels distortion generated by the optical system of the display device 40 of the output destination with respect to the supplied video data, and may output the corrected video signal. In addition to the video data, the relay device 30 relays various information transmitted and received between the information processing device 10 and the display device 40, such as audio data and control signals.
- the first display device 40a and the second display device 40b are connected to the relay device 30 by a communication interface capable of transmitting a video, and display a video according to the video signal input from the relay device 30 to the user. Let me browse.
- the first user U1 browses the video displayed by the first display device 40a
- the second user U2 browses the video displayed by the second display device 40b.
- the first display device 40a and the second display device 40b display images in different manners.
- the first display device 40a is a video display device of a type that a user mounts on his head such as a head mounted display
- the second display device 40b is a liquid crystal display device or the like.
- the stationary display device displays an image on a flat screen.
- the first display device 40a displays an image in front of the eyes of the first user U1 in a state where the first user U1 is worn on the head. Thereby, only the first user U1 can view the video displayed by the first display device 40a.
- the first display device 40a is a non-transmission type display device in which the attached first user U1 can not visually recognize the outside world. Therefore, the first user U1 can not view the video displayed by the second display device 40b while using the first display device 40a, and only the second user U2 can view the video displayed by the second display device 40b. I can read it.
- the information processing apparatus 10 includes means for specifying the attitude of the first display device 40 a in order to realize head tracking control described later.
- the first display device 40a includes a motion sensor that measures information related to its own position, orientation, and movement.
- the motion sensor may be, for example, an acceleration sensor, a gyroscope, or a geomagnetic sensor.
- the measurement result of the motion sensor is transmitted to the information processing device 10 via the relay device 30.
- the information processing apparatus 10 can measure the parallel movement and the change of the direction of the first display device 40a by using the measurement result of the motion sensor.
- the first display device 40a may include a light emitting element for tracking the position and tilt of the first display device 40a instead of or in addition to such a motion sensor. By photographing the light emitted by the light emitting element with a camera and analyzing the position, the information processing apparatus 10 can specify the change in the position or the inclination of the first display device 40a.
- the information processing apparatus 10 functionally includes an application execution unit 51, an additional video drawing unit 52, and a display control unit 53. These functions are realized by the control unit 11 executing a plurality of programs stored in the storage unit 12. These programs may be provided to the information processing apparatus 10 via a communication network such as the Internet, or may be provided by being stored in a computer readable information storage medium such as an optical disc.
- the application execution unit 51 is realized by the control unit 11 executing an application program, and executes a drawing process of a video to be displayed by each display device 40.
- the application execution unit 51 may be realized by the control unit 11 executing an application program of a game.
- the application execution unit 51 draws a game image indicating the progress of the game.
- the application execution unit 51 selects one of the two display modes, and draws an image to be displayed on each display device 40 in the selected display mode.
- the two display modes are a common display mode and an individual display mode.
- the common display mode is a display mode in which an image common to two display devices 40 is displayed.
- the application execution unit 51 may draw one video.
- the video drawn by the application execution unit 51 in the common display mode is referred to as a common video Mc.
- the drawn common video Mc is transmitted to the relay device 30 by the display control unit 53 described later.
- the relay device 30 performs distortion correction, color correction, and the like on the first image M1 according to the display characteristics of each display device 40 as necessary, and displays the corrected image signal of the common image Mc as each display device. Output to 40.
- the first display device 40a and the second display device 40b can display the same image, and the first user U1 and the second user U2 can view the same image.
- the frame image finally displayed by the first display device 40a needs to include the image for the left eye and the image for the right eye is there. Therefore, for example, the application execution unit 51 draws an image including the image for the left eye and the image for the right eye as a frame image of the common video image Mc.
- the relay device 30 generates a frame image to be displayed on the second display device 40 b by extracting a part of the frame image of the common video image Mc received from the information processing device 10. In this way, it is possible to display images common to the two display devices 40 only by drawing the common image Mc by the application execution unit 51.
- the application execution unit 51 may draw only one image that can be displayed by the second display device 40b as a frame image of the common video image Mc.
- the relay device 30 generates a left-eye image and a right-eye image based on one frame image, and causes the first display device 40a to display the same.
- the first display device 40a and the second display device 40b do not always display completely the same image even in the common display mode.
- the display image for each display device 40 is generated based on one frame image drawn by the application execution unit 51, so that the two display devices 40 display a video having almost the same content. .
- the individual display mode is a display mode in which two display devices 40 display different images.
- the application execution unit 51 draws two different images.
- a video drawn by the application execution unit 51 for display on the first display device 40a is referred to as a first video M1
- a video drawn for display on the second display device 40b is referred to as a second video M2.
- the first image M1 is a game image for the first user U1
- the second image M2 is a game image for the second user U2.
- the first video M1 is a video based on the same standard as the common video Mc.
- the first image M1 and the common image Mc are images having a common resolution, frame rate, and the like.
- the second image M2 is an image of a standard different from that of the first image M1.
- the second video M2 may be a video having a lower resolution or frame rate than the first video M1. As a result, it is possible to reduce the amount of data transfer required to transmit the second video M2.
- the first frame buffer F1 and the second frame buffer F2 are secured in the storage unit 12 in order to store frame images of video to be drawn by the application execution unit 51.
- the frame image of the common image Mc and the first image M1 is written to the first frame buffer F1
- the frame image of the second image M2 is written to the second frame buffer F2.
- the common image Mc and the first image M1 are images of the same standard and are not drawn simultaneously, the same first frame buffer F1 can be used.
- the application execution unit 51 switches between the common display mode and the individual display mode as needed according to the processing content being executed.
- the common display mode is selected when displaying a result screen of a game common to a plurality of users
- the individual display mode is selected when displaying a play screen showing the situation during game play to each user.
- the first user U1 and the second user U2 can view only the image displayed on the display device 40 used by themselves, and can not view the display content of the display device 40 of the other party. Therefore, for example, a video which is not preferable to show to the opponent like the contents of a hand in a card game is displayed in the individual display mode.
- the video can be presented to each user in a mode suitable for the content of the displayed video.
- the additional video drawing unit 52 is realized by a program (a system program etc.) different from the application program executed by the application execution unit 51, and draws another video to be displayed on the display device 40 independently of the application program.
- the video drawn by the additional video drawing unit 52 is referred to as an additional video Ma.
- the additional video Ma may be a system video representing various information to be presented to the user regarding the use of the information processing apparatus 10, such as a message for notifying the user, warning information, a menu screen, and the like.
- the additional video drawing unit 52 does not always draw the additional video Ma, but starts drawing the additional video Ma as necessary.
- the additional video drawing unit 52 generates additional video when an event to be notified to the user (for example, arrival of an external message) occurs, or when the user requests an operation to display a system menu. Draw Ma.
- the additional video drawing unit 52 draws the additional video Ma based on the same standard as the common video Mc and the first video M1.
- the frame image of the additional video Ma is written to a third frame buffer F3 separate from the first frame buffer F1 and the second frame buffer F2.
- the additional video drawing unit 52 draws the additional video Ma not in the entire drawing area but in only a partial area, the other background areas are made transparent. As a result, as will be described later, it is possible to perform combining processing in which the additional image Ma is superimposed on the front surface of the common image Mc and the first image M1 to form one image.
- the display control unit 53 outputs a video signal representing the video drawn by the application execution unit 51 and the additional video drawing unit 52 to the relay device 30, thereby allowing the video to be displayed on the first display device 40a and the second display device. Display on 40b.
- the display control unit 53 may be realized by the control unit 11 executing a system program or the like as in the additional video drawing unit 52.
- the display control unit 53 changes the content of the process according to the display mode.
- the display control unit 53 receives the instruction from the application execution unit 51, and thereafter determines which display mode, the common display mode or the individual display mode, the image is to be displayed. Then, the relay device 30 is notified of the determined display mode. Thereafter, the video signal is generated and output in a mode according to the determined display mode.
- the display control unit 53 in the case of the common display mode, the display control unit 53 generates a composite video obtained by combining the common video Mc and the additional video Ma. Then, the generated video signal of the synthesized video is transmitted to the relay device 30 via the first interface 13a. Based on the video signal, the relay device 30 causes the first display device 40a and the second display device 40b to display a composite video. As a result, both the first user U1 and the second user U2 can view the common image Mc and the additional image Ma displayed superimposed on this while displaying the common display mode.
- the display control unit 53 superimposes both of them so that the frame image drawn in the third frame buffer F3 is arranged on the front side of the frame image drawn in the first frame buffer F1, and the frame image of the composite video Generate FIGS.
- FIG. 3 to 5 are diagrams for explaining this video combining process
- FIG. 3 shows an example of a frame image of the common video Mc
- FIG. 4 shows an example of a frame image of the additional video Ma
- FIG. 5 shows a frame image of a composite video in which the frame image of FIG. 4 is superimposed on the front of the frame image of FIG. 3, and such an image is presented to each user.
- the display control unit 53 performs the same processing as the case of the common display mode to transmit, via the first interface 13a, the video signal of the composite video obtained by combining the first video M1 and the additional video Ma Transmit to relay device 30.
- the video signal of the second video M2 drawn in the second frame buffer F2 is transmitted to the relay device 30 via the second interface 13b.
- the relay device 30 causes the first display device 40a to display the composite video transmitted via the first interface 13a, and causes the second display device 40b to display the second video M2 transmitted via the second interface 13b.
- the information processing apparatus 10 can transmit two different images in parallel and cause the two display devices 40 to display them.
- the additional image Ma is combined with the image drawn in the first frame buffer F1.
- the additional image Ma is drawn as an image of the same standard as the common image Mc and the first image M1, such synthesis for each frame image is possible.
- the first image M1 and the second image M2 are images of different standards. Therefore, it is difficult to combine the additional image Ma with the second image M2 as it is.
- the additional video Ma is synthesized with the first video M1 and is not synthesized with the second video M2, the additional video drawing unit 52 no longer needs to draw a plurality of types of additional video images Ma corresponding to a plurality of video standards.
- the first display device 40a displays a composite image obtained by synthesizing the additional image Ma
- the second display device 40b displays only the second image M2.
- the second user U2 can not view the content of the additional image Ma. Therefore, in the present embodiment, not only the application execution unit 51 but also the additional video drawing unit 52 switches the display mode as needed.
- the additional video drawing unit 52 switches the display mode as needed.
- the additional video drawing unit 52 always switches the display mode to the common display mode when drawing the additional video Ma while the application execution unit 51 is drawing two videos in the individual display mode. It is also good.
- the display control unit 53 combines the additional image Ma with the first image M1 drawn by the application execution unit 51 for display on the first display device 40a to generate a combined image, and the first display device 40a , And the second display device 40b. That is, when switching from the individual display mode to the common display mode is performed by an instruction from the additional video drawing unit 52, the application execution unit 51 is premised on the operation in the individual display mode regardless of such switching. The drawing of the one image M1 and the second image M2 is continued.
- the display control unit 53 draws either the common image Mc or the first image M1 by the application execution unit 51.
- the additional video Ma can be surely viewed by both of the two users.
- the additional video drawing unit 52 determines whether the display source is to be switched according to which of the request source users. It is also good. For example, when the first user U1 operates the first operation device 20a to request display of the system menu, the additional video Ma may be viewed by the first user U1. Therefore, the additional video drawing unit 52 draws the additional video Ma including the system menu as it is without switching from the individual display mode to the common display mode.
- the rendered additional image Ma is combined with the first image M1 by the display control unit 53, and is displayed on the first display device 40a as a combined image. In this case, the second display device 40b continues to display the second image M2 as it is.
- the additional video drawing unit 52 switches the display mode to the common display mode. Draw an additional picture Ma from.
- the additional image Ma combined with the first image M1 is also displayed on the second display device 40b, and the second user U2 can view the system menu.
- the additional video drawing unit 52 may determine whether to switch the display mode according to the type of the notification to be displayed. . For example, when displaying the notification content with high importance, the additional video drawing unit 52 switches from the individual display mode to the common display mode and then draws the additional video Ma including the notification content. On the other hand, in the case of displaying notification contents with low importance, the additional video Ma is drawn without switching. In this way, notifications of high importance can be presented to both of the two users, and notifications of low importance can be presented only to the first user U1 without interfering with the individual display mode. Further, the additional video drawing unit 52 may determine whether to switch the display mode according to the destination of the notification.
- the additional video drawing unit 52 switches the display mode to the common display mode. Therefore, while the mode is switched to the common display mode, the second image M2 drawn by the application execution unit 51 is not presented to the second user U2 and is ignored. Therefore, the additional video drawing unit 52 switches the display mode back to the individual display mode at the timing when ending the drawing of the additional video Ma according to the user's operation, the passage of time, or the like. As a result, after the display of the additional image Ma is finished, the first image M1 and the second image M2 drawn by the application execution unit 51 are presented to the respective users as they were originally.
- the application execution unit 51 is drawing a video that only the first user U1 wants to view as the first video M1.
- the additional video drawing unit 52 switches the display mode to the common display mode independently of the application execution unit 51, the content of the first video M1 which is inconvenient for the second user U2 to view is displayed as the second user U2 may also be viewed. Therefore, when switching from the individual display mode to the common display mode independently of the application execution unit 51, the additional video drawing unit 52 may draw the additional video Ma so as to cover the entire drawing area. Specifically, for example, a frame image in which a background area outside the system menu is filled with a specific color such as black is drawn.
- FIG. 6 shows an example in which such a drawing has been performed, and the filled background area is indicated by hatching.
- the image drawing unit 52 may draw the additional image Ma in which the background area is transparent as usual.
- the video displayed on the first display device 40a may be a video updated based on head tracking control.
- the head tracking control refers to control for changing a displayed image based on a change in the posture of the first display device 40a worn by the first user U1 on the head.
- head tracking control a specific example of head tracking control will be described.
- FIG. 7 is a diagram for explaining a specific example of head tracking control.
- This figure shows a view from above of a virtual space in which a virtual screen VS and two viewpoint cameras C1 and C2 are arranged.
- the display control unit 53 arranges the virtual screen VS in the virtual space, and arranges two viewpoint cameras C1 and C2 at positions facing the virtual screen VS.
- the two viewpoint cameras C1 and C2 are arranged at predetermined distances in the left-right direction.
- an image to be displayed is pasted as a texture on the surface of the virtual screen VS.
- the image to be displayed is a frame image obtained by combining the frame image of the third frame buffer F3 with the frame image written to the first frame buffer F1.
- the display control unit 53 draws an image showing a state in which the inside of the virtual space is viewed from the viewpoint camera C1, and generates a left-eye video.
- an image showing a state of viewing in the virtual space from the viewpoint camera C2 is drawn to generate an image for the right eye.
- the display control unit 53 generates a composite video by repeating such processing each time the frame image is updated.
- the display control unit 53 changes the direction (line-of-sight direction) of the two viewpoint cameras C1 and C2 according to the change in the direction of the first display device 40a.
- the positions of the two viewpoint cameras C1 and C2 are changed according to the parallel movement of the first display device 40a. Specifically, when the direction of the first display device 40a changes, the display control unit 53 rotates the viewpoint cameras C1 and C2 by the same rotation direction as the rotation and the rotation amount. At this time, the viewpoint cameras C1 and C2 rotate in the virtual space while keeping the mutual distance, with the central position of the two as a rotation center.
- the display control unit 53 moves both of the viewpoint cameras C1 and C2 in the virtual space according to the movement direction and the movement amount. Then, the left-eye video and the right-eye video are generated by drawing the state of viewing the virtual screen VS from each of the viewpoint cameras C1 and C2 whose positions and orientations have changed. As a result, the first user U1 can view the displayed image as if the composite image were being displayed on the screen fixed in the air.
- the user changes the face direction and position so that, for example, the vicinity of the outer periphery of the displayed image comes to the center of the field of view, thereby browsing the image paying attention to the display content near the outer periphery which is difficult to visually recognize in the initial state. can do.
- the video signal generated based on the control as described above is used to display both of the first display device 40a and the second display device 40b. Therefore, when head tracking control is performed during display in the common display mode, the image displayed on the second display device 40b also changes in conjunction with the head movement of the first user U1. Therefore, when switching from the individual display mode to the common display mode is performed, the display control unit 53 may interrupt the head tracking control based on a predetermined condition. Specifically, for example, the display control unit 53 interrupts the head tracking control when the additional video drawing unit 52 switches to the common display mode in response to the request of the second user U2. In such a situation, it is necessary to display the additional image Ma on the second display device 40b so that the second user U2 can easily view. Therefore, the second user U2 can easily view the content of the additional image Ma by interrupting the head tracking control and performing control so that the additional image Ma is displayed substantially at the center of the display area.
- the display control unit 53 is interrupted.
- the display control unit 53 may update the positions of the viewpoint cameras C1 and C2 according to the position and orientation of the first display device 40a at the time of resumption, and then generate an image to be displayed. desirable. This makes it possible to prevent the virtual position of the screen VS from changing before and after the suspension of head tracking control.
- the display control unit 53 may execute fade-in control to gradually display an image when resuming head tracking control.
- each of the application execution unit 51 and the additional video drawing unit 52 switches between the individual display mode and the common display mode, so as to be suitable for display contents.
- the video can be displayed on the first display device 40a and the second display device 40b.
- the additional image Ma is an image of the same standard as the common image Mc and the first image M1, but the additional image Ma is necessarily drawn based on the same standard as the common image Mc and the first image M1. It does not have to be done.
- the display control unit 53 may execute image processing necessary for combination, such as enlarging or reducing the additional image Ma before combining with the common image Mc or the first image M1.
- the first image M1 and the second image M2 may be images of the same standard. Also in these cases, it is possible to avoid complication of the image processing by limiting the additional image Ma not to be combined with the second image M2 but to be combined with only the common image Mc and the first image M1.
- the processing performed by the relay device 30 in the above description may be realized by the information processing device 10. Furthermore, when the processing of the relay device 30 is realized by the information processing device 10, the relay device 30 may not be present. In this case, the first display device 40 a and the second display device 40 b are directly connected to the information processing device 10. In the above description, the first display device 40a is a head mounted display device, and the second display device 40b is a stationary display device. However, each display device 40 is a separate display device. It may be a type of display device.
- the first interface 13a and the second interface 13b transmit the video signal based on different communication standards, but both may transmit the video signal based on the same communication standard. Also, each video may be transmitted via the same interface.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
複数の表示装置に映像を表示させる場合に、状況に応じて表示モードを切り替えることができる情報処理装置を提供する。 第1ユーザーが閲覧する第1表示装置、及び第2ユーザーが閲覧する第2表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、両方の表示装置に表示させる共通映像を描画する共通表示モードと、第1表示装置に表示させる第1映像、及び第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、当該プログラムの処理内容に応じて切り替え、描画される映像を第1表示装置、及び第2表示装置に表示させる情報処理装置である。
Description
本発明は、複数の表示装置に映像を表示させる情報処理装置、情報処理方法、及びプログラムに関する。
複数の表示装置と接続され、そのそれぞれに映像を表示させる情報処理装置がある。複数の表示装置に映像を表示させることで、例えば複数のユーザーが同時に別の画面を見ながらゲームをプレイしたりすることができる。
上記情報処理装置においては、表示すべき内容に応じて、多様な方法で各表示装置に映像を表示できるようにすることが望まれている。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、複数の映像表示装置に映像を表示させる場合に、状況に応じて表示モードを切り替えることができる情報処理装置、情報処理方法、及びプログラムを提供することにある。
本発明に係る情報処理装置は、第1ユーザーが閲覧する第1表示装置、及び、第2ユーザーが閲覧する第2表示装置と接続される情報処理装置であって、前記第1表示装置、及び前記第2表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第1表示装置、及び前記第2表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第1表示装置に表示させる第1映像、及び前記第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるプログラム実行部と、前記プログラム実行部が描画する映像を前記第1表示装置、及び前記第2表示装置に表示させる表示制御部と、を含むことを特徴とする。
また、本発明に係る情報処理方法は、第1ユーザーが閲覧する第1表示装置、及び、第2ユーザーが閲覧する第2表示装置に映像を表示させる情報処理方法であって、前記第1表示装置、及び前記第2表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第1表示装置、及び前記第2表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第1表示装置に表示させる第1映像、及び前記第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるステップと、前記プログラムにより描画される映像を前記第1表示装置、及び前記第2表示装置に表示させるステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、第1ユーザーが閲覧する第1表示装置、及び、第2ユーザーが閲覧する第2表示装置と接続されるコンピュータを、前記第1表示装置、及び前記第2表示装置のそれぞれに表示させる映像を描画する処理を実行し、前記第1表示装置、及び前記第2表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第1表示装置に表示させる第1映像、及び前記第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、前記処理の内容に応じて切り替える描画手段、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理装置10を含む映像表示システム1の構成を示す構成ブロック図である。同図に示されるように、映像表示システム1は、情報処理装置10と、第1操作デバイス20aと、第2操作デバイス20bと、中継装置30と、第1表示装置40aと、第2表示装置40bと、を含んで構成されている。なお、以下では第1操作デバイス20a及び第2操作デバイス20bを総称して操作デバイス20という。また、第1表示装置40a及び第2表示装置40bを総称して表示装置40という。
情報処理装置10は、表示装置40が表示する映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図1に示されるように、情報処理装置10は、制御部11と、記憶部12と、インタフェース部13と、を含んで構成される。
制御部11は、CPU等のプロセッサーを少なくとも一つ含み、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部13は、有線又は無線のいずれかによって第1操作デバイス20a、第2操作デバイス20b、及び中継装置30のそれぞれとの間でデータ通信を行う。情報処理装置10は、インタフェース部13を介して、第1操作デバイス20a及び第2操作デバイス20bに対するユーザーの操作入力の内容を示す信号を受信したり、第1表示装置40a、及び第2表示装置40bが表示すべき映像の映像信号を送信したりする。
特に本実施形態では、インタフェース部13は互いに異なる通信規格に基づいてデータ通信を行う第1インタフェース13a、及び第2インタフェース13bを含んでいる。第1インタフェース13a、及び第2インタフェース13bは、いずれも中継装置30との間でデータ通信を行う。ここでは、第1インタフェース13aは、HDMI(High-Definition Multimedia Interface:登録商標)などのように映像や音声の送信に用いられるマルチメディアインタフェースであることとする。また、第2インタフェース13bは、USBなどのように、各種のデータの送受信が可能な汎用データ通信インタフェースであることとする。
第1操作デバイス20a及び第2操作デバイス20bは、家庭用ゲーム機のコントローラ等であって、ユーザーが情報処理装置10に対して各種の指示操作を行うために使用される。本実施形態では、第1ユーザーU1、及び第2ユーザーU2の二人が情報処理装置10を同時に利用することとし、第1ユーザーU1が第1操作デバイス20aを、第2ユーザーU2が第2操作デバイス20bを、それぞれ使用することとする。各操作デバイス20に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより情報処理装置10に送信される。なお、各操作デバイス20は情報処理装置10の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
中継装置30は、情報処理装置10から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を第1表示装置40a、及び第2表示装置40bのそれぞれに対して出力する。このとき中継装置30は、供給された映像データに対して、出力先の表示装置40の光学系によって生じる歪みを打ち消す補正処理などを実行し、補正された映像信号を出力してもよい。また、中継装置30は、映像データ以外にも、音声データや制御信号など、情報処理装置10と表示装置40との間で送受信される各種の情報を中継する。
第1表示装置40a及び第2表示装置40bは、映像の送信が可能な通信インタフェースによって中継装置30と接続されており、中継装置30から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、第1ユーザーU1は第1表示装置40aが表示する映像を閲覧し、第2ユーザーU2は第2表示装置40bが表示する映像を閲覧する。
第1表示装置40aと第2表示装置40bは、互いに異なる方式で映像を表示するものとする。具体例として、第1表示装置40aは、ヘッドマウントディスプレイなどのようにユーザーが頭部に装着して使用するタイプの映像表示装置であり、第2表示装置40bは、液晶表示装置などのように平板状のスクリーンに映像を表示する据え置き型の表示装置であることとする。第1表示装置40aは、第1ユーザーU1が頭部に装着した状態において、第1ユーザーU1の目の前に映像を表示する。これにより、第1ユーザーU1だけが第1表示装置40aの表示する映像を閲覧できる。また、第1表示装置40aは、装着した第1ユーザーU1が外界を視認できない非透過型の表示装置とする。そのため、第1ユーザーU1は第1表示装置40aの使用中には第2表示装置40bの表示する映像を閲覧することはできず、第2ユーザーU2だけが第2表示装置40bの表示する映像を閲覧できる。
さらに本実施形態において、情報処理装置10は、後述するヘッドトラッキング制御を実現するために、第1表示装置40aの姿勢を特定するための手段を備えることとする。具体的に、例えば第1表示装置40aは、自身の位置や向き、動きに関する情報を計測するモーションセンサーを備える。モーションセンサーは、例えば加速度センサー、ジャイロスコープ、地磁気センサーなどであってよい。モーションセンサーの測定結果は、中継装置30を経由して情報処理装置10に送信される。情報処理装置10は、モーションセンサーの測定結果を用いることで、第1表示装置40aの平行移動や向きの変化を計測することができる。また、第1表示装置40aは、このようなモーションセンサーに代えて、またはこれに加えて、第1表示装置40aの位置や傾きをトラッキングするための発光素子を備えてもよい。この発光素子の発する光をカメラで撮影し、その位置を解析することで、情報処理装置10は第1表示装置40aの位置や傾きの変化を特定することができる。
以下、情報処理装置10が実現する機能について図2を用いて説明する。図2に示すように、情報処理装置10は、機能的に、アプリケーション実行部51と、追加映像描画部52と、表示制御部53と、を含む。これらの機能は、制御部11が記憶部12に記憶された複数のプログラムを実行することにより実現される。これらのプログラムは、インターネット等の通信ネットワークを介して情報処理装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
アプリケーション実行部51は、制御部11がアプリケーションプログラムを実行することにより実現され、各表示装置40が表示すべき映像の描画処理を実行する。具体的に、例えばアプリケーション実行部51は、制御部11がゲームのアプリケーションプログラムを実行することによって実現されてよい。この場合、アプリケーション実行部51は、ゲームの進行状況を示すゲーム画像を描画することになる。さらに本実施形態では、アプリケーション実行部51は、二つの表示モードのいずれかを選択し、選択した表示モードで各表示装置40に表示させるための映像を描画することとする。二つの表示モードとは、共通表示モードと個別表示モードである。
共通表示モードは、二つの表示装置40に共通の映像を表示させる表示モードである。共通表示モードの場合、アプリケーション実行部51は一つの映像を描画すればよい。以下、共通表示モードでアプリケーション実行部51が描画する映像を、共通映像Mcという。描画された共通映像Mcは、後述する表示制御部53によって中継装置30に送信される。中継装置30は、必要に応じて、それぞれの表示装置40の表示特性に合わせて第1映像M1に対して歪み補正や色補正などを行い、補正された共通映像Mcの映像信号を各表示装置40に対して出力する。これにより、第1表示装置40aと第2表示装置40bが同じ内容の映像を表示し、第1ユーザーU1と第2ユーザーU2は同じ映像を閲覧することができる。
特に本実施形態では、第1表示装置40aは頭部装着型の表示装置なので、第1表示装置40aが最終的に表示するフレーム画像は、左目用画像と右目用画像とを含んでいる必要がある。そのため、例えばアプリケーション実行部51は、共通映像Mcのフレーム画像として、左目用画像と右目用画像とを含んだ画像を描画する。この場合中継装置30は、情報処理装置10から受信した共通映像Mcのフレーム画像から、一部分を抽出することによって、第2表示装置40bに表示させるフレーム画像を生成する。こうすれば、アプリケーション実行部51が一つの共通映像Mcを描画するだけで、二つの表示装置40に互いに共通する映像を表示させることができる。また、それとは逆に、アプリケーション実行部51は共通映像Mcのフレーム画像として、第2表示装置40bが表示可能な一つの画像だけを描画してもよい。この場合中継装置30は、一つのフレーム画像に基づいて左目用画像及び右目用画像を生成し、第1表示装置40aに表示させる。いずれにせよ、表示特性の違いにより、共通表示モードにおいても、第1表示装置40aと第2表示装置40bとが完全に同一の映像を表示するとは限らない。しかしながら、アプリケーション実行部51が描画する一つのフレーム画像に基づいて各表示装置40向けの表示用画像が生成されることで、二つの表示装置40は内容がほぼ共通する映像を表示することになる。
個別表示モードは、二つの表示装置40に互いに異なる映像を表示させる表示モードである。個別表示モードの場合、アプリケーション実行部51は互いに異なる二つの映像を描画する。以下では、アプリケーション実行部51が第1表示装置40aの表示用に描画する映像を第1映像M1といい、第2表示装置40bの表示用に描画する映像を第2映像M2という。例えばアプリケーション実行部51がマルチプレイのゲームを実現する場合、第1映像M1は第1ユーザーU1向けのゲーム映像であって、第2映像M2は第2ユーザーU2向けのゲーム映像である。ここで、第1映像M1は共通映像Mcと同じ規格に基づく映像であることとする。すなわち、第1映像M1と共通映像Mcとは、解像度やフレームレートなどが共通する映像となっている。一方、第2映像M2は第1映像M1とは異なる規格の映像であることとする。例えば第2映像M2は、第1映像M1よりも解像度やフレームレートの低い映像であってよい。これにより、第2映像M2の送信に必要なデータ転送量を低減することができる。
本実施形態では、アプリケーション実行部51が描画する映像のフレーム画像を格納するために、第1フレームバッファF1、及び第2フレームバッファF2が記憶部12内に確保される。共通映像Mc、及び第1映像M1のフレーム画像は、第1フレームバッファF1に書き込まれ、第2映像M2のフレーム画像は、第2フレームバッファF2に書き込まれる。前述したように、共通映像Mcと第1映像M1とは同じ規格の映像であって、同時に描画されることはないので、同じ第1フレームバッファF1を使用できる。
アプリケーション実行部51は、実行中の処理内容に応じて、共通表示モードと個別表示モードを随時切り替える。例えば複数のユーザーに共通するゲームの結果画面などを表示する際には共通表示モードを選択し、ゲームプレイ中の状況を各ユーザーに示すプレイ画面を表示する際には個別表示モードを選択する。前述したように、第1ユーザーU1と第2ユーザーU2は、自分が使用している表示装置40に表示される映像しか閲覧できず、相手方の表示装置40の表示内容を閲覧することはできない。そのため、例えばカードゲームにおける手札の内容のように対戦相手に見せることが好ましくない映像は、個別表示モードで表示することとする。このようにアプリケーション実行部51が処理の実行中に処理内容に応じて表示モードを切り替えることによって、表示される映像の内容に適した態様で各ユーザーに映像を提示することができる。
追加映像描画部52は、アプリケーション実行部51が実行するアプリケーションプログラムとは別のプログラム(システムプログラム等)によって実現され、アプリケーションプログラムとは独立に、表示装置40に表示させる別の映像を描画する。以下では追加映像描画部52が描画する映像を追加映像Maという。例えば追加映像Maは、ユーザーに通知するメッセージや警告情報、メニュー画面など、情報処理装置10の使用に関してユーザーに提示すべき各種の情報を表すシステム映像であってよい。追加映像描画部52は、アプリケーション実行部51による処理が実行されている間、常に追加映像Maを描画するのではなく、必要に応じて追加映像Maの描画を開始する。例えば追加映像描画部52は、ユーザーに通知すべきイベント(例えば外部からのメッセージの着信など)が発生した場合や、ユーザーからシステムメニューを表示するよう要求する操作を受け付けた場合などに、追加映像Maを描画する。
なお、本実施形態において追加映像描画部52は、共通映像Mc及び第1映像M1と同様の規格に基づいて追加映像Maを描画するものとする。追加映像Maのフレーム画像は、第1フレームバッファF1、及び第2フレームバッファF2とは別の第3フレームバッファF3に書き込まれる。また、追加映像描画部52は、追加映像Maを描画領域の全体ではなく一部領域のみに描画する場合、それ以外の背景領域を透明にすることとする。これにより、後述するように共通映像Mcや第1映像M1の前面に追加映像Maを重ねて一つの映像とする合成処理が可能になる。
表示制御部53は、アプリケーション実行部51、及び追加映像描画部52が描画した映像を表す映像信号を中継装置30に対して出力することによって、映像を第1表示装置40a、及び第2表示装置40bに表示させる。なお、表示制御部53は、追加映像描画部52と同様に制御部11がシステムプログラム等を実行することで実現されてよい。ここで表示制御部53は、表示モードに応じて処理の内容を変化させる。まず表示制御部53は、アプリケーション実行部51からの指示を受け付けることによって、それ以降に共通表示モードと個別表示モードのどちらの表示モードで映像を表示させるかを決定する。そして、決定した表示モードを中継装置30に通知する。その後、決定した表示モードに応じた態様で、映像信号を生成し、出力する。
具体的に、共通表示モードの場合、表示制御部53は、共通映像Mcと追加映像Maとを合成した合成映像を生成する。そして、生成した合成映像の映像信号を第1インタフェース13a経由で中継装置30に送信する。この映像信号に基づいて、中継装置30は第1表示装置40aと第2表示装置40bの双方に合成映像を表示させる。これにより第1ユーザーU1及び第2ユーザーU2の双方は、共通表示モードの表示中には、共通映像Mcとこれに重ねて表示される追加映像Maを閲覧することができる。なお、表示制御部53は、第3フレームバッファF3に描画されたフレーム画像が第1フレームバッファF1に描画されたフレーム画像の手前側に配置されるように両者を重ねて、合成映像のフレーム画像を生成する。図3~図5はこの映像の合成処理を説明する図であって、図3が共通映像Mcのフレーム画像の一例を、図4が追加映像Maのフレーム画像の一例を、それぞれ示している。また、図5は図3のフレーム画像の前面に図4のフレーム画像が重ねられた合成映像のフレーム画像を示しており、各ユーザーにはこのような画像が提示される。
これに対して個別表示モードの場合、表示制御部53は、共通表示モードの場合と同様の処理によって第1映像M1と追加映像Maを合成した合成映像の映像信号を、第1インタフェース13a経由で中継装置30に送信する。それと並行して、第2フレームバッファF2に描画された第2映像M2の映像信号を第2インタフェース13b経由で中継装置30に送信する。中継装置30は、第1インタフェース13a経由で送信された合成映像を第1表示装置40aに表示させ、第2インタフェース13b経由で送信された第2映像M2を第2表示装置40bに表示させる。これにより情報処理装置10は、互いに異なる二つの映像を並行して送信し、二つの表示装置40に表示させることができる。
以上説明したように、いずれの表示モードにおいても、追加映像Maは第1フレームバッファF1に描画される映像と合成される。前述したように、追加映像Maは共通映像Mc及び第1映像M1と同じ規格の映像として描画されるので、このようなフレーム画像ごとの合成が可能となる。一方で、本実施形態では第1映像M1と第2映像M2とは互いに異なる規格の映像としている。そのため、追加映像Maをそのまま第2映像M2と合成することは困難である。共通映像Mcと第1映像M1の映像規格を一致させるとともに、個別表示モードでは追加映像Maが第1映像M1と合成され、第2映像M2とは合成されないようにすることで、追加映像描画部52は、複数の映像規格に対応した複数種類の追加映像Maを描画する必要がなくなっている。
ただし、このような制御によると、個別表示モードにおいて、第1表示装置40aは追加映像Maを合成した合成映像を表示するが、第2表示装置40bは第2映像M2のみを表示することになる。そのため、個別表示モードでは第2ユーザーU2は追加映像Maの内容を閲覧できない。そこで本実施形態では、アプリケーション実行部51だけでなく、追加映像描画部52も、必要に応じて表示モードを切り替えることとする。以下では、追加映像描画部52が表示モードを切り替える制御のいくつかの具体例について、説明する。
第1の例として、追加映像描画部52は、アプリケーション実行部51が個別表示モードで二つの映像を描画している間に追加映像Maを描画する場合、常に表示モードを共通表示モードに切り替えてもよい。このとき、表示制御部53は、アプリケーション実行部51が第1表示装置40aの表示用に描画している第1映像M1に追加映像Maを合成して合成映像を生成し、第1表示装置40a、及び第2表示装置40b双方に表示させる。つまり、追加映像描画部52からの指示によって個別表示モードから共通表示モードへの切り替えが行われる場合、アプリケーション実行部51はこのような切り替えと無関係に、個別表示モードでの動作を前提とした第1映像M1と第2映像M2の描画を継続する。アプリケーション実行部51は共通映像Mcと第1映像M1をいずれも同じ第1フレームバッファF1に書き込むため、表示制御部53はアプリケーション実行部51が共通映像Mcと第1映像M1のどちらを描画しているのかを考慮せずに、単に第1フレームバッファF1に書き込まれた映像と追加映像Maとを合成することで、二つの表示装置40に共通して表示させる合成映像を生成することができる。このような制御によれば、追加映像Maを確実に二人のユーザーの双方に閲覧させることができるようになる。
次に第2の例として、追加映像描画部52は、ユーザーの要求に応じて追加映像Maを描画する場合において、要求元のユーザーがどちらかに応じて表示モードを切り替えるか否か決定してもよい。例えば第1ユーザーU1が第1操作デバイス20aを操作してシステムメニューの表示を要求した場合、追加映像Maは第1ユーザーU1が閲覧できればよい。そのため追加映像描画部52は、個別表示モードから共通表示モードへの切り替えは行わずに、そのままシステムメニューを含んだ追加映像Maを描画する。描画された追加映像Maは、表示制御部53によって第1映像M1と合成され、合成映像として第1表示装置40aに表示される。この場合第2表示装置40bは、そのまま第2映像M2を表示し続ける。これに対して、個別表示モードによる表示中に第2ユーザーU2が第2操作デバイス20bを操作してシステムメニューの表示を要求した場合、追加映像描画部52は表示モードを共通表示モードに切り替えてから追加映像Maを描画する。これにより、第1映像M1に合成された追加映像Maが第2表示装置40bにも表示されるようになり、第2ユーザーU2がシステムメニューを閲覧することができる。
第3の例として、追加映像描画部52は、ユーザー向けの通知を含んだ追加映像Maを描画する場合において、表示する通知の種別に応じて表示モードを切り替えるか否かを決定してもよい。例えば追加映像描画部52は、重要度の高い通知内容を表示する場合、個別表示モードから共通表示モードへの切り替えを行ったうえでその通知内容を含んだ追加映像Maを描画する。一方で重要度の低い通知内容を表示する場合、切り替えを行わずに追加映像Maを描画する。これにより、重要度の高い通知は二人のユーザー双方に提示し、重要度の低い通知は個別表示モードを妨げずに第1ユーザーU1だけに提示することができる。また、追加映像描画部52は、通知の宛先に応じて表示モードを切り替えるか否かを決定してもよい。具体的には、第2ユーザーU2向けの通知を表示する場合には共通表示モードへの切り替えを行い、第1ユーザーU1向けの通知を表示する場合には切り替えを行わずに追加映像Maを描画する。これにより、通知を提示すべき相手にその内容を閲覧させることができる。なお、以上説明した第2の例と第3の例は、組み合わせて用いられてもよい。
以上説明したような例においては、アプリケーション実行部51が個別表示モードでの表示を前提として二つの映像を描画している間に、追加映像描画部52によって表示モードが共通表示モードに切り替えられる。そのため、共通表示モードに切り替えられている間は、アプリケーション実行部51が描画する第2映像M2は第2ユーザーU2に提示されず無視されることになる。そこで追加映像描画部52は、ユーザーの操作や時間経過などに応じて追加映像Maの描画を終了する場合、そのタイミングで表示モードを個別表示モードに戻す切り替えを行う。これにより、追加映像Maの表示が終了した後は、元通りアプリケーション実行部51が描画する第1映像M1及び第2映像M2がそれぞれのユーザーに提示されるようになる。
また、以上の例において、アプリケーション実行部51は第1ユーザーU1のみに閲覧させたい映像を第1映像M1として描画している可能性がある。その場合、追加映像描画部52がアプリケーション実行部51と独立に表示モードを共通表示モードに切り替えてしまうと、第2ユーザーU2に閲覧させることが不都合な第1映像M1の内容を、第2ユーザーU2も閲覧できてしまうおそれがある。そこで追加映像描画部52は、アプリケーション実行部51とは独立に個別表示モードから共通表示モードへの切り替えを行う場合、描画領域の全体を覆うように追加映像Maを描画してもよい。具体的には、例えばシステムメニューの外側の背景領域を、黒などの特定の色で塗りつぶしたフレーム画像を描画することとする。これにより、第1映像M1に追加映像Maを合成する際に、第1映像M1の全体がマスクされ、いずれの表示装置40にも表示されなくなる。図6は、このような描画が行われた例を示しており、塗りつぶされた背景領域は斜線のハッチングにより示されている。なお、表示モードの切り替えを伴わずに追加映像Maを描画する場合(第1ユーザーU1の要求に応じて追加映像Maを描画する場合など)には、このようなマスクの必要はないので、追加映像描画部52は通常通り背景領域が透明な追加映像Maを描画すればよい。
また、本実施形態において、第1表示装置40aに表示される映像は、ヘッドトラッキング制御に基づいて更新される映像であってよい。ここでヘッドトラッキング制御とは、第1ユーザーU1が頭部に装着した第1表示装置40aの姿勢の変化に基づいて、表示される映像を変化させる制御をいう。以下、ヘッドトラッキング制御の具体例について、説明する。
図7は、ヘッドトラッキング制御の具体例を説明するための図である。この図は、仮想スクリーンVSと二つの視点カメラC1及びC2とが配置された仮想空間を上方から見た様子を示している。同図に示すように、表示制御部53は、仮想空間内に仮想スクリーンVSを配置し、この仮想スクリーンVSに相対する位置に二つの視点カメラC1及びC2を配置する。二つの視点カメラC1及びC2は、左右方向に沿って所定距離離れて並んでいる。そして、仮想スクリーンVSの表面に、表示対象となる画像をテクスチャーとして貼り付ける。ここでは表示対象の画像は、第1フレームバッファF1に書き込まれたフレーム画像に対して、第3フレームバッファF3のフレーム画像を合成して得られるフレーム画像である。この状態において表示制御部53は、視点カメラC1から仮想空間内を見た様子を示す画像を描画して左目用映像を生成する。また、視点カメラC2から仮想空間内を見た様子を示す画像を描画して右目用映像を生成する。表示制御部53は、このような処理をフレーム画像が更新されるごとに繰り返すことによって、合成映像を生成する。このようにして生成された合成映像を第1表示装置40aが表示することで、ユーザーは、自分の前方の離れた位置に存在する仮想スクリーンVSに合成映像が映っている様子を立体的に閲覧することできる。
さらに、表示制御部53は、第1表示装置40aの向きの変化に応じて、二つの視点カメラC1及びC2の向き(視線方向)を変化させる。また、第1表示装置40aの平行移動に応じて、二つの視点カメラC1及びC2の位置を変化させる。具体的に、表示制御部53は、第1表示装置40aの向きが変化した場合、その回転と同じ回転方向、及び回転量だけ視点カメラC1及びC2を回転させる。このとき、視点カメラC1及びC2は、両者の中心位置を回転中心として、互いの距離を保ったまま仮想空間内で回転する。また、第1表示装置40aが基準位置から平行移動した場合、表示制御部53は、その移動方向及び移動量に応じて視点カメラC1及びC2の双方を仮想空間内で移動させる。そして、位置及び向きの変化した視点カメラC1及びC2のそれぞれから仮想スクリーンVSを見た様子を描画することによって、左目用映像、及び右目用映像を生成する。これにより第1ユーザーU1は、あたかも空中に固定されたスクリーンに合成映像が映っているかのような感覚で、表示される映像を閲覧することができる。さらにユーザーは、例えば表示されている映像の外周近傍が視界の中心に来るように顔の向きや位置を変化させることで、初期状態では視認しにくい外周近傍の表示内容に注目して映像を閲覧することができる。
共通表示モードにおいては、以上説明したような制御に基づいて生成された映像信号が、第1表示装置40a、及び第2表示装置40bの双方の表示に使用される。そのため、共通表示モードによる表示中にヘッドトラッキング制御を実行すると、第2表示装置40bに表示される映像も第1ユーザーU1の頭の動きに連動して変化することになる。そこで表示制御部53は、個別表示モードから共通表示モードへの切り替えが行われた場合、所定の条件に基づいてヘッドトラッキング制御を中断してもよい。具体的に、例えば表示制御部53は、第2ユーザーU2の要求に応じて追加映像描画部52が共通表示モードへの切り替えを行った場合に、ヘッドトラッキング制御を中断することとする。このような状況においては、第2ユーザーU2が見やすいように追加映像Maを第2表示装置40bに表示させる必要がある。そのため、ヘッドトラッキング制御を中断して表示領域の略中央に追加映像Maが表示されるように制御することで、第2ユーザーU2が追加映像Maの内容を閲覧しやすくなる。
さらに、表示制御部53は、ヘッドトラッキング制御を中断している状態において、追加映像描画部52が共通表示モードを終了させて個別表示モードへの切り替えを行った場合には、中断していたヘッドトラッキング制御を再開させることとする。ヘッドトラッキング制御を再開する場合、表示制御部53は、再開時点における第1表示装置40aの位置や向きに応じて視点カメラC1及びC2の位置を更新してから、表示する画像を生成することが望ましい。これにより、ヘッドトラッキング制御の中断前後でスクリーンVSの仮想的な位置が変化しないようにすることができる。ただし、このような制御によると、ヘッドトラッキング制御の再開時にスクリーンVSが瞬間的に大きく移動したように感じられ、第1ユーザーU1に違和感を与える可能性がある。そこで表示制御部53は、ヘッドトラッキング制御の再開時には、映像を徐々に表示させるフェードイン制御を実行してもよい。
以上説明した本実施形態に係る情報処理装置10によれば、アプリケーション実行部51及び追加映像描画部52のそれぞれが個別表示モードと共通表示モードとを切り替えることによって、表示内容に適した態様で第1表示装置40a及び第2表示装置40bに映像を表示させることができる。
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では、追加映像Maは共通映像Mcや第1映像M1と同じ規格の映像であることとしたが、追加映像Maは必ずしも共通映像Mcや第1映像M1と同じ規格に基づいて描画されずともよい。この場合、表示制御部53は、共通映像Mcまたは第1映像M1と合成する前に追加映像Maを拡大または縮小するなど、合成のために必要な画像処理を実行してもよい。また、第1映像M1と第2映像M2とは互いに同じ規格の映像であってもよい。これらの場合にも、追加映像Maを第2映像M2とは合成せず、共通映像Mc及び第1映像M1とだけ合成するように制限することで、画像処理の複雑化を避けることができる。
また、以上の説明において中継装置30が実行することとした処理の一部、又は全部は、情報処理装置10によって実現されてもよい。さらに、中継装置30の処理が情報処理装置10によって実現される場合、中継装置30はなくともよい。この場合、第1表示装置40a及び第2表示装置40bは情報処理装置10に直接接続される。また、以上の説明では第1表示装置40aは頭部装着型の表示装置であることとし、第2表示装置40bは据え置き型の表示装置であることとしたが、それぞれの表示装置40は別のタイプの表示装置であってもよい。
また、以上の説明では第1インタフェース13aと第2インタフェース13bは互いに異なる通信規格に基づいて映像信号を送信することとしたが、両者は同じ通信規格に基づいて映像信号を送信してもよい。また、各映像は同じインタフェース経由で送信されてもよい。
1 映像表示システム、10 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、13a 第1インタフェース、13b 第2インタフェース、20a 第1操作デバイス、20b 第2操作デバイス、30 中継装置、40a 第1表示装置、40b 第2表示装置、51 アプリケーション実行部、52 追加映像描画部、53 表示制御部。
Claims (8)
- 第1ユーザーが閲覧する第1表示装置、及び、第2ユーザーが閲覧する第2表示装置と接続される情報処理装置であって、
前記第1表示装置、及び前記第2表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第1表示装置、及び前記第2表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第1表示装置に表示させる第1映像、及び前記第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるプログラム実行部と、
前記プログラム実行部が描画する映像を前記第1表示装置、及び前記第2表示装置に表示させる表示制御部と、
を含むことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記プログラム実行部が描画する映像とは別の追加映像を描画する追加映像描画部をさらに含み、
前記表示制御部は、前記共通表示モードでは、前記共通映像と前記追加映像とを合成した合成映像を前記第1表示装置及び前記第2表示装置の両方に表示させ、前記個別表示モードでは、前記第1映像と前記追加映像とを合成した合成映像を前記第1表示装置に表示させるとともに、前記第2映像を前記第2表示装置に表示させる
ことを特徴とする情報処理装置。 - 請求項2に記載の情報処理装置において、
前記追加映像描画部は、前記追加映像を描画する際に、前記プログラム実行部とは独立に前記個別表示モードから前記共通表示モードへの切り替えを行い、
前記表示制御部は、前記プログラム実行部が前記第1映像及び前記第2映像の二つの映像を描画中に前記追加映像描画部が前記共通表示モードへの切り替えを行った場合、前記第1映像と前記追加映像とを合成した合成映像を前記第1表示装置及び前記第2表示装置の両方に表示させる
ことを特徴とする情報処理装置。 - 請求項3に記載の情報処理装置において、
前記追加映像描画部は、前記第1ユーザー及び前記第2ユーザーのいずれかからの要求に応じて前記追加映像を描画し、前記第2ユーザーからの要求に応じて前記追加映像を描画する場合に、前記共通表示モードへの切り替えを行う
ことを特徴とする情報処理装置。 - 請求項4に記載の情報処理装置において、
前記追加映像描画部は、前記第1ユーザーからの要求に応じて前記追加映像を描画する場合、背景領域が透明な追加映像を描画し、前記第2ユーザーからの要求に応じて前記追加映像を描画する場合、背景領域が塗りつぶされた追加映像を描画する
ことを特徴とする情報処理装置。 - 請求項4に記載の情報処理装置において、
前記第1表示装置は、ユーザーが頭部に装着して使用する表示装置であって、
前記表示制御部は、前記第1表示装置の姿勢の変化に応じて当該第1表示装置に表示させる映像を変化させるヘッドトラッキング制御を実行し、前記追加映像描画部が前記第2ユーザーからの要求に応じて前記共通表示モードへの切り替えを行う場合には、前記ヘッドトラッキング制御を中断する
ことを特徴とする情報処理装置。 - 第1ユーザーが閲覧する第1表示装置、及び、第2ユーザーが閲覧する第2表示装置に映像を表示させる情報処理方法であって、
前記第1表示装置、及び前記第2表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第1表示装置、及び前記第2表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第1表示装置に表示させる第1映像、及び前記第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるステップと、
前記プログラムにより描画される映像を前記第1表示装置、及び前記第2表示装置に表示させるステップと、
を含むことを特徴とする情報処理方法。 - 第1ユーザーが閲覧する第1表示装置、及び、第2ユーザーが閲覧する第2表示装置と接続されるコンピュータを、
前記第1表示装置、及び前記第2表示装置のそれぞれに表示させる映像を描画する処理を実行し、前記第1表示装置、及び前記第2表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第1表示装置に表示させる第1映像、及び前記第2表示装置に表示させる第2映像の二つの映像を描画する個別表示モードとを、前記処理の内容に応じて切り替える描画手段、
として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16850774.7A EP3340229A4 (en) | 2015-09-30 | 2016-06-24 | INFORMATION PROCESSING APPARATUS |
CN201680055424.5A CN108140357B (zh) | 2015-09-30 | 2016-06-24 | 信息处理装置 |
JP2017542938A JP6442619B2 (ja) | 2015-09-30 | 2016-06-24 | 情報処理装置 |
US15/754,771 US10628113B2 (en) | 2015-09-30 | 2016-06-24 | Information processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-193387 | 2015-09-30 | ||
JP2015193387 | 2015-09-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017056597A1 true WO2017056597A1 (ja) | 2017-04-06 |
Family
ID=58423362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/068874 WO2017056597A1 (ja) | 2015-09-30 | 2016-06-24 | 情報処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10628113B2 (ja) |
EP (1) | EP3340229A4 (ja) |
JP (1) | JP6442619B2 (ja) |
CN (1) | CN108140357B (ja) |
WO (1) | WO2017056597A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115220670A (zh) * | 2021-04-16 | 2022-10-21 | 广州视源电子科技股份有限公司 | 投屏控制方法、存储介质及通信设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002325963A (ja) * | 2001-05-02 | 2002-11-12 | Nintendo Co Ltd | ゲームシステムおよびゲームプログラム |
JP2011010126A (ja) * | 2009-06-26 | 2011-01-13 | Canon Inc | 画像処理装置、画像処理方法 |
JP2013226276A (ja) * | 2012-04-26 | 2013-11-07 | Nintendo Co Ltd | ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置 |
JP2014018324A (ja) * | 2012-07-13 | 2014-02-03 | Konami Digital Entertainment Co Ltd | ゲーム管理装置、ゲームシステム、ゲーム管理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8267780B2 (en) * | 2004-03-31 | 2012-09-18 | Nintendo Co., Ltd. | Game console and memory card |
KR20110053110A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 디스플레이장치, 클라이언트, 이를 포함하는 영상표시시스템 및 영상표시방법 |
US8913009B2 (en) * | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
JP5755943B2 (ja) * | 2011-06-03 | 2015-07-29 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法 |
CN104050930B (zh) * | 2013-03-11 | 2016-12-28 | 联想(北京)有限公司 | 显示装置和显示控制方法 |
US9817626B2 (en) * | 2013-07-25 | 2017-11-14 | Empire Technology Development Llc | Composite display with multiple imaging properties |
CN104346064B (zh) * | 2013-08-08 | 2018-02-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104391669A (zh) * | 2014-11-13 | 2015-03-04 | 深圳市中兴移动通信有限公司 | 显示终端、终端显示控制方法及*** |
-
2016
- 2016-06-24 US US15/754,771 patent/US10628113B2/en active Active
- 2016-06-24 CN CN201680055424.5A patent/CN108140357B/zh active Active
- 2016-06-24 WO PCT/JP2016/068874 patent/WO2017056597A1/ja unknown
- 2016-06-24 JP JP2017542938A patent/JP6442619B2/ja active Active
- 2016-06-24 EP EP16850774.7A patent/EP3340229A4/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002325963A (ja) * | 2001-05-02 | 2002-11-12 | Nintendo Co Ltd | ゲームシステムおよびゲームプログラム |
JP2011010126A (ja) * | 2009-06-26 | 2011-01-13 | Canon Inc | 画像処理装置、画像処理方法 |
JP2013226276A (ja) * | 2012-04-26 | 2013-11-07 | Nintendo Co Ltd | ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置 |
JP2014018324A (ja) * | 2012-07-13 | 2014-02-03 | Konami Digital Entertainment Co Ltd | ゲーム管理装置、ゲームシステム、ゲーム管理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3340229A4 * |
Also Published As
Publication number | Publication date |
---|---|
EP3340229A1 (en) | 2018-06-27 |
EP3340229A4 (en) | 2019-01-23 |
JPWO2017056597A1 (ja) | 2018-03-01 |
US20190354333A1 (en) | 2019-11-21 |
JP6442619B2 (ja) | 2018-12-19 |
CN108140357A (zh) | 2018-06-08 |
CN108140357B (zh) | 2021-02-05 |
US10628113B2 (en) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10534428B2 (en) | Image processing device and image processing method, display device and display method, and image display system | |
US20210058612A1 (en) | Virtual reality display method, device, system and storage medium | |
US10692300B2 (en) | Information processing apparatus, information processing method, and image display system | |
TWI610097B (zh) | 電子系統、可攜式顯示裝置及導引裝置 | |
WO2017086263A1 (ja) | 情報処理装置および画像生成方法 | |
JP6576536B2 (ja) | 情報処理装置 | |
JP2019113849A (ja) | 情報処理装置 | |
JPWO2017138458A1 (ja) | 映像表示システム | |
US20200264433A1 (en) | Augmented reality display device and interaction method using the augmented reality display device | |
JP2016162033A (ja) | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 | |
US20210058611A1 (en) | Multiviewing virtual reality user interface | |
JP6518645B2 (ja) | 情報処理装置および画像生成方法 | |
WO2017056597A1 (ja) | 情報処理装置 | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 | |
JP6921204B2 (ja) | 情報処理装置および画像出力方法 | |
WO2019085109A1 (zh) | 图像写入控制方法、装置及电子设备 | |
CN117478931A (zh) | 信息显示方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16850774 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017542938 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |