WO2018186031A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018186031A1
WO2018186031A1 PCT/JP2018/005517 JP2018005517W WO2018186031A1 WO 2018186031 A1 WO2018186031 A1 WO 2018186031A1 JP 2018005517 W JP2018005517 W JP 2018005517W WO 2018186031 A1 WO2018186031 A1 WO 2018186031A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
predetermined
information processing
processing apparatus
Prior art date
Application number
PCT/JP2018/005517
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
賢次 杉原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880021403.0A priority Critical patent/CN110546601B/zh
Priority to JP2019511084A priority patent/JP7099444B2/ja
Priority to US16/489,839 priority patent/US11209900B2/en
Publication of WO2018186031A1 publication Critical patent/WO2018186031A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program capable of executing control using user's line-of-sight information.
  • Patent Document 1 discloses a technique for estimating the user's intention using the user's line-of-sight information. For example, it is determined whether or not the word is difficult for the user to understand based on the feature amount of the user's line of sight with respect to the word in the electronic document. If it is determined that the word is difficult to understand, dictionary lookup is automatically performed for the word (for example, paragraphs [0001] [0060] to [0064] of Patent Document 1).
  • Patent Document 2 discloses a technique for changing the coordinates of an operation point to which a user's touch operation is input using the user's line-of-sight information.
  • the operation point is inside the gaze correction area centered on the gaze point ahead of the gaze point, the coordinates of the operation point are changed as if the gaze point was touched.
  • the operation point is outside the line-of-sight correction area, it is determined that the coordinate of the operation point is not changed and the operation location is touched as it is (paragraph [0036] FIG. 5 in the specification, etc. of Patent Document 2).
  • JP 2004-246398 A Japanese Patent Laying-Open No. 2015-138426
  • an object of the present technology is to provide an information processing apparatus, an information processing method, and a program capable of improving the operability of joint operation by a plurality of users.
  • an information processing apparatus includes a line-of-sight information acquisition unit, an input information acquisition unit, and a position presentation unit.
  • the line-of-sight information acquisition unit acquires first line-of-sight information indicating a first user's gaze position with respect to a predetermined object.
  • the input information acquisition unit acquires predetermined input information by at least one of the first user and the second user.
  • the position presentation unit controls the information providing apparatus to perform position presentation control for presenting the gaze position of the first user in an invisible state to the second user based on the predetermined input information.
  • the gaze position of the first user in an invisible state is presented to the second user based on predetermined input information by at least one of the first and second users. Thereby, the operativity of the joint operation by the 1st and 2nd user is improved.
  • An information processing method is an information processing method executed by a computer system, and includes obtaining first line-of-sight information indicating a first user's gaze position with respect to a predetermined object. Predetermined input information by at least one of the first user and the second user is acquired. Based on the predetermined input information, the information providing apparatus is controlled to perform position presentation control for presenting the second user with the gaze position of the first user in an invisible state.
  • a program causes a computer system to execute the following steps. Acquiring first line-of-sight information indicating a first user's gaze position with respect to a predetermined object; Obtaining predetermined input information by at least one of the first user and the second user; Controlling the information providing apparatus to perform position presentation control for presenting the gaze position of the first user in an invisible state to the second user based on the predetermined input information.
  • FIG. It is a block diagram which shows the functional structural example of a content provision apparatus. It is a flowchart which shows the basic operation example of a content provision apparatus. It is a flowchart which shows the specific example in case position presentation control is performed. It is a schematic diagram which shows an example in case the flow shown in FIG. 4 is performed. It is a schematic diagram which shows the other example when the flow shown in FIG. 4 is performed. It is a schematic diagram which shows the other example when the flow shown in FIG. 4 is performed. It is a schematic diagram which shows the other example when the flow shown in FIG. 4 is performed. It is a schematic diagram which shows the other example when the flow shown in FIG. 4 is performed.
  • FIG. 1 is a diagram schematically illustrating an appearance of a content providing apparatus according to an embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the content providing apparatus.
  • the content providing device 10 is a device that provides content to a plurality of users 1.
  • the electronic book 40 is displayed so as to be viewable for the users 1a and 1b.
  • FIG. 1 illustrates an electronic book 40 in which two pages 42 are displayed in a double-open manner as a browsing image 41 for browsing the electronic book 40.
  • the contents of the electronic book 40 can be read by turning the page 42.
  • the content providing apparatus 10 includes a communication unit 11, a storage unit 12, a display unit 13, an operation unit 14, an imaging unit 15, an external I / F (interface) 16, a microphone 17, a speaker 18, infrared rays ( IR) has a communication unit 19 and a controller 20.
  • the communication unit 11 is a communication module for communicating with other devices via a network such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • a communication module for near field communication such as Bluetooth (registered trademark) may be provided.
  • a communication device such as a modem or a router may be used.
  • content such as the electronic book 40 is downloaded to the content providing apparatus 10 via the communication unit 11.
  • the storage unit 12 is a non-volatile storage device, such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or other solid-state memory.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • flash memory or other solid-state memory.
  • the storage unit 12 stores a control program for controlling the overall operation of the content providing apparatus 10, an application program for executing the information processing method according to the present technology, and various data.
  • a method for installing an application program or the like in the content providing apparatus 10 is not limited. For example, the installation may be executed by an arbitrary method via various recording media or networks.
  • the display unit 13 is a display device using, for example, liquid crystal, EL (Electro-Luminescence), or the like. As shown in FIG. 1, an electronic book 40 is displayed on the display unit 13 and viewed by the users 1a and 1b.
  • the operation unit 14 is, for example, a keyboard, a pointing device, a touch panel, and other operation devices. When the operation unit 14 includes a touch panel, the touch panel can be integrated with the display unit 13.
  • the imaging unit 15 can capture the faces, upper body, whole body, and the like of the users 1a and 1b who use the content providing apparatus 10.
  • a digital camera including an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Devices) sensor is used.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Devices
  • the external I / F 16 is an interface for connecting to an external device based on a standard such as USB or HDMI (registered trademark) (High-Definition Multimedia Interface).
  • the microphone 17 can collect sounds emitted from the users 1a and 1b.
  • the speaker 18 can output sound.
  • the IR communication unit 19 is a module for executing IR communication with an external device.
  • the content providing apparatus 10 can be controlled by operating the remote controller (remote controller) 50 shown in FIG. At that time, the infrared communication command (control signal) transmitted from the remote controller 50 is received by the IR communication unit 19.
  • the controller 20 has hardware necessary for the configuration of the computer, such as a CPU (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory). Various processes are executed by the CPU loading the control program stored in the storage unit 12 into the RAM and executing it.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the specific configuration of the controller 20 is not limited.
  • a device such as an FPGA (Field Programmable Gate Array), an image processing IC (Integrated Circuit), or an ASIC (Application Specific Integrated Circuit) may be used.
  • FPGA Field Programmable Gate Array
  • image processing IC Integrated Circuit
  • ASIC Application Specific Integrated Circuit
  • the CPU of the controller 20 executes the program according to the present embodiment, so that the input information determination unit 21, the position presentation control unit 22, the line-of-sight detection unit 23, the motion detection unit 24, and the sound are function blocks.
  • the determination unit 25 is realized. In order to implement each functional block, dedicated hardware may be used as appropriate.
  • the line-of-sight information indicating the gaze position E of each user 1 is acquired by the content providing apparatus 10.
  • the line-of-sight information indicating the gaze position E is information capable of detecting the gaze position E of each user 1 and is typically information on the gaze direction of each user 1.
  • the information is not limited to the information on the line-of-sight direction.
  • information on the gaze position E itself may be acquired.
  • the line-of-sight detection unit 23 detects the line-of-sight direction of each user 1 based on the image of each user 1 captured by the imaging unit 15. Then, the gaze position E of each user 1 is detected.
  • the line-of-sight detection unit 23 can determine which position on the display unit 13 the gaze position E of each user 1 is. For example, as illustrated in FIG. 1, it is possible to determine which position on the electronic book 40 displayed on the display unit 13 is the gaze position Ea of the user 1 a and the gaze position Eb of the user 1 b.
  • the line-of-sight direction may be detected based on, for example, the image of each user's 1 eyeball, or may be detected based on the orientation of each user's 1 head (face).
  • an arbitrary algorithm may be employed and machine learning such as deep learning may be used.
  • the imaging unit 15 and the line-of-sight detection unit 23 function as a line-of-sight information acquisition unit.
  • the line-of-sight information indicating the gaze position E of each user 1 may be generated by a device different from the content providing apparatus 10 and transmitted to the content providing apparatus 10 via the communication unit 11 or the external I / F 16.
  • the communication unit 11 or the like that receives the line-of-sight information indicating the gaze position E functions as the line-of-sight information acquisition unit.
  • various position presentation controls are performed in which one of the users 1a and 1b is the first user and the other is the second user.
  • Which user 1 is the first user (second user) is not limited, and any of the users 1a and 1b can be the first user (second user).
  • the line-of-sight information of the user 1 who is the first user is the first line-of-sight information
  • the line-of-sight information of the user 1 who is the second user is the second line-of-sight information.
  • FIG. 1 an arrow indicating the line of sight of each user 1 and a gaze position E are illustrated.
  • the viewing image 41 on which the electronic book 40 is displayed is invisible because the line of sight and the gaze position E are not displayed. This prevents the viewing of the electronic book 40 from being hindered by displaying the user's gaze position E, the other party's gaze position E, and the like.
  • Each user 1 can proceed with reading at his / her own pace without worrying about the other party's gaze position E or the like.
  • the motion detection unit 24 detects motions related to the facial expressions, postures, faces (heads), hands, and the like of the users 1 based on the images of the users 1 captured by the imaging unit 15. Based on the detected motion, specific actions such as “I picked up the remote controller 50”, “Touched the other user 1”, “Users 1 joined hands”, “User 1 removed the seat”, etc. Gesture information including the contents of various actions is generated.
  • Gesture information can be generated by any technique such as behavior analysis using machine learning. Note that gesture information of the user 1 may be generated by a device different from the content providing apparatus 10 and transmitted to the content providing apparatus 10.
  • the voice determination unit 25 generates voice information of each user 1 based on the voice collected by the microphone 17.
  • the specific content of the voice uttered by each user 1 can be determined by using any voice analysis technique using machine learning or the like, for example.
  • the content providing apparatus 10 is an embodiment of an information processing apparatus according to the present technology, and is also an embodiment of an information providing apparatus.
  • the display unit 13 of the content providing apparatus 10 corresponds to a predetermined object that provides predetermined content.
  • the present invention is not limited to the case where the information processing apparatus, the information providing apparatus, and the predetermined object are realized by the same device. The present technology can be applied even when these are realized by different devices.
  • FIG. 3 is a flowchart showing a basic operation example of the content providing apparatus 10.
  • the gaze detection unit 23 detects the gaze positions Ea and Eb of the users 1a and 1b, respectively (step 101).
  • the detection of the gaze positions Ea and Eb is always performed.
  • history information of the gaze position E from the past to the present back by a predetermined time may be temporarily stored.
  • the content providing apparatus 10 monitors whether or not predetermined input information by at least one of the users 1a and 1b has been acquired (step 102).
  • control information corresponding to an infrared command transmitted by each user 1 operating the remote controller 50, gaze information (gaze position E) of each user 1, gesture information of each user 1, and each user 1 Is input to the input information determination unit 21 as input information by the user 1.
  • the input information determination unit 21 determines whether or not the input information is predetermined input information. If the determination result is Yes, it is determined that predetermined input information has been acquired, and the process proceeds to step 103. For example, when predetermined control information, information including a movement of a predetermined gaze position, gesture information including a predetermined gesture, audio information including a predetermined voice, or the like is input, it is determined that the predetermined input information has been acquired. .
  • the input information determination unit 21 functions as an input information acquisition unit.
  • the position presentation control unit 22 executes position presentation control (Step 103).
  • the position presentation control is executed based on the acquired input information.
  • the position presentation control unit 22 functions as a position presentation unit.
  • the position presentation control is a control for presenting the second user with the gaze position of the first user who is in an invisible state. For example, when the user 1a shown in FIG. 1 is a first user and the user 1b is a second user, the gaze position Ea of the user 1a in an invisible state is determined based on the predetermined input information acquired in step 102. Position presentation control to be presented to the user 1b is executed.
  • position presentation control for presenting the gaze position Eb of the invisible user 1b to the user 1a based on the acquired predetermined input information is executed. Is done. That is, it can be said that the position presentation control is control for presenting the gaze position E of one user 1 in an invisible state to the other user 1.
  • the presentation of the gaze position E is not limited to the case where the gaze position E is directly presented such that a pointer or the like is displayed at the gaze position E.
  • indirect presentation that makes it possible to grasp the approximate position of the gaze position E is also included. For example, by shining the left or right page 42 of the electronic book 40, it is indicated that the gaze position E is on the page 42. Further, by turning a part of the page 42, it is indicated that the gaze position E is in the page viewed area 43 set in the lower right peripheral portion of the display unit 13 (see FIG. 5 and the like). Such a presentation is also included in the presentation of the gaze position E.
  • the presentation of the gaze position E is not limited to the presentation by control of GUI (Graphical User Interface) displayed on the display unit 13, but also includes presentation by voice or the like.
  • GUI Graphic User Interface
  • any method may be employed.
  • FIG. 4 is a flowchart showing a specific example when the position presentation control is executed.
  • FIG. 5 is a schematic diagram illustrating an example when the flow illustrated in FIG. 4 is executed.
  • it is determined whether or not one or both of the gaze positions Ea and Eb of the users 1a and 1b are at a predetermined position (step 202). That is, it is determined whether or not the input information indicating that the gaze position E of each user 1 is at the predetermined position is acquired as the predetermined input information.
  • a page-viewed area 43 is set in the lower right edge of the display unit 13 that is a predetermined object (the broken line indicating the area 43 is not actually displayed).
  • the page-viewed area 43 is appropriately set as an area that includes the gaze position E of the user 1 when the user 1 reads from the left page 42a and finishes reading the right page 42b.
  • the step 202 is determined as Yes.
  • the page 42 is turned and the next two pages 42 are displayed (step 203).
  • the page 42 is automatically turned at the timing when both the users 1a and 1b have browsed the page 42.
  • the page 42 is turned naturally at an appropriate timing after the reading of the page 42 by each other, very high operability is exhibited.
  • the page turning control shown in FIG. 5 is position presentation control for presenting the first user's gaze position in the page browsed area 43 to the second user.
  • the page turning control shown in FIG. 5 is also position presentation control with the user 1a as the first user, and position presentation control with the user 1b as the first user.
  • the right lower end portion of the right page 42b may be slightly turned to suggest page turning. Then, the page turning may be executed when there is an input to turn the page or when there is no input to interrupt the page turning. Thereby, it becomes possible to acquire accurately the timing when both the users 1a and 1b desire to turn pages.
  • page turning position presentation control may be executed based on input information that the gaze position E has entered the page browsed area 43 after proceeding in order from the left page 42a to the right page 42b. Thereby, it is possible to accurately determine that each user 1 has finished reading the page 42. Also, history information of the gaze position that the gaze position E has entered the page browsed area 43 may be used. For example, page turning position presentation control may be executed based on input information that both the gaze positions Ea and Eb have entered the page browsed area 43. Thus, even when the gaze position E that has entered the page browsing area 43 first moves to another part, the page is turned if the other gaze position E enters the page browsing area 43.
  • the page browsed area 43 is set in the lower right peripheral part of the display unit 13, and the page viewed area 43 may be set in another peripheral part.
  • an area corresponding to another operation or intention different from the end of browsing the page 42 may be set in the peripheral portion of the display unit 13.
  • arbitrary position presentation control may be performed based on the predetermined input information that the gaze position is in the area set in the peripheral edge.
  • a predetermined position may be set based on the electronic book 40 that is the content being watched by each user 1.
  • the lower end of the right page 42b is the boundary position with the page 42 for the next two pages. If the currently displayed page 42 is not dimmed, the content of the electronic book 40 does not advance. Therefore, the lower end portion of the right page 42b can be regarded as a break position where the progress of the contents of the electronic book 40 is interrupted.
  • the page presentation position presentation control may be executed. Even in this case, the same effect as described above is exhibited.
  • the area where the electronic book 40 is interrupted is an area substantially equal to the page-viewed area 43 set at the lower right edge of the display unit 13.
  • the break position at the lower end of the right page 42 b may be a different area from the peripheral part of the display unit 13. Even in this case, for example, the same position presentation control can be executed by setting the break position of the right page 42b as the page browsed area 43 again.
  • another position in the page 42 may be set as the break position of the electronic book 40.
  • an arbitrary position in the content such as the last position of a paragraph or a chapter break may be set as the content break position.
  • the page partial turning control shown in FIG. 6 is position presentation control for presenting the gaze position E of the first user (user 1b) in the page browsed area 43 to the second user (user 1a). As shown in FIG. 5, it is assumed that position presentation control is performed in which the page 42 is turned when the gaze positions Ea and Eb enter the page browsed area 43. In this case, the page partial turning control shown in FIG. 6 is both position presentation control for presenting the gaze position E of the first user (user 1a) other than the page browsed area 43 to the second user (user 1b). I can say that.
  • the gaze position E of one user 1 is in the page browsed area 43
  • the gaze position E in the page browsed area 43 is set by the pointer 44 or the like. It may be displayed directly.
  • the other user 1 (user 1a) can grasp that the other user 1 has already read the page.
  • the user 1 who has finished reading the page 42 can grasp that the other user 1 has not finished reading.
  • the gaze position E of one user 1 (user 1b) is in the page viewed area 43
  • the user 1 (user 1a) who has not yet entered the page viewed area 43 as position presentation control. ) May be directly displayed by the pointer 45 or the like.
  • the user 1 who has finished reading the page 42 can grasp that the other user 1 has not yet read the page 42 and what part he / she is currently reading.
  • the user 1 who has not finished reading can recognize that the other user 1 has already read the page by displaying his gaze position E.
  • the control shown in FIGS. 7 and 8 also presents the gaze position E of the first user (user 1b) in the page-viewed area 43 to the second user (user 1a), similarly to the control shown in FIG. It becomes position presentation control. Moreover, it can be said to be position presentation control in which the gaze position E of the first user (user 1a) outside the page browsed area 43 is presented to the second user (user 1b).
  • FIG. 9 is a schematic diagram illustrating another example of position presentation control based on the gaze position.
  • a selection screen 46 for selecting the electronic book 40 to be browsed is displayed.
  • icons 47 of the electronic books 40 of titles A to L are displayed.
  • the storage unit 12 stores position information of each icon 47, specifically, information on an icon area 48 occupied by each icon 47.
  • the selection control of the electronic book 40 shown in FIGS. 9A and 9B is position presentation control for presenting the second user with the gaze position of the first user in the icon area 48 of the selected electronic book 40. Further, the selection control shown in FIGS. 9A and 9B is position presentation control in which the user 1a is the first user, and is position presentation control in which the user 1b is the first user. When the electronic book 40 is selected, the users 1a and 1b can grasp that the other user 1 has also selected the same electronic book 40.
  • the gaze position E of one user 1 stays in the predetermined icon area 48 for a predetermined time or more, the gaze position E of the user 1, the gaze position E of the other user 1, or both of the users 1
  • the gaze position E may be displayed.
  • the gaze position E may be displayed directly by a pointer or the like, or the icon 47 where the gaze position E stays may be highlighted and displayed.
  • FIG. 10 is a flowchart showing another example when the position presentation control is executed.
  • position presentation control may be executed (Yes in Step 302, Step 303).
  • the gaze position E of each user 1 is input to the input information determination unit 21.
  • the input information determination unit 21 generates positional relationship information indicating the positional relationship of the gaze position E of each user 1 and determines whether the positional relationship information is predetermined.
  • position presentation control is executed assuming that predetermined positional relationship information has been acquired.
  • the gaze position E of each user 1 corresponds to the gaze position of the first and second users.
  • the positional relationship information indicating the positional relationship of the gaze position E of each user 1 corresponds to the positional relationship information of the gaze positions of the first and second users. Which user 1 is fitted to the first user or the second user is not limited, and any user 1 can be the first user or the second user.
  • the specific contents of the predetermined positional relationship information are not limited. That is, there is no limitation on the positional relationship of the gaze position E of each user 1 when the position presentation control is executed. For example, position presentation control is executed based on positional relationship information that the gaze position E of each user 1 is linked.
  • position presentation control may be executed based on positional relationship information that the gaze position E of each user 1 is moving in substantially the same direction.
  • position presentation control may be performed based on the positional relationship information that the gaze position E of each user 1 is moving substantially simultaneously.
  • the sentence is highlighted or the contents of the sentence as position presentation control.
  • An animation or the like corresponding to is displayed.
  • the electronic book 40 such as a photo book or a picture book
  • the position presentation control is related to the work. Voice, explanation, etc. are displayed. Thereby, both the users 1a and 1b can enjoy the same work. In this way, it is possible to provide a high viewing experience as well as a case where high workability is exhibited.
  • position presentation control may be executed based on the distance between the gaze positions E of the users 1.
  • the position presentation control is executed based on the positional relationship information that the distance between the gaze positions E is a predetermined value (threshold value) or less.
  • a predetermined value threshold value
  • position presentation control for advancing content such as page turning is executed.
  • the predetermined value may be set in a plurality of stages, and the position presentation control may be executed in stages according to the distance between the gaze positions E.
  • a predetermined value for determining the residence time may be controlled according to the distance between the gaze positions E in the icon region 48. For example, the closer the gaze positions E are to each other, the shorter the predetermined value of the residence time. That is, content selection is performed as soon as the gaze positions E approach each other. When the gaze positions E substantially overlap each other, the content may be selected without determining the length of the staying time.
  • FIG. 11 is a flowchart showing another example when the position presentation control is executed. As shown in FIG. 11, when the input information that the gaze position E of the user 1 has moved toward the other user 1 is acquired (Yes in Step 402, Step 403). ).
  • the gaze position E before the movement of the first user is visualized as position presentation control. Thereby, it becomes possible to inform the second user of his / her gaze position (gaze position before movement).
  • the position presentation control for visualizing the gaze position E of the first user may be executed with the user who is directed at the line of sight being the first user and the user who is directed at the line of sight is the second user. Accordingly, it is possible to grasp the opponent's gaze position E by viewing the opponent.
  • FIG. 12 is a flowchart showing another example when the position presentation control is executed.
  • the position presentation control may be executed when a predetermined voice is input by at least one user 1 (YES in step 502, step 503). That is, when predetermined audio information is acquired by at least one of the first and second users, position presentation control may be executed based on the acquired audio information.
  • position presentation control is executed.
  • the gaze position E of the user 1 who has issued an instruction word such as “this”, “it”, or “that” is visualized. This makes it possible to grasp what the user 1 is pointing to.
  • a highlight display of a sentence or the like where the gaze position E overlaps is also included.
  • content or the like with the gaze position E overlapping may be selected according to an instruction word such as “this”.
  • arbitrary position presentation control may be executed. By controlling in conjunction with the voice of the user 1, the operability of the joint operation can be further improved.
  • FIG. 13 is a flowchart showing another example of the case where the position presentation control is executed.
  • position presentation control may be executed when a predetermined gesture is input by at least one user 1 (YES in step 602, step 603). That is, when predetermined gesture information by at least one of the first and second users is acquired, the position presentation control may be executed based on the acquired gesture information.
  • the gaze position E of the user 1 is visualized when the user 1 “holds the remote controller 50”.
  • the remote controller 50 it is possible to know which menu is being viewed and the like, and it is possible to grasp the target of operation by the remote controller 50.
  • “user 1 has taken his / her seat” is presented as to where the user 1 was viewing before.
  • the gaze position E of each user 1 is visualized.
  • Such arbitrary position presentation control may be executed. By controlling in conjunction with the user's gesture, the operability of the joint operation can be further improved.
  • the gaze position of the first user who is invisible is presented to the second user based on the predetermined input information by at least one of the first and second users. Is done. Thereby, the operativity of the joint operation by the 1st and 2nd user is improved.
  • the display of the electronic book 40 has been described as an example, but the present technology can be applied to provide other arbitrary contents.
  • content that does not proceed until a predetermined operation is accepted is defined as still content. That is, the static content may be regarded as content that is at least partially suppressed from progressing (automatically) until a predetermined operation is input. Since the electronic book 40 described above cannot be read unless the page 42 is turned, it is included in the still content. Note that the electronic book 40 can basically be regarded as content that does not proceed unless a predetermined operation is input, that is, content that does not proceed automatically as a whole.
  • the present technology can be applied to music content, video content (moving image content) created as still content, animations included in Web content, and the like.
  • Web content including music content, video content, animation, and the like can be regarded as content including a portion that automatically proceeds and a portion that does not proceed until a predetermined operation is input.
  • predetermined input information by the user 1 typically input information related to the gaze position E, is acquired, position presentation control such as progress of content is executed.
  • position presentation control such as progress of content is executed.
  • step 102 and 103 in FIG. 3 position presentation control is executed based on input information indicating that the gaze position E of each user 1 is on the content providing apparatus 10. That is, when the user 1 looks at the content providing apparatus 10, position presentation control is executed.
  • position presentation control is executed based on input information indicating that the gaze position E of the user 1 in the segment of the music content to be played is on the content providing apparatus 10.
  • the division of the music content can be regarded as a portion that does not proceed until a predetermined operation is input. For example, when the end of each song or the end of the last song of an album is used as a music content break and the user 1 views the content providing apparatus 10 at that timing, the next song or the first song of the next album is played. Is done. For example, when all of the plurality of users 1 watch the content providing apparatus 10, the next song or the like is reproduced. Accordingly, it is not necessary to agree on whether or not to play the next song by exchanging words, and the music content can be naturally played in accordance with the intention of each user 1. As a result, very high operability is exhibited.
  • the line-of-sight information of each user 1 corresponds to the first line-of-sight information. Further, by performing position presentation control such as playing the next song, for example, the gaze position E of the user 1 on the content providing apparatus 10 is provided to the other user 1 (second user). Note that the present technology can be applied to arbitrary content that is not still content, and high operability can be achieved.
  • HMD head mounted display
  • the HMD 200 shown in FIG. 18 is a glasses-type device provided with a transmissive display, and is used by being mounted on the head of the user 1.
  • the HMD 200 includes left and right lenses 201L and 201R, a left-eye display 202L and a right-eye display 202R, a left-eye camera 203L and a right-eye camera 203R, and a sensor unit 204.
  • the left and right lenses 201L and 201R are arranged in front of the user's left eye and right eye, respectively.
  • the left-eye and right-eye displays 202L and 202R are provided on the left and right lenses 201L and 201R so as to cover the visual field of the user 1, respectively.
  • the left-eye and right-eye displays 202L and 202R are transmissive displays, and display images for the left eye and the right eye, respectively.
  • the user 1 wearing the HMD 200 can visually recognize an actual scene and simultaneously view an image displayed on each display. Thereby, the user can experience augmented reality (AR) and the like.
  • AR augmented reality
  • a dimming element (not shown) or the like may be provided outside the left-eye and right-eye displays 202L and 202R (on the side opposite to the eyes of the user 1).
  • a light control element is an element which can adjust the quantity of the light which permeate
  • left-eye and right-eye displays 202L and 202R for example, a transmissive organic EL display, an LCD (Liquid Crystal Display), or the like is used.
  • the light control element for example, a light control glass, a light control sheet, a liquid crystal shutter, and the like capable of electrically controlling the transmittance are used.
  • the left-eye and right-eye cameras 203L and 203R are provided at arbitrary positions where the user's left eye and right eye can be imaged.
  • the line-of-sight information indicating the gaze position E is acquired based on the left-eye and right-eye images captured by the left-eye and right-eye cameras 203L and 203R.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • an infrared camera equipped with infrared illumination such as an infrared LED may be used.
  • the sensor unit 204 includes, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor (9-axis sensor), and the like, and acquires information related to the above-described action of the user 1 including the movement and posture (running, walking, stopping, etc.) of the user 1. To do.
  • the line-of-sight information indicated at the gaze position E may be acquired based on the orientation of the head (face) of the user 1 detected by the sensor unit 204.
  • the sensor unit 204 may include a sensor capable of acquiring the biological information of the user 1 such as a heart rate sensor, a sweat sensor, a temperature (body temperature) sensor, an electroencephalogram sensor, and the like.
  • position presentation control may be performed based on acquisition of the predetermined input information including change of user's 1 living body information, etc.
  • FIG. 19A is a perspective view schematically showing the appearance of the HMD 300.
  • FIG. FIG. 19B is a perspective view schematically showing the HMD 300 being disassembled.
  • the HMD 300 includes a mount unit 301 that is mounted on the head of the user 1, a display unit 302 that is disposed in front of both eyes of the user 1, and a cover unit 303 that is configured to cover the display unit 302.
  • the HMD 300 is an immersive head-mounted display configured to cover the user's visual field, and is used as an HMD for virtual reality (VR).
  • VR virtual reality
  • the present technology may be applied to a virtual object in a virtual space that can be experienced by wearing these HMDs 200 and 300. That is, first line-of-sight information (second line-of-sight information) of the first user (second user) for the virtual object is acquired. Then, based on predetermined input information by at least one of the first user and the second user, position presentation control for presenting the gaze position of the first user in the virtual space to the second user may be executed.
  • position presentation control for presenting the gaze position of the first user in the virtual space to the second user may be executed.
  • the present technology can be applied to both a real object in the real space and a virtual object in the AR space.
  • any device may be used as the information providing device.
  • an apparatus having at least one of an image display function and an audio output function is used, such as the content providing apparatus 10 shown in FIG.
  • an apparatus capable of displaying at least one of a virtual reality image and an augmented reality image such as the HMDs 200 and 200 shown in FIGS. 14 and 15, is used.
  • various CE (Consumer Electronics) devices such as a television device, a PC (Personal computer), a smartphone, a tablet terminal, an audio video receiver, a video monitor, or a home game device may be used.
  • the position presentation control unit 22 executes position presentation control by the content providing device 10.
  • the information processing apparatus and the information providing apparatus according to the present technology may be configured independently of each other and connected to be communicable via a network or the like. In this case, the information providing apparatus is controlled to perform position presentation control by the position presentation control unit of the information processing apparatus.
  • the number of users 1 to be provided with content is not limited, and the present technology can be applied to an arbitrary number of users 1. It is possible to execute various position presentation controls when each user 1 is the first user.
  • the information processing method according to the present technology is executed by a computer such as the content providing apparatus 10 operated by the user 1, the HMD 200, and the 300 has been described.
  • the information processing method and the program according to the present technology may be executed by a computer operated by the user 1 and another computer capable of communicating via a network or the like.
  • a content providing system according to the present technology may be constructed in conjunction with a computer operated by the user 1 and another computer.
  • the information processing method and the program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems.
  • the information processing method and the program execution according to the present technology by the computer system include, for example, acquisition of first gaze information (second gaze information) of the first user (first user), first and second
  • first gaze information second gaze information
  • second gaze information the acquisition of predetermined input information by at least one of the users
  • execution of position presentation control, control of the information providing apparatus for executing position presentation control, and the like are executed by a single computer, and each process is executed by a different computer Includes both when executed.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • the information processing method and program according to the present technology can be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is processed jointly.
  • this technique can also take the following structures.
  • a line-of-sight information acquisition unit that acquires first line-of-sight information indicating a gaze position of the first user with respect to a predetermined object;
  • An input information acquisition unit for acquiring predetermined input information by at least one of the first user and the second user;
  • a position presentation unit that controls the information providing device to perform position presentation control for presenting the gaze position of the first user in an invisible state to the second user based on the predetermined input information;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), The line-of-sight information acquisition unit acquires second line-of-sight information indicating a gaze position of the second user with respect to the predetermined object,
  • the input information acquisition unit acquires positional relationship information between the gaze position of the first user and the gaze position of the second user as the predetermined input information,
  • the position presentation unit controls the information providing apparatus to perform the position presentation control based on the position relation information.
  • the position presentation unit controls the information providing apparatus to perform the position presentation control based on the positional relationship information that the gaze position of the first user and the gaze position of the second user are linked. Information processing device to control.
  • the position presentation unit performs the position presentation control based on the positional relationship information that the gaze position of the first user and the gaze position of the second user are moving in substantially the same direction.
  • the position providing unit provides the information to perform the position presentation control based on the positional relationship information that the gaze position of the first user and the gaze position of the second user are moving substantially simultaneously.
  • the information processing apparatus performs the position presentation control based on the positional relationship information that a distance between the gaze position of the first user and the gaze position of the second user is a predetermined value or less.
  • An information processing device that controls a providing device.
  • the information processing apparatus according to any one of (1) to (6), The input information acquisition unit acquires the first line-of-sight information as the predetermined input information, The position presentation unit controls the information providing device to perform the position presentation control based on the predetermined input information that the gaze position of the first user is at a predetermined position of the predetermined object. apparatus.
  • the predetermined position of the predetermined object is a peripheral portion of the predetermined object.
  • the predetermined object is an object that provides predetermined content;
  • the predetermined position of the predetermined object is a break position of the predetermined content being watched by the first user and the second user.
  • the information processing apparatus according to any one of (1) to (10),
  • the predetermined object is a reproduction object for reproducing music content or video content
  • the input information acquisition unit acquires the first line-of-sight information as the predetermined input information
  • the position presentation unit controls the information providing device to perform the position presentation control based on the predetermined input information that the gaze position of the first user is on the reproduction object.
  • the information processing apparatus according to (11), The input information acquisition unit acquires the first line-of-sight information at a break of the music content or the moving image content as the predetermined input information, The position presentation unit provides information so as to perform the position presentation control based on the predetermined input information that the gaze position of the first user is on the reproduction object at the break of the music content or the moving image content An information processing device that controls the device. (13) The information processing apparatus according to any one of (1) to (12), The input information acquisition unit acquires the first line-of-sight information as the predetermined input information, The position presentation unit visualizes the gaze position before the first user moves based on the predetermined input information that the gaze position of the first user has moved toward the second user.
  • An information processing apparatus that controls an information providing apparatus to perform the position presentation control.
  • the information processing apparatus according to any one of (1) to (13),
  • the input information acquisition unit acquires voice information by at least one of the first user and the second user as the predetermined input information,
  • the information presenting apparatus wherein the position presentation unit controls the information providing apparatus to perform the position presentation control based on the audio information.
  • the information processing apparatus according to (14), The information processing apparatus that controls the information providing apparatus to perform the position presentation control based on the voice information including an instruction word issued by the first user.
  • the information processing apparatus according to any one of (1) to (15),
  • the input information acquisition unit acquires gesture information by at least one of the first user and the second user as the predetermined input information
  • the position presentation unit controls the information providing apparatus to perform the position presentation control based on the gesture information.
  • the information processing apparatus according to any one of (1) to (16),
  • the information providing apparatus is an information processing apparatus having at least one of an image display function and an audio output function.
  • the information providing apparatus is capable of displaying at least one of a virtual reality image and an augmented reality image.
  • a computer-readable storage medium storing a program.
  • E, Ea, Eb ... gaze position 1, 1a, 1b ... user 10 ... content providing device 20 ... controller 21 ... input information determination unit 22 ... position presentation control unit 23 ... gaze detection unit 24 ... motion detection unit 25 ... audio determination unit 40 ... Electronic book 42 ... Page 43 ... Page browsed area 44, 45 ... Pointer 47 ... Icon 48 ... Icon area 50 ... Remote control 200, 300 ... HMD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本技術の一形態に係る情報処理装置は、視線情報取得部と、入力情報取得部と、位置提示部とを具備する。前記視線情報取得部は、所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得する。前記入力情報取得部は、前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得する。前記位置提示部は、前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御する。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、ユーザの視線情報を用いた制御を実行可能な情報処理装置、情報処理方法、及びプログラムに関する。
　特許文献１には、ユーザの視線情報を用いてユーザの意図を推定する技術について開示されている。例えば電子文書中の単語に対するユーザの視線の特徴量に基づいて、その単語がユーザにとって理解困難であるか否かが判定される。そして理解困難であると判定された場合には、その単語について自動的に辞書引きが実行される（特許文献１の明細書段落［０００１］［００６０］～［００６４］等）。
　特許文献２には、ユーザの視線情報を用いて、ユーザのタッチ操作が入力される操作点の座標を変更する技術について開示されている。操作点が視線の先にある注視点を中心とした視線補正領域の内部にある場合は、注視点がタッチされたものとして操作点の座標が変更される。操作点が視線補正領域の外部である場合は、操作点の座標は変更されず、そのまま操作箇所がタッチされたものと判断される（特許文献２の明細書段落［００３６］図５等）。
特開２００４－２４６３９８号公報 特開２０１５－１３８４２６号公報
　このようにユーザの視線情報を用いた様々な技術が開発されており、例えば複数のユーザが共同で操作をする場合に高い操作性を発揮することが可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、複数のユーザによる共同操作の操作性を向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、視線情報取得部と、入力情報取得部と、位置提示部とを具備する。
　前記視線情報取得部は、所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得する。
　前記入力情報取得部は、前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得する。
　前記位置提示部は、前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御する。
　この情報処理装置では、第１及び第２のユーザの少なくとも一方による所定の入力情報に基づいて、不可視状態にある第１のユーザの注視位置が第２のユーザに提示される。これにより第１及び第２のユーザによる共同操作の操作性が向上される。
　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得することを含む。
　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報が取得される。
　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置が制御される。
　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得するステップ。
　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得するステップ。
　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御すステップ。
　以上のように、本技術によれば、複数のユーザによる共同操作の操作性を向上させることが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
一実施形態に係るコンテンツ提供装置の外観を模式的に示す図である。図２は、 コンテンツ提供装置の機能的な構成例を示すブロック図である。 コンテンツ提供装置の基本的な動作例を示すフローチャートである。 位置提示制御が実行される場合の具体例を示すフローチャートである。 図４に示すフローが実行される場合の一例を示す模式図である。 図４に示すフローが実行される場合の他の例を示す模式図である。 図４に示すフローが実行される場合の他の例を示す模式図である。 図４に示すフローが実行される場合の他の例を示す模式図である。 注視位置に基づいた位置提示制御の他の例を示す模式図である。 位置提示制御が実行される場合の他の例を示すフローチャートである。 位置提示制御が実行される場合の他の例を示すフローチャートである。 位置提示制御が実行される場合の他の例を示すフローチャートである。 位置提示制御が実行される場合の他の例を示すフローチャートである。 本技術に係るヘッドマウントディスプレイの構成例を示す斜視図である。 本技術に係るヘッドマウントディスプレイの構成例を示す斜視図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［コンテンツ提供装置の構成］
　図１は、本技術の一実施形態に係るコンテンツ提供装置の外観を模式的に示す図である。図２は、コンテンツ提供装置の機能的な構成例を示すブロック図である。
　コンテンツ提供装置１０は、複数のユーザ１にコンテンツを提供する装置である。本実施形態では、ユーザ１ａ及び１ｂに対して、電子書籍４０が閲覧可能に表示される。図１には電子書籍４０を閲覧するための閲覧画像４１として、２ページ分のページ４２が両開きで表示された電子書籍４０が図示されている。実世界の書籍の閲覧と同様に、ページ４２がめくられることで、電子書籍４０の内容を読み進めて行くことが可能である。
　図２に示すように、コンテンツ提供装置１０は、通信部１１、記憶部１２、表示部１３、操作部１４、撮像部１５、外部Ｉ／Ｆ（インタフェース）１６、マイク１７、スピーカ１８、赤外線（ＩＲ）通信部１９、及びコントローラ２０を有する。
　通信部１１は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して他のデバイスと通信するための通信モジュールである。Bluetooth（登録商標）等の近距離無線通信用の通信モジュールが備えられてもよい。またモデムやルータ等の通信機器が用いられてもよい。例えば通信部１１を介して、電子書籍４０等のコンテンツが、コンテンツ提供装置１０にダウンロードされる。
　記憶部１２は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、その他の固体メモリである。
　記憶部１２には、コンテンツ提供装置１０の全体の動作を制御するための制御プログラム、本技術に係る情報処理方法を実行するためのアプリケーションプログラムや種々のデータが記憶される。アプリケーションプログラム等をコンテンツ提供装置１０にインストールする方法は限定されない。例えば、種々の記録媒体やネットワーク等を介した任意の方法で、インストールが実行されてよい。
　表示部１３は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。図１に示すように、表示部１３に電子書籍４０が表示され、ユーザ１ａ及び１ｂにより閲覧される。操作部１４は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。操作部１４がタッチパネルを含む場合、そのタッチパネルは表示部１３と一体となり得る。
　撮像部１５は、コンテンツ提供装置１０を使用するユーザ１ａ及び１ｂの顔、上半身、又は全身等を撮影することが可能である。撮像部１５としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等のイメージセンサを備えるデジタルカメラが用いられる。
　外部Ｉ／Ｆ１６は、例えばＵＳＢやＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の規格に基づいて、外部機器と接続するためのインタフェースである。マイク１７は、ユーザ１ａ及び１ｂから発せられる音声を集音することが可能である。スピーカ１８は、音声を出力することが可能である。
　ＩＲ通信部１９は、外部機器とＩＲ通信を実行するためのモジュールである。本実施形態では、図１に示すリモートコントローラ（リモコン）５０を操作することで、コンテンツ提供装置１０を制御することが可能である。その際には、リモコン５０から送信された赤外線コマンド（制御信号）がＩＲ通信部１９により受信される。
　コントローラ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のコンピュータの構成に必要なハードウェアを有する。ＣＰＵが記憶部１２に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。
　コントローラ２０の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）、画像処理ＩＣ（Integrated Circuit）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。
　本実施形態では、コントローラ２０のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして、入力情報判定部２１、位置提示制御部２２、視線検出部２３、動作検出部２４、及び音声判定部２５が実現される。各機能ブロックを実現するために、専用のハードウェアが適宜用いられてもよい。
　本実施形態では、コンテンツ提供装置１０により、各ユーザ１の注視位置Ｅを示す視線情報が取得される。注視位置Ｅを示す視線情報とは、各ユーザ１の注視位置Ｅを検出することが可能な情報であり、典型的には、各ユーザ１の視線方向の情報である。もちろん視線方向の情報に限定されず、例えば注視位置Ｅ自体の情報が取得されてもよい。
　本実施形態では視線検出部２３により、撮像部１５で撮影された各ユーザ１の画像に基づいて、各ユーザ１の視線方向が検出される。そして各ユーザ１の注視位置Ｅが検出される。視線検出部２３は、各ユーザ１の注視位置Ｅが、表示部１３上のどの位置にあるかを判定することが可能である。例えば図１に示すように、ユーザ１ａの注視位置Ｅａ、及びユーザ１ｂの注視位置Ｅｂが、表示部１３に表示される電子書籍４０上のどの位置にあるかを判定することが可能である。
　視線方向は、例えば各ユーザ１の眼球の画像に基づいて検出されてもよいし、各ユーザ１の頭（顔）の向きに基づいて検出されてもよい。その他、任意のアルゴリズムが採用されてよく、ディープラーニング等の機械学習が用いられてもよい。本実施形態では、撮像部１５及び視線検出部２３は、視線情報取得部として機能する。
　なおコンテンツ提供装置１０とは異なるデバイス等により、各ユーザ１の注視位置Ｅを示す視線情報が生成され、通信部１１や外部Ｉ／Ｆ１６を介して、コンテンツ提供装置１０に送信されてもよい。この場合、注視位置Ｅを示す視線情報を受信する通信部１１等が、視線情報取得部として機能する。
　後述するように、本実施形態では、ユーザ１ａ及び１ｂの一方を第１のユーザ、他方を第２のユーザとした、種々の位置提示制御が実行される。どちらのユーザ１が第１のユーザ（第２のユーザ）となるかは限定されず、ユーザ１ａ及び１ｂのいずれもが第１のユーザ（第２のユーザ）になり得る。第１のユーザとなるユーザ１の視線情報は第１の視線情報となり、第２のユーザとされるユーザ１の視線情報は第２の視線情報となる。
　なお図１には、各ユーザ１の視線を表す矢印と、注視位置Ｅとが図示されている。電子書籍４０の閲覧モードの基本動作としては、電子書籍４０が表示される閲覧画像４１には、視線や注視位置Ｅは表示されず不可視状態となっている。これにより自分の注視位置Ｅや相手の注視位置Ｅ等が表示されることで、電子書籍４０の閲覧が妨げられてしまうことが防止されている。各ユーザ１は、相手の注視位置Ｅ等を気にすることなく、自分のペースで読書を進めることが可能である。
　また本実施形態では、動作検出部２４により、撮像部１５で撮影された各ユーザ１の画像に基づいて、各ユーザ１の表情、姿勢、顔（頭）、手等に関する動作が検出される。そして検出された動作に基づいて「リモコン５０を手に取った」「相手のユーザ１に触れた」「ユーザ１同士が手を合わせた」「ユーザ１が席を外した」等の、具体的な動作の内容を含むジェスチャ情報が生成される。
　ジェスチャ情報は、例えば機械学習を用いた行動解析等の任意の技術により生成可能である。なおコンテンツ提供装置１０とは異なるデバイスによりユーザ１のジェスチャ情報が生成され、コンテンツ提供装置１０に送信されてもよい。
　また本実施形態では、音声判定部２５により、マイク１７により集音される音声に基づいて、各ユーザ１の音声情報が生成される。各ユーザ１が発した音声の具体的な内容は、例えば機械学習等を利用した任意の音声解析技術を用いることで判定可能である。
　コンテンツ提供装置１０は、本技術に係る情報処理装置の一実施形態であり、また情報提供装置の一実施形態でもある。またコンテンツ提供装置１０の表示部１３は、所定のコンテンツを提供する所定のオブジェクトに相当する。もちろん本技術に係る情報処理装置、情報提供装置、及び所定のオブジェクトが同一のデバイスにより実現される場合に限定されるわけではない。これらが互いに異なるデバイスにより実現される場合でも本技術は適用可能である。
　［位置提示制御］
　図３は、コンテンツ提供装置１０の基本的な動作例を示すフローチャートである。まず視線検出部２３により、ユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂが検出される（ステップ１０１）。当該注視位置Ｅａ及びＥｂの検出は常時実行されており、例えば所定の時間分遡った過去から現在までの注視位置Ｅの履歴情報が一時的に記憶されてもよい。
　コンテンツ提供装置１０により、ユーザ１ａ及び１ｂの少なくとも一方による所定の入力情報が取得されたか否かが監視される（ステップ１０２）。本実施形態では、各ユーザ１がリモコン５０を操作することで送信される赤外線コマンドに応じた制御情報、各ユーザ１の視線情報（注視位置Ｅ）、各ユーザ１のジェスチャ情報、及び各ユーザ１の音声情報が、ユーザ１による入力情報として入力情報判定部２１に入力される。
　入力情報判定部２１は、入力情報が、予め定められている入力情報であるか否かを判定する。そして判定の結果がＹｅｓの場合には、所定の入力情報が取得されたと判定し、ステップ１０３に進む。例えば所定の制御情報、所定の注視位置の動きを含む情報、所定のジェスチャを含むジェスチャ情報、所定の音声を含む音声情報等が入力された場合に、所定の入力情報が取得されたと判定される。本実施形態において、入力情報判定部２１は、入力情報取得部として機能する。
　所定の入力情報が取得されると（ステップ１０２のＹｅｓ）、位置提示制御部２２により、位置提示制御が実行される（ステップ１０３）。位置提示制御は、取得された入力情報に基づいて実行される。本実施形態において位置提示制御部２２は、位置提示部として機能する。
　位置提示制御は、不可視状態にある第１のユーザの注視位置を、第２のユーザに提示する制御である。例えば図１に示すユーザ１ａを第１のユーザとし、ユーザ１ｂを第２のユーザとすると、ステップ１０２にて取得された所定の入力情報に基づいて、不可視状態にあるユーザ１ａの注視位置Ｅａをユーザ１ｂに提示する位置提示制御が実行される。
　ユーザ１ｂを第１のユーザとしユーザ１ａを第２のユーザとすると、取得された所定の入力情報に基づいて、不可視状態にあるユーザ１ｂの注視位置Ｅｂをユーザ１ａに提示する位置提示制御が実行される。すなわち位置提示制御は、不可視状態にある一方のユーザ１の注視位置Ｅを、他方のユーザ１に提示する制御であるともいえる。
　なお注視位置Ｅの提示とは、注視位置Ｅにポインタ等を表示するような、注視位置Ｅを直接的に提示する場合に限定されない。例えば注視位置Ｅのおおよその位置を把握することを可能とする間接的な提示も含まれる。例えば電子書籍４０の左右いずれかのページ４２を光らせることで、注視位置Ｅがそのページ４２上にあることを提示する。またページ４２の一部をめくることで、注視位置Ｅが表示部１３の右下の周縁部に設定されたページ閲覧済み領域４３にあることを提示する（図５等参照）。このような提示も、注視位置Ｅの提示に含まれる。
　また注視位置Ｅの提示は、表示部１３に表示されるＧＵＩ（Graphical User Interface）の制御による提示に限定されず、音声等による提示も含まれる。注視位置Ｅの具体的な提示方法として、任意の方法が採用されてよい。
　図４は、位置提示制御が実行される場合の具体例を示すフローチャートである。図５は、図４に示すフローが実行される場合の一例を示す模式図である。図４に示す例では、ユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂの両方あるいはいずれか一方が、所定の位置にあるか否かが判定される（ステップ２０２）。すなわち所定の入力情報として、各ユーザ１の注視位置Ｅが所定の位置にある旨の入力情報が取得されたか否かが判定される。
　例えば図５に示すように、所定のオブジェクトである表示部１３の右下の周縁部に、ページ閲覧済み領域４３が設定される（当該領域４３を示す破線は実際には表示されない）。ページ閲覧済み領域４３は、ユーザ１が左側のページ４２ａから読み進み右側のページ４２ｂを読み終わった場合に、ユーザ１の注視位置Ｅが含まれる領域として適宜設定される。
　例えばユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂの両方がページ閲覧済み領域４３にある場合に、ステップ２０２がＹｅｓと判定される。そして位置提示制御として、ページ４２がめくられて次の２ページ分のページ４２が表示される（ステップ２０３）。
　これによりユーザ１ａ及び１ｂの両方がページ４２を閲覧し終わったタイミングで、自動的にページ４２がめくられる。この結果ページをめくりながら同じ電子書籍４０を読み進めていくという共同操作を行うにあたって、互いにページをめくってもよいか否かの合意を取る必要がなくなる。お互いがページ４２読み終えた適正なタイミングで自然とページ４２がめくられるので、非常に高い操作性が発揮される。
　図５に示すページめくりの制御は、ページ閲覧済み領域４３にある第１のユーザの注視位置を、第２のユーザに提示する位置提示制御となる。また図５に示すページめくりの制御は、ユーザ１ａを第１のユーザとした位置提示制御でもあるし、ユーザ１ｂを第１のユーザとして位置提示制御でもある。ユーザ１ａ及び１ｂは、ページがめくられることで、相手のユーザ１も表示部１３の右下の周縁部までページ４２を読み終わったことを把握することが可能となる。なおページ閲覧済み領域４３の位置を、ユーザ１ａ及び１ｂが認識してない場合でも、自然なページめくりは実現される。
　ユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂの両方がページ閲覧済み領域４３にある場合に、右側のページ４２ｂの右下端部が少しだけめくられ、ページめくりが示唆されてもよい。そしてページをめくる旨の入力があった場合や、ページめくりを中断する旨の入力がない場合に、ページめくりが実行されてもよい。これによりユーザ１ａ及び１ｂの両方がページめくりを所望するタイミングを精度よく取得することが可能となる。
　また注視位置Ｅが左側のページ４２ａから右側のページ４２ｂを順に進んだ後にページ閲覧済み領域４３に入ったという入力情報に基づいて、ページめくりの位置提示制御が実行されてもよい。これにより、各ユーザ１がページ４２を読み終えことを精度よく判定することが可能となる。また注視位置Ｅがページ閲覧済み領域４３に入ったという注視位置の履歴情報が用いられてもよい。例えば注視位置Ｅａ及びＥｂの両方がページ閲覧済み領域４３に入ったことがあるという入力情報に基づいて、ページめくりの位置提示制御が実行されてもよい。これにより、先にページ閲覧済み領域４３に入った注視位置Ｅがその後他の部分に移動した場合でも、もう一方の注視位置Ｅがページ閲覧済み領域４３に入れば、ページがめくられる。
　なお表示部１３の右下の周縁部にページ閲覧済み領域４３が設定される場合に限定されず、他の周縁部にページ閲覧済み領域４３が設定されてもよい。またページ４２の閲覧の終了とは異なる他の動作や意図等に応じた領域が、表示部１３の周縁部に設定されてもよい。そして当該周縁部に設定された領域に注視位置があるという所定の入力情報に基づいて、任意の位置提示制御が実行されてよい。
　このように表示部１３の所定の位置に注意位置Ｅがあるという入力情報に基づいて、位置提示制御を実行することが可能である。もちろん各ユーザ１に注視されているコンテンツである電子書籍４０を基準として、所定の位置が設定されてもよい。
　例えば右側のページ４２ｂの下端部は、次の２ページ分のページ４２との境界位置である。現在表示されているページ４２をめくらなければ、電子書籍４０の内容は進行しない。従って右側のページ４２ｂの下端部は、電子書籍４０の内容の進行が途切れる途切れ位置とみなすことができる。この途切れ位置となる右側のページ４２ｂの下端部の領域に両方の注視位置Ｅａ及びＥｂが入った場合に、ページおくりの位置提示制御が実行されてもよい。この場合でも、上記と同様な効果が発揮される。
　図５に示す例では、電子書籍４０の途切れ位置となる領域は、表示部１３の右下の周縁部に設定されたページ閲覧済み領域４３と略等しい領域となる。例えば表示部１３に対して電子書籍４０のサイズが小さい場合等では、右側のページ４２ｂの下端部の途切れ位置が、表示部１３の周辺部とは異なる領域となる場合もあり得る。この場合でも、例えば右側のページ４２ｂの途切れ位置をページ閲覧済み領域４３として改めて設定することで、同様の位置提示制御を実行可能である。
　もちろんページ４２内の他の位置が、電子書籍４０の途切れ位置として設定されてもよい。例えば段落の最後の位置や章の区切り等、コンテンツ内の任意の位置が、コンテンツの途切れ位置として設定されてよい。
　図６に示す例では、一方のユーザ１（ユーザ１ｂ）の注視位置Ｅがページ閲覧済み領域４３にある場合に、位置提示制御として、右側のページ４２ｂの右下端部が少しだけめくられる（ステップ２０２のＹｅｓ、ステップ２０３）。これにより他方のユーザ１（ユーザ１ａ）は、相手のユーザ１がすでにページ４２を読み終えたことを把握することが可能となる。一方ページ４２を読み終えたユーザ１は、相手のユーザ１がまだ読み終えていないことを把握することが可能となる。
　図６に示すページ部分めくり制御は、ページ閲覧済み領域４３にある第１のユーザ（ユーザ１ｂ）の注視位置Ｅを、第２のユーザ（ユーザ１ａ）に提示する位置提示制御となる。なお図５に示すように、注視位置Ｅａ及びＥｂがページ閲覧済み領域４３に入るとページ４２がめくられる位置提示制御が実行されるとする。この場合、図６に示すページ部分めくり制御は、ページ閲覧済み領域４３以外にある第１のユーザ（ユーザ１ａ）の注視位置Ｅを、第２のユーザ（ユーザ１ｂ）に提示する位置提示制御ともいえる。
　図７に示すように、一方のユーザ１（ユーザ１ｂ）の注視位置Ｅがページ閲覧済み領域４３にある場合に、位置提示制御として、ページ閲覧済み領域４３にある注視位置Ｅがポインタ４４等により直接的に表示されてもよい。これにより他方のユーザ１（ユーザ１ａ）は、相手のユーザ１がすでにページを読み終えたことを把握することが可能となる。一方ページ４２を読み終えたユーザ１は、相手のユーザ１がまだ読み終えていないことを把握することが可能となる。
　図８に示すように、一方のユーザ１（ユーザ１ｂ）の注視位置Ｅがページ閲覧済み領域４３にある場合に、位置提示制御として、まだページ閲覧済み領域４３に入っていないユーザ１（ユーザ１ａ）の注視位置Ｅがポインタ４５等により直接的に表示されてもよい。これによりページ４２を読み終えたユーザ１は、相手のユーザ１がまだ読み終えていないこと、及び今どのあたりを読んでいるかを把握することが可能となる。一方まだ読み終えていないユーザ１は、自分の注視位置Ｅが表示されたことで、相手のユーザ１がすでにページを読み終えたことを把握することが可能となる。
　図７及び図８に示す制御も、図６に示す制御と同様に、ページ閲覧済み領域４３にある第１のユーザ（ユーザ１ｂ）の注視位置Ｅを、第２のユーザ（ユーザ１ａ）に提示する位置提示制御となる。またページ閲覧済み領域４３以外にある第１のユーザ（ユーザ１ａ）の注視位置Ｅを、第２のユーザ（ユーザ１ｂ）に提示する位置提示制御ともいえる。
　図９は、注視位置に基づいた位置提示制御の他の例を示す模式図である。図９Ａには、閲覧する電子書籍４０を選択するための選択画面４６が表示されている。選択画面４６には、タイトルＡ～Ｌまでの電子書籍４０のアイコン４７が表示されている。記憶部１２には、各アイコン４７の位置情報、具体的には、各アイコン４７が占めるアイコン領域４８の情報　が記憶されている。
　図９Ａに示すように、ユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂの両方が、所定のアイコン領域４８にある場合、当該アイコン領域４８のアイコン４７に対応する電子書籍４０が選択される。そして図９Ｂに示すように、位置提示制御として、選択された電子書籍４０を閲覧するための閲覧画像４１が表示される。これにより電子書籍４０を二人で選択するという共同操作を行うにあたって、どれを所望するかを互いに確かめ合うことなく、二人が所望とする電子書籍４０が自然に選択される。この結果、非常に高い操作性が発揮される。
　図９Ａ及びＢに示す電子書籍４０の選択制御は、選択された電子書籍４０のアイコン領域４８にある第１のユーザの注視位置を、第２のユーザに提示する位置提示制御となる。また図９Ａ及びＢに示す選択制御は、ユーザ１ａを第１のユーザとした位置提示制御でもあるし、ユーザ１ｂを第１のユーザとして位置提示制御でもある。ユーザ１ａ及び１ｂは、電子書籍４０が選択されることで、相手のユーザ１も同じ電子書籍４０を選択したことを把握することが可能となる。
　一方のユーザ１の注視位置Ｅが所定の時間以上所定のアイコン領域４８に留まった場合に、そのユーザ１の注視位置Ｅ、又は他方のユーザ１の注視位置Ｅ、あるいは両方のユーザ１の各々の注視位置Ｅが表示されてもよい。これにより相手がどの電子書籍４０を選んでいるか、あるいは悩み中であるかといったことを把握することが可能である。もちろんポインタ等により直接的に注視位置Ｅが表示されてもよいし、注視位置Ｅが滞留するアイコン４７が強調されて表示が行われてもよい。
　図１０は、位置提示制御が実行される場合の他の例を示すフローチャートである。図１０に示すように、ユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂが所定の位置関係となる場合に、位置提示制御が実行されてもよい（ステップ３０２のＹｅｓ、ステップ３０３）。例えば入力情報判定部２１に、各ユーザ１の注視位置Ｅが入力される。入力情報判定部２１は、各ユーザ１の注視位置Ｅの位置関係を示す位置関係情報を生成し、所定の位置関係情報であるか否かを判定する。判定の結果がＹｅｓの場合、所定の位置関係情報が取得されたとして、位置提示制御が実行される。
　各ユーザ１の注視位置Ｅは、第１及び第２のユーザの注視位置に相当する。各ユーザ１の注視位置Ｅの位置関係を示す位置関係情報は、第１及び第２のユーザの注視位置の位置関係情報に相当する。第１のユーザや第２のユーザを、どのユーザ１を当て嵌めるかは限定されず、任意のユーザ１が第１のユーザにも第２のユーザにもなり得る。
　所定の位置関係情報の具体的な内容は限定されない。すなわち各ユーザ１の注視位置Ｅがどのような位置関係となった場合に位置提示制御が実行されるかは限定されない。例えば各ユーザ１の注視位置Ｅが連動しているという位置関係情報に基づいて、位置提示制御が実行される。
　例えば各ユーザ１の注視位置Ｅが略同一方向に移動しているという位置関係情報に基づいて、位置提示制御が実行されてもよい。又は、各ユーザ１の注視位置Ｅが略同時に移動しているという位置関係情報に基づいて、位置提示制御が実行されてもよい。
　例えばユーザ１ａ及び１ｂが、電子書籍４０のページ４２内において同じ文章を、略等しい方向、及び略等しい速度で読んでいる場合等に、位置提示制御として、文章がハイライト表示されたり文章の内容に応じたアニメーション等が表示される。これによりユーザ１は、相手と同じ場所を読んでいることを把握することが可能となり、読書を楽しむことが可能となる。
　また写真集や絵画集等の電子書籍４０において、複数の作品が並んでいる場合に、ユーザ１ａ及び１ｂが同じタイミングで同じ作品を順に閲覧している場合に、位置提示制御として、作品に関連した音声や説明文等が表示される。これによりユーザ１ａ及び１ｂは、ともに同じ作品を楽しむことが可能となる。このように高い作業性を発揮される場合のみならず、高い視聴体験を提供することも可能である。
　また各ユーザ１の注視位置Ｅの互いの距離に基づいて、位置提示制御が実行されてもよい。例えば注視位置Ｅ間の距離が所定値（閾値）以下であるという位置関係情報に基づいて、位置提示制御が実行される。例えばユーザ１ａ及び１ｂが表示部１３の同じ位置を見ている場合に、ページめくり等のコンテンツを進行させる位置提示制御が実行される。所定値が複数の段階に分けて設定され、注視位置Ｅ間の距離に応じて、段階的に位置提示制御が実行されてもよい。
　例えば図９に示すコンテンツの選択制御等において、ユーザ１ａ及び１ｂの各々の注視位置Ｅａ及びＥｂが同じアイコン領域４８に留まる時間が所定値よりも長い場合に、当該コンテンツが選択されるとする。この場合、アイコン領域４８内の注視位置Ｅ間の距離に応じて、滞留時間の判定にかかる所定値が制御されてもよい。例えば注視位置Ｅ同士が互いに近づいていくほど、滞留時間の所定値が短くなる。すなわち注視位置Ｅが互いに近づくほどすぐにコンテンツの選択が実行される。また注視位置Ｅが互いにほぼ重なった場合には、滞留時間の長さの判定を行うことなく、コンテンツが選択されてもよい。
　図１１は、位置提示制御が実行される場合の他の例を示すフローチャートである。図１１に示すように、ユーザ１の注視位置Ｅが相手のユーザ１に向かって移動したという入力情報が取得された場合に、位置提示制御が実行されてもよい（ステップ４０２のＹｅｓ、ステップ４０３）。
　例えば視線を向けたユーザ１を第１のユーザ、視線を向けられたユーザを第２のユーザとすると、位置提示制御として、第１のユーザの移動する前の注視位置Ｅが可視化される。これにより第２のユーザに、自分の注視位置（移動前の注視位置）を知らせることが可能となる。
　あるいは視線を向けられたユーザを第１のユーザ、視線を向けたユーザを第２のユーザとして、第１のユーザの注視位置Ｅが可視化する位置提示制御が実行されてもよい。これにより相手を見ることで相手の注視位置Ｅを把握することが可能となる。
　図１２は、位置提示制御が実行される場合の他の例を示すフローチャートである。図１２に示すように、少なくとも一方のユーザ１により所定の音声が入力された場合に、位置提示制御が実行されてもよい（ステップ５０２のＹＥＳ、ステップ５０３）。すなわち第１及び第２のユーザの少なくとも一方による所定の音声情報が取得された場合に、取得された音声情報に基づいて位置提示制御が実行されてもよい。
　例えば指示語を含む音声が入力された場合に、位置提示制御が実行される。例えば「これ」「それ」「あれ」等の指示語を発したユーザ１の注視位置Ｅが可視化される。これによりそのユーザ１が何を指し示しているかを把握することが可能となる。もちろん注視位置Ｅが重なる文章等のハイライト表示等も含まれる。また「これ」等の指示語に応じて、注視位置Ｅが重なっているコンテンツ等が選択されてもよい。その他、任意の位置提示制御が実行されてよい。ユーザ１の音声と連動して制御することで、共同操作の操作性をさらに向上させることが可能となる。
　図１３は、位置提示制御が実行される場合の他の例を示すフローチャートである。図１３に示すように、少なくとも一方のユーザ１により所定のジェスチャが入力された場合に、位置提示制御が実行されてもよい（ステップ６０２のＹＥＳ、ステップ６０３）。すなわち第１及び第２のユーザの少なくとも一方による所定のジェスチャ情報が取得された場合に、取得されたジェスチャ情報に基づいて位置提示制御が実行されてもよい。
　例えばユーザ１が「リモコン５０を手に取った」当該ユーザ１の注視位置Ｅが可視化される。これにより例えばどのメニューを見ている等を知ることが可能となり、リモコン５０による操作の対象を把握することが可能となる。また「ユーザ１が席を外した」当該ユーザ１が直前までにどこを見ていたかが提示される。「ユーザ１同士が手を合わせた」場合に、各ユーザ１の注視位置Ｅが可視化される。このような任意の位置提示制御が実行されてよい。ユーザのジェスチャと連動して制御することで、共同操作の操作性をさらに向上させることが可能となる。
　以上、本実施形態に係るコンテンツ提供装置１０では、第１及び第２のユーザの少なくとも一方による所定の入力情報に基づいて、不可視状態にある第１のユーザの注視位置が第２のユーザに提示される。これにより第１及び第２のユーザによる共同操作の操作性が向上される。
　例えば上記で例示したように、複数のユーザ１が共同作業をするとき、注視位置Ｅ（視線）から操作の合意を形成することが可能となる。例えば共同使用する機器を共同注視することで合意をとりながら一緒に操作を行うことも可能である。具体的には、相手の視線を共有し操作可能なタイミングを示唆すること、操作対象から相手への視線移動を取得し操作を実行すること、共同注視した対象を操作対象として特定すること、発話と連動して操作を特定すること等が可能となる。
　また位置提示制御を介して、相手の意図を把握することも可能となる。例えば「ページをめくっていい？」等の言葉を交わすことなく、お互いのページをめくりたいという意図を自然に把握することが可能となる。例えば読み終わったタイミング、興味が一致したタイミングで、合意した操作としてページめくりやコンテンツの選択等が実行可能になる。すなわち本実施形態における位置提示制御により、互いの意図を伝え合うとことも可能となる。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　上記では、電子書籍４０の表示を例に挙げたが、他の任意のコンテンツの提供に本技術は適用可能である。例えば所定の操作（視線の動き、音声、リアクション等を含む）が受付けられるまで進行しないコンテンツを、静止コンテンツとする。すなわち、静止コンテンツは、所定の操作が入力されるまで、（自動的に）進行することが少なくとも部分的に抑制されるコンテンツとして見做されてよい。上記で説明した電子書籍４０も、ページ４２がめくられないと読み進めることができないので、静止コンテンツに含まれる。なお、電子書籍４０は、基本的には所定の操作が入力されない限り進行しないコンテンツ、すなわち全体として自動的には進行されないコンテンツとして見做すことができる。
　この静止コンテンツとして作成された音楽コンテンツ、映像コンテンツ（動画コンテンツ）、及びＷｅｂコンテンツ等に含まれるアニメーション等に対しても、本技術は適用可能である。音楽コンテンツ、映像コンテンツ、及びアニメーション等を含むＷｅｂコンテンツ等は、自動的に進行する部分と所定の操作が入力されるまで進行しない部分とを含むコンテンツとして見做すことができる。例えばユーザ１による所定の入力情報、典型的には注視位置Ｅに関する入力情報が取得された場合に、コンテンツが進行する等の位置提示制御が実行される。もちろんこれに限定されない。
　例えば図１に示すコンテンツ提供装置１０により、電子書籍４０の表示に代えて、音楽コンテンツが再生されるとする。すなわちコンテンツ提供装置１０が、本技術にかかる再生オブジェクトとして機能するとする。図３のステップ１０２及び１０３にて、各ユーザ１の注視位置Ｅがコンテンツ提供装置１０上にあるという入力情報に基づいて、位置提示制御が実行される。すなわちユーザ１がコンテンツ提供装置１０を見た場合に、位置提示制御が実行される。
　例えば再生される音楽コンテンツの区切りにおけるユーザ１の注視位置Ｅがコンテンツ提供装置１０上にあるという入力情報に基づいて、位置提示制御が実行される。この場合、音楽コンテンツの区切りは所定の操作が入力されるまで進行しない部分と見做すことができる。例えば各曲の終わりや、アルバムの最後の曲の終わり等を音楽コンテンツの区切りとして、そのタイミングでユーザ１がコンテンツ提供装置１０を見た場合に、次の曲や次のアルバムの１曲目が再生される。例えば複数のユーザ１の全員がコンテンツ提供装置１０を見ることにより、次の曲等が再生される。これにより言葉を交わすこと等により次の曲を再生するか否かの合意を取る必要がなくなり、各ユーザ１の意図に合わせて自然に音楽コンテンツを再生することが可能となる。この結果、非常に高い操作性が発揮される。
　なお各ユーザ１の視線情報が第１の視線情報に相当する。また次の曲を再生するといった位置提示制御を実行することで、例えばコンテンツ提供装置１０上にあるユーザ１の注視位置Ｅが他のユーザ１（第２のユーザ）に提供される。なお静止コンテンツではない任意のコンテンツに対しても、本技術は適用可能であり、高い操作性を発揮させることが可能である。
　また映像コンテンツが再生される場合でも同様の処理が可能である。例えば映像コンテンツの各チャプタの終わりや、作品の終わり等を映像コンテンツの区切りとして、そのタイミングでユーザ１がコンテンツ提供装置１０を見た場合に、次のチャプタや次の作品が再生される。これにより、言葉を交わすこと等により次の作品を再生するか否かの合意を取る必要がなくなり、各ユーザ１の意図に合わせて自然に映像コンテンツを再生することが可能となる。この結果、非常に高い操作性が発揮される。
　図１４及び図１５は、本技術に係る情報処理装置及び情報提供装置として使用可能なヘッドマウントディスプレイ（ＨＭＤ）の構成例を示す斜視図である。
　図１８に示すＨＭＤ２００は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザ１の頭部に装着されて使用される。ＨＭＤ２００は、左右のレンズ２０１Ｌ及び２０１Ｒ、左眼用ディスプレイ２０２Ｌ及び右眼用ディスプレイ２０２Ｒ、左眼用カメラ２０３Ｌ及び右眼用カメラ２０３Ｒ、及びセンサ部２０４を有する。
　左右のレンズ２０１Ｌ及び２０１Ｒは、ユーザの左眼及び右眼の前方にそれぞれ配置される。左眼用及び右眼用ディスプレイ２０２Ｌ及び２０２Ｒは、ユーザ１の視野を覆うように、左右のレンズ２０１Ｌ及び２０１Ｒにそれぞれ設けられる。
　左眼用及び右眼用ディスプレイ２０２Ｌ及び２０２Ｒは、透過型のディスプレイであり、左眼及び右眼用の画像等がそれぞれ表示される。ＨＭＤ２００を装着するユーザ１は、現実の景色を視認すると同時に、各ディスプレイに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実感（ＡＲ）等を体験することが可能となる。
　なお、左眼用及び右眼用ディスプレイ２０２Ｌ及び２０２Ｒの外側（ユーザ１の眼とは反対の側）に、調光素子（図示省略）等が設けられてもよい。調光素子は、当該素子を透過する光の量を調節可能な素子である。調光素子を設けることで、例えば各ディスプレイを透過してユーザに視認される現実の景色を規制し、各ディスプレイに表示される画像を強調してユーザに視認させることが可能である。これにより、ユーザは仮想現実（ＶＲ）等を体験することが可能となる。
　左眼用及び右眼用ディスプレイ２０２Ｌ及び２０２Ｒとしては、例えば透過型の有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。また調光素子としては、例えば透過率を電気的に制御可能な調光ガラス、調光シート、及び液晶シャッター等が用いられる。
　左眼用及び右眼用カメラ２０３Ｌ及び２０３Ｒは、ユーザの左眼及び右眼を撮像可能な任意の位置に設けられる。例えば左眼用及び右眼用カメラ２０３Ｌ及び２０３Ｒにより撮影された左眼及び右眼の画像に基づいて、注視位置Ｅを示す視線情報が取得される。
　左眼用及び右眼用カメラ２０３Ｌ及び２０３Ｒとしては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。
　センサ部２０４は、例えば加速度センサ、ジャイロセンサ及び地磁気センサ（９軸センサ）等を含み、ユーザ１の動きや姿勢（走行、歩行、停止等）を含む、上記したユーザ１の行動に関する情報を取得する。センサ部２０４により検出されるユーザ１の頭（顔）の向きに基づいて注視位置Ｅに示す視線情報が取得されてもよい。その他、センサ部２０４として、心拍センサ、発汗センサ、温度（体温）センサ、脳波センサ等の、ユーザ１の生体情報を取得可能なセンサが備えられてもよい。そしてユーザ１の生体情報の変化等を含む所定の入力情報の取得に基づいて、位置提示制御が実行されてもよい。
　図１９Ａは、ＨＭＤ３００の外観を模式的に示す斜視図である。図１９Ｂは、ＨＭＤ３００を分解した様子を模式的に示す斜視図である。ＨＭＤ３００は、ユーザ１の頭部に装着されるマウント部３０１と、ユーザ１の両眼の前方に配置されるディスプレイユニット３０２と、ディスプレイユニット３０２を覆うように構成されるカバー部３０３とを含む。ＨＭＤ３００は、ユーザの視野を覆うように構成された没入型のヘッドマウントディスプレイであり、仮想現実（ＶＲ）用のＨＭＤとして用いられる。
　これらＨＭＤ２００及び３００を装着することで体験可能な仮想空間内の仮想オブジェクトに対して、本技術が適用されてもよい。すなわち仮想オブジェクトに対する第１のユーザ（第２のユーザ）の第１の視線情報（第２の視線情報）が取得される。そして第１及び第２のユーザの少なくとも一方による所定の入力情報に基づいて、第１のユーザの仮想空間内における注視位置を第２のユーザに提示する位置提示制御が実行されてもよい。もちろんＨＭＤ２００を装着してＡＲ空間を体験している場合には、実空間の実オブジェクト、及びＡＲ空間の仮想オブジェクトの両方に対して、本技術は適用可能である。
　ＡＲ空間やＶＲ空間等の仮想空間では、ＨＭＤ２００等を装着しているので、共同作業をする相手のユーザとのコミュニケーションをとる場合、相手の気配を感じることが難しい。従ってページめくりやコンテンツの選択等に関する合意をとることが難しい。上記した本技術に係る位置提示制御を実行することで、仮想空間においても、共同作業が容易となり高い作業性が発揮される。
　情報提供装置として、任意の装置が用いられてよい。例えば図１に示すコンテンツ提供装置１０等のような、画像表示機能及び音声出力機能の少なくとも一方を有する装置が用いられる。また図１４及び図１５に示すＨＭＤ２００及び２００のような、仮想現実画像及び拡張現実画像の少なくとも一方を表示可能な装置が用いられる。その他、例えばテレビジョン装置、ＰＣ（Personal computer）、スマートフォン、タブレット端末、オーディオビデオレシーバ、ビデオモニタ、又は家庭用ゲーム機器等の、種々のＣＥ（Consumer Electronics）機器が用いられてよい。
　図１に示すコンテンツ提供装置１０は、本技術に係る情報処理装置及び情報提供装置の両方として機能した。そして位置提示制御部２２により、コンテンツ提供装置１０による位置提示制御が実行された。これに限定されることなく、本技術に係る情報処理装置及び情報提供装置がそれぞれ独立して構成され、ネットワーク等を介して通信可能に接続されてもよい。この場合、情報処理装置の位置提示制御部により、位置提示制御を行うように情報提供装置が制御される。
　コンテンツを提供する対象となるユーザ１の数は限定されず、任意の数のユーザ１に対して、本技術は適用可能である。各々のユーザ１を第１のユーザとして場合の種々の位置提示制御を実行することが可能である。
　上記ではユーザ１により操作されるコンテンツ提供装置１０、ＨＭＤ２００及び３００等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザ１が操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザ１が操作するコンピュータと、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。
　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第１のユーザ（第１のユーザ）の第１の視線情報（第２の視線情報）の取得、第１及び第２のユーザの少なくとも一方による所定の入力情報の取得、位置提示制御の実行、位置提示制御を実行させるための情報提供装置の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得する視線情報取得部と、
　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得部と、
　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示部と、
　を備える情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記視線情報取得部は、前記所定のオブジェクトに対する前記第２のユーザの注視位置を示す第２の視線情報を取得し、
　前記入力情報取得部は、前記所定の入力情報として、前記第１のユーザの注視位置と前記第２のユーザの注視位置との位置関係情報を取得し、
　前記位置提示部は、前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置とが連動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置とが略同一方向に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（５）（３）又は（４）に記載の情報処理装置であって、
　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置とが略同時に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（６）（２）から（５）のうちいずれか１つに記載の情報処理装置であって、
　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置との距離が所定値以下であるという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（７）（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記入力情報取得部は、前記所定の入力情報として、前記第１の視線情報を取得し、
　前記位置提示部は、前記第１のユーザの注視位置が前記所定のオブジェクトの所定の位置にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
　情報処理装置。
（８）（７）に記載の情報処理装置であって、
　前記所定のオブジェクトの所定の位置は、前記所定のオブジェクトの周縁部である
　情報処理装置。
（９）（７）又は（８）に記載の情報処理装置であって、
　前記所定のオブジェクトは、所定のコンテンツを提供するオブジェクトであり、
　前記所定のオブジェクトの所定の位置は、前記第１のユーザ及び前記第２のユーザに注視されている前記所定のコンテンツの途切れ位置である
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記所定のコンテンツは、所定の操作が入力されるまで、進行することが少なくとも部分的に抑制されるコンテンツである
　情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記所定のオブジェクトは、音楽コンテンツ又は動画コンテンツを再生する再生オブジェクトであり、
　前記入力情報取得部は、前記所定の入力情報として、前記第１の視線情報を取得し、
　前記位置提示部は、前記第１のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
　前記入力情報取得部は、前記所定の入力情報として、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第１の視線情報を取得し、
　前記位置提示部は、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第１のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
　情報処理装置。
（１３）（１）から（１２）のうちいずれか１つに記載の情報処理装置であって、
　前記入力情報取得部は、前記所定の入力情報として、前記第１の視線情報を取得し、
　前記位置提示部は、前記第１のユーザの注視位置が前記第２のユーザに向かって移動したという前記所定の入力情報に基づいて、前記第１のユーザの移動する前の注視位置を可視化する前記位置提示制御を行うよう情報提供装置を制御する
　情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記入力情報取得部は、前記所定の入力情報として、前記第１のユーザ及び前記第２のユーザの少なくとも一方による音声情報を取得し、
　前記位置提示部は、前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
　前記位置提示部は、前記第１のユーザが発した指示語を含む前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（１）（１）から（１５）のうちいずれか１つに記載の情報処理装置であって、
　前記入力情報取得部は、前記所定の入力情報として、前記第１のユーザ及び前記第２のユーザの少なくとも一方によるジェスチャ情報を取得し、
　前記位置提示部は、前記ジェスチャ情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
　情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記情報提供装置は、画像表示機能、及び音声出力機能の少なくとも一方を有する
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記情報提供装置は、仮想現実画像、及び拡張現実画像の少なくとも一方を表示可能である
　情報処理装置。
（１９）所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得するステップと、
　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得するステップと、
　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御すステップと
　をコンピュータシステムに実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
　Ｅ、Ｅａ、Ｅｂ…注視位置
　１、１ａ、１ｂ…ユーザ
　１０…コンテンツ提供装置
　２０…コントローラ
　２１…入力情報判定部
　２２…位置提示制御部
　２３…視線検出部
　２４…動作検出部
　２５…音声判定部
　４０…電子書籍
　４２…ページ
　４３…ページ閲覧済み領域
　４４、４５…ポインタ
　４７…アイコン
　４８…アイコン領域
　５０…リモコン
　２００、３００…ＨＭＤ

Claims (20)

  1. 　所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得する視線情報取得部と、
    　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得部と、
    　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示部と、
    　を備える情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記視線情報取得部は、前記所定のオブジェクトに対する前記第２のユーザの注視位置を示す第２の視線情報を取得し、
    　前記入力情報取得部は、前記所定の入力情報として、前記第１のユーザの注視位置と前記第２のユーザの注視位置との位置関係情報を取得し、
    　前記位置提示部は、前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置とが連動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置とが略同一方向に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  5. 　請求項３に記載の情報処理装置であって、
    　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置とが略同時に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  6. 　請求項２に記載の情報処理装置であって、
    　前記位置提示部は、前記第１のユーザの注視位置と前記第２のユーザの注視位置との距離が所定値以下であるという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記入力情報取得部は、前記所定の入力情報として、前記第１の視線情報を取得し、
    　前記位置提示部は、前記第１のユーザの注視位置が前記所定のオブジェクトの所定の位置にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記所定のオブジェクトの所定の位置は、前記所定のオブジェクトの周縁部である
    　情報処理装置。
  9. 　請求項７に記載の情報処理装置であって、
    　前記所定のオブジェクトは、所定のコンテンツを提供するオブジェクトであり、
    　前記所定のオブジェクトの所定の位置は、前記第１のユーザ及び前記第２のユーザに注視されている前記所定のコンテンツの途切れ位置である
    　情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記所定のコンテンツは、所定の操作が入力されるまで、進行することが少なくとも部分的に抑制されるコンテンツである
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記所定のオブジェクトは、音楽コンテンツ又は動画コンテンツを再生する再生オブジェクトであり、
    　前記入力情報取得部は、前記所定の入力情報として、前記第１の視線情報を取得し、
    　前記位置提示部は、前記第１のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記入力情報取得部は、前記所定の入力情報として、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第１の視線情報を取得し、
    　前記位置提示部は、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第１のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
    　情報処理装置。
  13. 　請求項１に記載の情報処理装置であって、
    　前記入力情報取得部は、前記所定の入力情報として、前記第１の視線情報を取得し、
    　前記位置提示部は、前記第１のユーザの注視位置が前記第２のユーザに向かって移動したという前記所定の入力情報に基づいて、前記第１のユーザの移動する前の注視位置を可視化する前記位置提示制御を行うよう情報提供装置を制御する
    　情報処理装置。
  14. 　請求項１に記載の情報処理装置であって、
    　前記入力情報取得部は、前記所定の入力情報として、前記第１のユーザ及び前記第２のユーザの少なくとも一方による音声情報を取得し、
    　前記位置提示部は、前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  15. 　請求項１４に記載の情報処理装置であって、
    　前記位置提示部は、前記第１のユーザが発した指示語を含む前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  16. 　請求項１に記載の情報処理装置であって、
    　前記入力情報取得部は、前記所定の入力情報として、前記第１のユーザ及び前記第２のユーザの少なくとも一方によるジェスチャ情報を取得し、
    　前記位置提示部は、前記ジェスチャ情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    　情報処理装置。
  17. 　請求項１に記載の情報処理装置であって、
    　前記情報提供装置は、画像表示機能、及び音声出力機能の少なくとも一方を有する
    　情報処理装置。
  18. 　請求項１に記載の情報処理装置であって、
    　前記情報提供装置は、仮想現実画像、及び拡張現実画像の少なくとも一方を表示可能である
    　情報処理装置。
  19. 　所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得し、
    　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得し、
    　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御する
    　ことをコンピュータシステムが実行する情報処理方法。
  20. 　所定のオブジェクトに対する第１のユーザの注視位置を示す第１の視線情報を取得するステップと、
    　前記第１のユーザ及び第２のユーザの少なくとも一方による所定の入力情報を取得するステップと、
    　前記所定の入力情報に基づいて、不可視状態にある前記第１のユーザの注視位置を前記第２のユーザに提示する位置提示制御を行うよう情報提供装置を制御すステップと
    　をコンピュータシステムに実行させるプログラム。
PCT/JP2018/005517 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム WO2018186031A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880021403.0A CN110546601B (zh) 2017-04-03 2018-02-16 信息处理装置、信息处理方法和程序
JP2019511084A JP7099444B2 (ja) 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム
US16/489,839 US11209900B2 (en) 2017-04-03 2018-02-16 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017073448 2017-04-03
JP2017-073448 2017-04-03

Publications (1)

Publication Number Publication Date
WO2018186031A1 true WO2018186031A1 (ja) 2018-10-11

Family

ID=63712464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005517 WO2018186031A1 (ja) 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11209900B2 (ja)
JP (1) JP7099444B2 (ja)
CN (1) CN110546601B (ja)
WO (1) WO2018186031A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204000A1 (ja) * 2019-04-01 2020-10-08 住友電気工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム
JP7022250B1 (ja) 2021-10-04 2022-02-17 株式会社メディアドゥ バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラム、ならびに、情報処理方法
JP2022115480A (ja) * 2021-01-28 2022-08-09 独立行政法人国立高等専門学校機構 視線入力装置、および視線入力方法
WO2023022109A1 (ja) * 2021-08-17 2023-02-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140195A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11385726B2 (en) * 2020-06-01 2022-07-12 Science House LLC Systems, methods, and apparatus for enhanced presentation remotes
EP4172741A1 (en) 2020-06-30 2023-05-03 Snap Inc. Eyewear including shared object manipulation ar experiences
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示***、方法、设备及介质
US11520457B1 (en) * 2021-11-18 2022-12-06 Motorola Mobility Llc Cursor position based on focus of a glasses device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107281A (ja) * 2004-10-07 2006-04-20 Queen Mary & Westfield College コミュニケーション支援装置
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
JP2016103109A (ja) * 2014-11-27 2016-06-02 富士通株式会社 表示装置、表示方法及び表示プログラム
WO2016151958A1 (ja) * 2015-03-20 2016-09-29 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9706711D0 (en) * 1997-04-02 1997-05-21 Philips Electronics Nv User interface with compound cursor
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
JP2004246398A (ja) 2003-01-29 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体
US7727060B2 (en) * 2005-07-15 2010-06-01 Maurice Mills Land-based, on-line poker system
WO2007050029A2 (en) 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US7774703B2 (en) * 2006-02-09 2010-08-10 Microsoft Corporation Virtual shadow awareness for multi-user editors
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8723915B2 (en) * 2010-04-30 2014-05-13 International Business Machines Corporation Multi-participant audio/video communication system with participant role indicator
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
KR101872859B1 (ko) * 2012-01-20 2018-06-29 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9245497B2 (en) * 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
JP5900388B2 (ja) * 2013-03-15 2016-04-06 コニカミノルタ株式会社 オブジェクト表示装置及び操作制御方法並びに操作制御プログラム
EP2837639B1 (en) * 2013-08-12 2020-02-26 Shin-Etsu Chemical Co., Ltd. Method for dehydrating hydrous low-substituted hydroxypropyl cellulose and method for producing low-substituted hydroxypropyl cellulose by using same
JP2015088086A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置および情報処理方法
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
JP5968926B2 (ja) 2014-01-23 2016-08-10 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム
KR20150096826A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 디스플레이 장치 및 제어 방법
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US20150338939A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes
US20150364140A1 (en) * 2014-06-13 2015-12-17 Sony Corporation Portable Electronic Equipment and Method of Operating a User Interface
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
JP6610546B2 (ja) * 2014-07-03 2019-11-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9678567B2 (en) * 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
US20160147298A1 (en) * 2014-11-25 2016-05-26 Kobo Incorporated E-reading device page continuity bookmark indicium and invocation
US9300916B1 (en) * 2015-02-10 2016-03-29 International Business Machines Corporation Natural gazes during online video conversations
WO2016154123A2 (en) * 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10037312B2 (en) * 2015-03-24 2018-07-31 Fuji Xerox Co., Ltd. Methods and systems for gaze annotation
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US10186086B2 (en) * 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
US9691219B1 (en) * 2015-12-11 2017-06-27 Igt Canada Solutions Ulc Enhanced electronic gaming machine with electronic maze and eye gaze display
IL243422B (en) * 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10481682B2 (en) * 2016-03-29 2019-11-19 Google Llc System and method for generating virtual marks based on gaze tracking
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US10410421B2 (en) * 2016-09-13 2019-09-10 3I, Corporation Method and server for providing virtual reality image about object
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10142686B2 (en) * 2017-03-30 2018-11-27 Rovi Guides, Inc. System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107281A (ja) * 2004-10-07 2006-04-20 Queen Mary & Westfield College コミュニケーション支援装置
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
JP2016103109A (ja) * 2014-11-27 2016-06-02 富士通株式会社 表示装置、表示方法及び表示プログラム
WO2016151958A1 (ja) * 2015-03-20 2016-09-29 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204000A1 (ja) * 2019-04-01 2020-10-08 住友電気工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム
JP2022115480A (ja) * 2021-01-28 2022-08-09 独立行政法人国立高等専門学校機構 視線入力装置、および視線入力方法
JP7296069B2 (ja) 2021-01-28 2023-06-22 独立行政法人国立高等専門学校機構 視線入力装置、および視線入力方法
WO2023022109A1 (ja) * 2021-08-17 2023-02-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP7022250B1 (ja) 2021-10-04 2022-02-17 株式会社メディアドゥ バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラム、ならびに、情報処理方法
JP2023054522A (ja) * 2021-10-04 2023-04-14 株式会社メディアドゥ バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラム、ならびに、情報処理方法

Also Published As

Publication number Publication date
CN110546601A (zh) 2019-12-06
US20200033942A1 (en) 2020-01-30
JP7099444B2 (ja) 2022-07-12
US11209900B2 (en) 2021-12-28
JPWO2018186031A1 (ja) 2020-04-23
CN110546601B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
JP7099444B2 (ja) 情報処理装置、情報処理方法、及びプログラム
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
CN109407821B (zh) 与虚拟现实视频的协作交互
US11270116B2 (en) Method, device, and system for generating affordances linked to a representation of an item
US9294670B2 (en) Lenticular image capture
KR20190121758A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11720171B2 (en) Methods for navigating user interfaces
US20150213784A1 (en) Motion-based lenticular image display
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US11733783B2 (en) Method and device for presenting a synthesized reality user interface
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US11647260B2 (en) Content event mapping
US20240103677A1 (en) User interfaces for managing sharing of content in three-dimensional environments
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US20240104849A1 (en) User interfaces that include representations of the environment
US20240152244A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240103679A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces
WO2024064036A1 (en) User interfaces for managing sharing of content in three-dimensional environments
KR20240091221A (ko) 미디어를 캡처 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18780564

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019511084

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18780564

Country of ref document: EP

Kind code of ref document: A1