WO2018150831A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2018150831A1
WO2018150831A1 PCT/JP2018/002198 JP2018002198W WO2018150831A1 WO 2018150831 A1 WO2018150831 A1 WO 2018150831A1 JP 2018002198 W JP2018002198 W JP 2018002198W WO 2018150831 A1 WO2018150831 A1 WO 2018150831A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
user
screen
information processing
display device
Prior art date
Application number
PCT/JP2018/002198
Other languages
English (en)
French (fr)
Inventor
陽 野々山
エミリー 麗 ウォルン
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/474,407 priority Critical patent/US11170580B2/en
Priority to JP2018568067A priority patent/JP7095602B2/ja
Priority to CN201880011754.3A priority patent/CN110506249B/zh
Publication of WO2018150831A1 publication Critical patent/WO2018150831A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • AR Augmented Reality
  • VR virtual reality
  • Patent Document 1 discloses a technique for changing zoom and viewpoint position in a virtual space.
  • Patent Document 1 has not been developed yet and is not sufficient as a technology for providing a rich user experience.
  • a technique for smoothly controlling a sense of distance from an object in a virtual space is one of the techniques that is not sufficient.
  • the present disclosure proposes a mechanism that can smoothly control the sense of distance from the object in the virtual space.
  • a recognition unit that recognizes an operation of a user wearing a display device, and a recognition object and a reference position operated by the user while displaying a screen including a captured image of the observation object by the display device.
  • an output control unit that controls the size of the observation object on the screen based on the distance to the information processing apparatus.
  • the recognition object and the reference operated by the user while recognizing the operation of the user wearing the display device and displaying the screen including the captured image of the observation object by the display device.
  • an information processing method executed by a processor including controlling a size of the observation object on the screen based on a distance to a position.
  • the computer recognizes an operation performed by the user while displaying a screen including a captured image of the observation object by the display device and a recognition unit that recognizes an operation of the user wearing the display device.
  • a recording medium in which a program for functioning as an output control unit for controlling the size of the observation object on the screen based on the distance between the object and a reference position is recorded.
  • a screen including a real-time captured image of the observation target is displayed on the display device. Then, the size of the observation object on the screen is controlled based on the distance between the recognition object operated by the user wearing the display device and the reference position. The user can easily change the size of the observation target in the screen by operating the recognition target and changing the distance from the reference position. In this way, smooth control of the sense of distance from the object in the virtual space is realized.
  • a mechanism capable of smoothly controlling a sense of distance from an object in a virtual space is provided.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 1 is a diagram illustrating an overall configuration of a system according to the present embodiment.
  • the system 1 according to the present embodiment includes a display device 100, an output device 200, and a plurality of observation devices 300.
  • the observation apparatus 300 is an apparatus for observing an observation object.
  • the observation apparatus 300 acquires observation information such as a captured image (moving image / still image) and sound of the observation target.
  • the observation apparatus 300 is capable of imaging with zooming, sound collection with microphone directivity, and the like, and can acquire observation information as if the observation object was observed from close.
  • the zoom is a general term for zooming in and zooming out.
  • the display device 100 and the output device 200 output information based on the observation result by the observation device.
  • the display device 100 is attached to the user and displays an image captured by the observation device 300.
  • the display device 100 may further output the sound collected by the observation device 300.
  • the output device 200 virtually generates and outputs a feeling obtained when the object to be observed is touched, such as a heartbeat, a body temperature, and a fur. Thereby, even if the user is away from the observation object, the user can enjoy a realistic user experience as if he / she approached and touched it.
  • a user refers to a person wearing the display device 100.
  • FIG. 1 it is assumed that the system 1 is operated in a zoo.
  • a large number of observation apparatuses 300 are installed along a fence 10 surrounded by animals that are observation objects.
  • the observation apparatus 300 may be installed on the ground in the fence 10, may be installed above the fence 10, or is mounted on a drone that flies around an animal. May be.
  • the display device 100 displays an image captured by the observation device 300 installed in front of the animal in real time. Even if the user does not move to the front of the animal and does not approach the fence 10, the user can enjoy a user experience as if the animal was viewed from the front.
  • the user even if the animal is far away or hidden behind a shield, the user has a powerful force obtained by the observation device 300 installed near the animal. It is possible to enjoy images, sounds, and touches. Further, the user can view the animal from various viewpoints from the top, bottom, left, and right without moving around or being disturbed by the crowd.
  • FIG. 2 is a diagram illustrating an example of an external configuration of the display device 100 according to the present embodiment.
  • the display device 100 shown in FIG. 2 is also referred to as an HMD (Head Mounted Display).
  • HMD Head Mounted Display
  • the display device 100 has, for example, a mounting unit having a frame structure that makes a half turn from the head of both sides to the back of the head, and is mounted on the user by being put on both ear shells as shown in FIG.
  • the display device 100 is configured such that the display unit 121 is arranged immediately in front of the user's eyes in the wearing state as shown in FIG.
  • a liquid crystal panel is used for the display unit 121, and the display device 100 is set to a through state, that is, a transparent or translucent state or a non-transmissive state by controlling the transmittance of the liquid crystal panel. be able to.
  • the display unit 121 can display the AR information (that is, the annotation) superimposed on the scenery in the real space by displaying an image such as a text or a figure in the through state.
  • the display unit 121 can display a captured image of the real space captured by the outward camera 112 in a non-transparent state, and can display an annotation superimposed on the captured image of the real space.
  • the display unit 121 can display VR information in a non-transparent state.
  • the display unit 121 reproduces and displays the content received by the display device 100 from the external device and the content stored in the storage medium of the display device 100 (that is, the storage unit 140).
  • Annotations can be displayed superimposed on the displayed content.
  • the external device is a server, a digital camera, a digital video camera, or an information processing apparatus such as a mobile phone terminal, a smartphone, or a personal computer.
  • the external device is the observation device 300.
  • the entire image displayed on the display unit 121 is also referred to as a screen.
  • the screen is a concept including an image displayed in a non-transparent state, a scene that is transparently displayed in a through state, and an annotation that is superimposed.
  • Each element included in the screen is also referred to as a display object, and the display object has a concept including annotations and the like.
  • the display device 100 is provided with a pair of inward cameras 111 facing the user so that the user can image the user from a short distance with the display device 100 mounted.
  • the inward camera 111 functions as a first image sensor that images the eyes of the user.
  • the inward camera 111 may be a stereo camera that can also acquire depth information, or may be provided with a depth sensor.
  • the display device 100 captures an image in the direction in which the user faces (for example, the direction visually recognized by the user when the display unit 121 is in the through state) when the user wears the display device 100 as the imaging direction.
  • An outward camera 112 is arranged facing forward.
  • the outward camera 112 functions as a second image sensor that images a recognition target such as a user's hand.
  • the outward camera 112 may be a stereo camera that can also acquire depth information, or may be provided with a depth sensor.
  • an earphone speaker that is inserted into the user's both ear shells in a state where the user wears the display device 100 may be disposed.
  • a microphone that collects external sound may be arranged.
  • the display device 100 may be an HMD as illustrated in FIG. 2, or may be a simple HMD configured by fixing a smartphone in front of the eyes, for example.
  • the display of the smartphone, the in camera provided on the display side, and the out camera provided on the back side function as the display unit 121, the inward camera 111, and the outward camera 112 described above, respectively.
  • the fixed base which fixes a smart phone contains the control part 150, the memory
  • the display device 100 can be realized as a smartphone, a tablet terminal, a PC, a digital signage, etc. in addition to the HMD.
  • the external configuration of the display device 100 has been described above. Next, the internal configuration of the display device 100 will be described.
  • FIG. 3 is a block diagram illustrating an example of a logical configuration of the display device 100 according to the present embodiment.
  • the display device 100 according to the present embodiment includes a sensor unit 110, an output unit 120, a communication unit 130, a storage unit 140, and a control unit 150.
  • the sensor unit 110 acquires sensing information related to the user's operation and state.
  • the sensor unit 110 may include an inward camera 111 that captures the user's eyes as an imaging target and an outward camera 112 that captures a direction in which the user faces as an imaging direction in a state where the user wears the display device 100.
  • the sensor unit 110 may include a pressure sensor that contacts the side of the user's face when the user wears the display device 100.
  • the sensor unit 110 may include an infrared sensor that acquires the temperature of the object in a non-contact manner or a depth sensor that acquires depth information of the object.
  • the sensor unit 110 may include a sensor that acquires the posture of the user, such as a gyro sensor or an acceleration sensor.
  • the sensor unit 110 may include a sensor that acquires biological information of the user, such as a myoelectric sensor, a pulse sensor, or a body temperature sensor.
  • the sensor unit 110 may include a microphone that collects the user's voice.
  • the sensor unit 110 may include a sensor that acquires user position information such as GPS (Global Positioning System).
  • the output unit 120 outputs information to the user.
  • the output unit 120 may include a display unit 121 that displays an image.
  • the output unit 120 may include a speaker that outputs sound.
  • the output unit 120 may include a device that outputs an odor such as an aroma diffuser.
  • the communication unit 130 communicates with other devices.
  • the communication unit 130 receives observation information from the observation apparatus 300. Further, the communication unit 130 transmits tactile information to the output device 200.
  • Storage unit 140 The storage unit 140 temporarily or permanently stores information for the operation of the display device 100.
  • the storage unit 140 stores various tactile information.
  • the tactile information is information imitating a tactile sensation obtained when an observation object is touched.
  • the observation object may be an animal, and in this case, the tactile information may include at least one of heartbeat, body temperature, and body surface feel of the observation object.
  • the animal here shall be the concept containing arbitrary living things, such as a mammal, amphibians, birds, and fish.
  • the tactile information includes heartbeat data for each animal as information on the heartbeat.
  • the beat data may include a beat period and magnitude, a heart position, and the like.
  • tactile information includes body temperature data for each animal as information about body temperature. It is desirable that the body temperature data is data for each part such as the torso and feet.
  • the tactile sensation information includes information about the feel of the body surface, such as the amount of hair on the body surface of each animal, the quality of the hair, and the hair direction data such as the growing direction. It is desirable that the fur data is data for each part such as a trunk and a leg.
  • the control unit 150 provides various functions of the display device 100.
  • the control unit 150 includes a recognition unit 151 and an output control unit 153.
  • the control unit 150 may further include other components other than these components. That is, the control unit 150 can perform operations other than the operations of these components.
  • the recognition unit 151 performs a process of recognizing an operation of a user wearing the display device 100.
  • the recognition unit 151 can recognize the direction of the user's line of sight based on the image captured by the inward camera 111 or the depth information, and can recognize the user operation based on the direction of the line of sight. For example, when there is a display object that the user is gazing at, the recognizing unit 151, in detail, when the user's line of sight is within a certain range from the display object for a predetermined time, the user selects the display object. The user operation is recognized.
  • the certain range refers to a region having a play of about several pixels in the display object region or above, below, left and right of the region.
  • the recognition unit 151 can recognize the focal length of the user's line of sight and can recognize the user operation based on the focal length. For example, the recognition unit 151 recognizes the focal length based on the thickness of the crystalline lens with reference to the relationship between the thickness of the crystalline lens and the focal length of the eye. The thickness of the crystalline lens can be recognized by emitting light toward the eye and observing the scattered light. A technique for recognizing the focal length based on the thickness of the lens is described in detail in US Pat. No. 9,131,839.
  • the recognition unit 151 can recognize a gesture performed by a recognition target object such as a user's hand based on an image captured by the outward camera 112 or depth information, and can recognize a user operation based on the gesture.
  • a recognition target object such as a user's hand
  • the recognizing unit 151 expands / contracts the shape or arm created by the user's hand (ie, bending / stretching) based on the captured image and depth information of the hand placed in front of the user, that is, the imaging range of the outward camera 112.
  • the hand means from the wrist to the fingertip
  • the arm means from the shoulder to the wrist.
  • the recognition unit 151 may recognize the user operation based on the sensing information sensed by the output device 200. For example, the recognizing unit 151 recognizes a hand gesture such as a shape created by the user's hand or arm extension / contraction based on the posture information of the user's hand, and recognizes a user operation corresponding to the hand gesture.
  • a hand gesture such as a shape created by the user's hand or arm extension / contraction based on the posture information of the user's hand, and recognizes a user operation corresponding to the hand gesture.
  • the recognition unit 151 may recognize the user operation in consideration of the biological information, the user voice, or the user posture.
  • the output control unit 153 performs processing for controlling output to the user by the display device 100 or the output device 200.
  • the output control unit 153 generates a screen based on the observation information, and controls the display unit 121 to display the generated screen.
  • the output control unit 153 constructs a virtual space and displays a screen showing a state in which the virtual space is viewed from an arbitrary viewpoint.
  • the virtual space is constructed from a captured image captured in real time by the observation device 300 and is a space viewed from the viewpoint of an arbitrary observation device 300.
  • the output control unit 153 can superimpose and display various display objects on a screen when the virtual space is viewed from an arbitrary viewpoint. A specific example of the displayed screen will be described in detail later.
  • the output control unit 153 controls the size of the observation object on the screen displayed on the display unit 121.
  • Two methods are conceivable as a method for controlling the size of the observation object on the screen.
  • the display device 100 may control the size of the observation object on the screen by controlling the imaging magnification of the captured image.
  • the display device 100 may perform optical zooming by transmitting a zoom-in instruction or a zoom-out instruction, that is, a zoom ratio instruction to the observation apparatus 300, and may control the size of the observation object displayed on the screen.
  • the display device 100 may control the size of the observation object on the screen by scaling the captured image and controlling the display magnification.
  • the display device 100 may perform digital zoom on the captured image acquired from the observation device 300 and control the size of the observation object displayed on the screen.
  • the display device 100 may use both optical zoom and digital zoom. In any case, controlling the size of the observation object on the screen is also referred to as controlling the zoom rate.
  • the output control unit 153 provides the haptic information stored in the storage unit 140. Specifically, the output control unit 153 outputs tactile information corresponding to the touched part of the observation object that has been operated by the user in the virtual space displayed by the output unit 120 (hereinafter also referred to as a contact operation). It transmits to the apparatus 200 and outputs it.
  • the output control unit 153 first identifies the object to be observed that has been touched by the user. For example, the output control unit 153 recognizes an image of an animal included in the screen displayed on the display unit 121 or recognizes an audio included in observation information that is a source of the screen, thereby recognizing the target animal. May be specified. Further, the output control unit 153 refers to a map in which the position of the viewpoint in the virtual space is associated with the animal type, that is, a map in which the installation position of the observation apparatus 300 is associated with the animal type. The target animal may be specified. In addition, when the GPS is attached to the animal, the output control unit 153 may specify the target animal based on the position information of the observation device 300, the imaging direction, and the position information of the animal.
  • the output control unit 153 outputs tactile information corresponding to the part touched by the user. For example, the output control unit 153 calculates the distance between the part touched by the user in the virtual space and the position of the heart of the target animal, and outputs a beat with a magnitude corresponding to the distance. Moreover, the output control part 153 outputs the temperature corresponding to the site
  • the output control unit 153 may cause the output unit 120 to output a sound or smell corresponding to the animal and the part touched by the user.
  • FIG. 4 is a block diagram illustrating an example of a logical configuration of the output device 200 according to the present embodiment.
  • the output device 200 according to the present embodiment includes a sensor unit 210, an output unit 220, a communication unit 230, a storage unit 240, and a control unit 250.
  • the output device 200 is realized as a globe type that is worn on the user's hand as shown in FIG.
  • the sensor unit 210 acquires sensing information regarding the operation and state of the user wearing the output device 200.
  • the sensor unit 210 may include a sensor that acquires the posture of the user's hand wearing the output device 200, such as a gyro sensor or an acceleration sensor.
  • the sensor unit 210 includes a contact sensor that detects contact between fingertips, and can accurately detect a zoom operation of a user, which will be described later.
  • Output unit 220 The output unit 220 outputs tactile information to the user.
  • the output unit 220 includes at least one of a vibration generation device, a heat generation device, and a touch generation device.
  • the vibration generation device simulates the heartbeat of the observation object by vibrating with the period, size, and attenuation indicated by the tactile information.
  • the vibration generation device may include, for example, a plurality of vibrators, and may vibrate by a sound wave emitted from an ultrasonic element arranged in the display device 100 or the output device 200.
  • the heat generation device simulates the body temperature of the observation object by generating heat at the temperature indicated by the tactile information.
  • the touch generation device artificially expresses the touch of the body surface of the observation object by generating the touch indicated by the touch information.
  • the touch generation device may be configured in the same manner as the vibration generation device, for example, and may express the touch in a pseudo manner by vibration.
  • the touch generation device may be realized as an ultrasonic output device provided outside, and may provide a touch to the user's hand by the ultrasonic radiation pressure.
  • the ultrasonic output machine can be provided, for example, around a zoo fence or on the outer surface of the display device 100. For example, “T. Iwamoto, T. Maeda and H. Shinoda:“ Focused Ultrasound for Tactile Feeling Display, ”Proc.
  • the communication unit 230 communicates with other devices.
  • the communication unit 230 receives tactile information from the display device 100. Further, the communication unit 230 transmits sensing information to the display device 100.
  • Storage unit 240 The storage unit 240 temporarily or permanently stores information for the operation of the output device 200.
  • the control unit 250 provides various functions of the output device 200. For example, the control unit 250 controls the output unit 220 to output the haptic information received from the display device 100.
  • FIG. 5 is a diagram illustrating an example of the appearance configuration of the observation apparatus 300 according to the present embodiment.
  • the observation apparatus 300 may include a plurality of cameras 311A to 311C and 312.
  • the camera 312 has a zoom lens and can perform imaging with zooming.
  • the applications of the cameras 311A to 311C and the camera 312 may be different.
  • the captured images captured by the cameras 311A to 311C may be used for generating a selection screen described later, and the captured images captured by the camera 312 may be used for generating an observation screen described later.
  • FIG. 6 is a block diagram illustrating an example of a logical configuration of the observation apparatus 300 according to the present embodiment.
  • the observation apparatus 300 according to the present embodiment includes a sensor unit 310, a communication unit 320, a storage unit 330, and a control unit 340.
  • the sensor unit 310 acquires sensing information (that is, observation information) related to the observation object.
  • the sensor unit 310 acquires observation information such as a captured image (moving image / still image) and sound of the observation target.
  • the sensor unit 310 can include, for example, image sensors such as cameras 311A to 311C and 312, a depth sensor, a microphone, and the like.
  • the sensor unit 310 may perform zooming and picking up sound by forming microphone directivity.
  • the communication unit 320 communicates with other devices.
  • the communication unit 320 receives a zoom instruction of the image sensor or a microphone directivity formation instruction from the display device 100. Further, the communication unit 320 transmits observation information to the display device 100.
  • Storage unit 330 The storage unit 330 temporarily or permanently stores information for the operation of the observation apparatus 300.
  • the control unit 340 provides various functions of the observation apparatus 300.
  • the control unit 340 controls the sensor unit 310 to form zoom or microphone directivity based on an instruction from the display device 100.
  • FIG. 7 and 8 are diagrams showing an installation example of the observation apparatus 300 for observing the observation object from the horizontal angle (that is, from the side).
  • an observation apparatus 300 can be installed along the fence 10 in the zoo.
  • the height at which the observation device 300 is installed may be set according to the height from the ground of the animal in the fence 10 to the head, back, or center of the body.
  • the observation apparatus 300 may be installed so as to image the animal from eight directions at a height of 1 m.
  • the observation apparatus 300 can start from a plurality of levels (three levels in the example shown in FIG. 8). Can be placed to image animals.
  • FIG. 9 is a diagram illustrating an installation example of the observation apparatus 300 that observes the observation object from a lower angle (that is, from below).
  • the observation apparatus 300 may be installed on the ground.
  • the animal in the fence 10 is a giraffe
  • the distance from the tail to the tip of the face when the giraffe is viewed from above is X
  • the width of the body when the giraffe is viewed from above is Y.
  • one observation apparatus 300 may be installed in each area when the ground is divided into rectangular areas having a horizontal distance X and a vertical distance Y. .
  • observation apparatus 300 may be installed so as to observe the observation object from an upper angle (that is, from above).
  • observation apparatus 300 may be mounted on the head of an animal, for example, so that the direction of the animal's line of sight is the imaging direction.
  • FIG. 10 is a diagram illustrating an example of a flow of user experience providing processing executed in the system 1 according to the present embodiment. As shown in FIG. 10, the display device 100, the output device 200, and a plurality of observation devices 300 are involved in this sequence.
  • the display device 100 generates and displays an initial screen (step S102). Since the initial screen will be described later, a detailed description thereof is omitted here.
  • the display device 100 searches for the observation device 300 (step S104). For example, the display device 100 searches for an observation device 300 that uses an animal in the fence 10 in front of the user's eyes as an observation target, based on the user's position information and orientation.
  • the display device 100 transmits a request to the searched observation device 300 (step S106), and the observation device 300 that has received the request returns observation information (step S108).
  • the display device 100 generates and displays a selection screen based on the observation information received from the observation device 300 (step S110).
  • the display device 100 recognizes the selection operation by the user while displaying the selection screen (S112). Specifically, the display device 100 recognizes an operation for selecting one observation device 300 from the plurality of observation devices 300. Since the selection screen will be described later, a detailed description thereof is omitted here. Note that an observation screen described later is generated based on the observation information received from the observation device 300 selected here.
  • the display device 100 transmits a request to the selected observation device 300 (step S114), and the observation device 300 that has received the request returns observation information (step S116).
  • the observation apparatus 300 may continuously transmit observation information to the display apparatus 100 after receiving the request in step S106.
  • the observation apparatus 300 that has received the request in step S114 also continuously transmits observation information to the display apparatus 100, and the observation apparatus 300 that has not received the request in step S114 receives the observation information. Transmission shall be stopped.
  • the display device 100 generates and displays an observation screen based on the observation information received from the observation device 300 (step S118). Since the observation screen will be described later, a detailed description thereof is omitted here.
  • the display device 100 transmits a zoom instruction to the observation device 300 (step S122).
  • the observation apparatus 300 that has received the zoom instruction returns observation information including a captured image zoomed in or out based on the zoom instruction (step S124). Thereby, the observation screen displayed on the display device 100 is zoomed in or zoomed out.
  • step S126 when the display device 100 recognizes the contact operation by the user (step S126), the display device 100 transmits tactile information corresponding to the recognized contact operation to the output device 200 (step S128).
  • the output device 200 outputs the received tactile information (step S130).
  • the initial screen is a screen that is first displayed in the user experience providing process. An example of the initial screen will be described with reference to FIG.
  • FIG. 11 is a diagram illustrating an example of an initial screen according to the present embodiment.
  • the initial screen 400 may reflect the same scene as when the user looks directly at the animal from the current location.
  • the initial screen 400 may be a captured image captured in real time by the outward camera 112.
  • the initial screen 400 may be a scene that is transparently displayed when the display unit 121 is in a through state.
  • the initial screen 400 may be a captured image captured in real time by the observation device 300 selected by default.
  • the display device 100 displays a selection screen.
  • the selection screen is a screen for selecting an observation device 300 that performs an observation process that is a source of user experience provided on an observation screen described later.
  • the display device 100 (for example, the output control unit 153) is a plurality of candidate imaging devices (that is, the imaging device to be displayed on the display device 100 (that is, the captured image provided on the observation screen)).
  • a selection screen including a plurality of display objects corresponding to the observation device 300) is displayed.
  • the display device 100 (for example, the recognition unit 151) recognizes a user's predetermined operation on one display object among the displayed display objects as a selection operation of the observation device 300.
  • the user can select the observation device 300 that is a provider of the captured image for generating the observation screen, that is, the viewpoint for generating the observation screen.
  • the selection screen can have various modes. As an example, an example of a camera map mode selection screen and a list display mode selection screen will be described below.
  • the display device 100 displays a display object corresponding to the candidate observation device 300 at a position corresponding to the installation position of the candidate observation device 300 in the screen.
  • the camera map mode selection screen will be described with reference to FIGS. 12 and 13.
  • FIG. 12 is a view showing an example of a camera map mode selection screen according to the present embodiment.
  • the background of the camera map mode selection screen 500 may be the same as the initial screen 400 when the user looks at the animal directly from the current location, It may be a captured image captured by the observation apparatus 300.
  • the camera map mode selection screen 500 includes camera icons 501A to 501H corresponding to the observation apparatus 300 at positions corresponding to the installation positions of the observation apparatus 300 in the screen.
  • the camera icons 501A to 501D correspond to the observation apparatus 300 installed so as to image an animal from a horizontal angle.
  • the camera icons 501E to 501G correspond to the observation apparatus 300 installed so as to image an animal from a lower angle.
  • the camera icon 501H corresponds to the observation apparatus 300 that is installed so as to image an animal from an upper angle.
  • an observation screen is generated based on a captured image captured by the observation device 300 corresponding to the selected camera icon.
  • a display object 502 indicating that the current mode is the camera map mode and a display object 503 for switching the mode to a list display mode to be described later are displayed.
  • the display object 503 When the user selects the display object 503, the display is switched to a list display mode selection screen.
  • FIG. 13 is a view showing an example of a camera map mode selection screen according to the present embodiment.
  • the camera map mode selection screen 510 includes thumbnails 511A to 511D corresponding to the observation apparatus 300 at positions corresponding to the installation positions of the observation apparatus 300 in the screen.
  • the thumbnails 511A to 511D are used to reduce and display the captured images captured in real time by the corresponding observation apparatus 300.
  • the thumbnails 511 ⁇ / b> A and 511 ⁇ / b> B correspond to the observation apparatus 300 that is installed so as to image an animal from a horizontal angle.
  • the thumbnail 511C corresponds to the observation apparatus 300 that is installed so as to image an animal from a lower angle.
  • the thumbnail 511D corresponds to the observation apparatus 300 that is installed so as to capture an image of an animal from an upper angle.
  • an observation screen is generated based on the captured image captured by the observation device 300 corresponding to the selected thumbnail.
  • a display object 512 indicating that the current mode is the camera map mode and a display object 513 for switching the mode to a list display mode to be described later are displayed.
  • the display object 513 When the user selects the display object 513, the display is switched to the list display mode selection screen.
  • the camera icon or thumbnail is displayed at a position corresponding to the installation position of the corresponding observation apparatus 300 on the selection screen of the camera map mode, the user easily selects the viewpoint for generating the observation screen. It is possible. In particular, when thumbnails are displayed, the user can predict what kind of observation screen is generated before selection, which improves convenience.
  • the display device 100 displays a display object including a captured image captured by the candidate observation device 300 at a height corresponding to an angle with the vertical direction of the imaging direction of the candidate observation device 300. Display them side by side.
  • a specific example of the list display mode selection screen will be described below with reference to FIGS.
  • FIG. 14 is a diagram showing an example of a list display mode selection screen according to the present embodiment.
  • the thumbnails 521A to 521G of the captured images captured by the observation apparatus 300 are at a height corresponding to the angle between the imaging direction of the observation apparatus 300 and the vertical direction. They are displayed side by side.
  • the thumbnails 521A to 521E correspond to the observation apparatus 300 installed to image an animal from a horizontal angle (that is, the angle between the imaging direction and the vertical direction is about 90 degrees), and are arranged in the middle of the screen. Yes.
  • a scene that would be seen when the animal is actually viewed from the horizontal direction is displayed to the user in the horizontal direction.
  • the thumbnail 521F corresponds to the observation apparatus 300 installed to image an animal from a lower angle (that is, the angle between the imaging direction and the vertical direction is about 180 degrees), and is arranged in the upper part of the screen. As a result, the scene that would be seen when the animal is actually looked up from the lower angle is displayed at the position where the user looks up.
  • the thumbnail 521G corresponds to the observation apparatus 300 installed to image an animal from the upper angle (that is, the angle between the imaging direction and the vertical direction is about 0 degree), and is arranged in the lower part of the screen. As a result, the sight that is actually seen when looking down at the animal from the top angle is displayed at a position where the user looks down.
  • a thumbnail 521H of the captured image captured by the observation apparatus 300 is displayed on the selection screen 520 as shown in FIG. May be.
  • an observation screen is generated based on the captured image captured by the observation device 300 corresponding to the selected thumbnail.
  • the thumbnail displayed on the selection screen 520 may be a part of the thumbnail, and the user may exchange a thumbnail that is displayed with a thumbnail that is not displayed.
  • thumbnails 521A to 521E arranged in the middle of the screen are arranged so as to virtually surround the user. Therefore, the user can newly display a thumbnail of the captured image captured by another observation apparatus 300 installed to capture an image of the animal from a horizontal angle by performing an operation to rotate the enclosure. Good.
  • thumbnails 521A to 521E thumbnails based on the captured images captured by the observation device 300 whose image capturing directions in the horizontal direction are far from each other are displayed. Therefore, in the selection screen 520, it is possible to provide a wide range of viewpoint candidates for generating an observation screen without replacing thumbnails.
  • a display object 522 indicating that the current mode is the list display mode and a display object 523 for switching the mode to the camera map mode are displayed.
  • the display object 523 When the user selects the display object 523, the display is switched to the camera map mode selection screen.
  • FIG. 15 is a diagram showing an example of a list display mode selection screen according to the present embodiment.
  • the thumbnails 531A to 531G of the picked-up images picked up by the observation device 300 are angles between the image pickup direction of the observation device 300 and the vertical direction. Are displayed side by side at the height corresponding to.
  • the thumbnail 531 ⁇ / b> H of the picked-up image picked up by the observation device 300 installed so that the observation device 300 has the sight line direction of the animal as the image pickup direction is selected. Displayed on screen 530.
  • thumbnails 531A to 531E thumbnails based on the captured images captured by the observation apparatus 300 whose image capturing directions in the horizontal direction are close to each other (for example, installed adjacent to each other) are displayed. Therefore, in the selection screen 530, it is possible to provide similar viewpoint candidates for generating the observation screen.
  • a display object 532 indicating that the current mode is the list display mode and a display object 533 for switching the mode to the camera map mode are displayed.
  • the display object 533 When the user selects the display object 533, the display is switched to the camera map mode selection screen.
  • the thumbnails are arranged at a height corresponding to the angle between the imaging direction of the observation device 300 and the vertical direction. Therefore, the imaging direction of the observation device 300 and the user's upper and lower gaze directions Can be harmonized.
  • the background of the list display mode selection screen is black, but it may be the same background as the camera map mode selection screen.
  • various selection operations such as selection of the observation device 300 on the selection screen described above can be realized.
  • the display device 100 may recognize that the display object is selected by the user.
  • the observation screen is a screen that performs output based on observation information by the observation device 300 selected on the selection screen.
  • the observation screen is a screen including a captured image captured in real time by the selected observation device 300.
  • corresponding haptic information is output.
  • the display device 100 outputs tactile information imitating a tactile sensation obtained when the observation target is touched when a predetermined operation on a predetermined part of the observation target is recognized on the observation screen.
  • the predetermined operation is a contact operation.
  • the display device 100 displays information indicating that a contact operation is possible on the observation screen in association with the predetermined part, that is, a part capable of the contact operation.
  • the parts that can be touched may vary depending on the type of animal, such as the neck, face, and jaw, or the emotion of the animal at that time. Thereby, the user can perform a contact operation while aiming at a part where the output of tactile information can be enjoyed.
  • FIG. 16 is a diagram showing an example of an observation screen according to the present embodiment. As shown in FIG. 16, on the observation screen 600, annotations 601A to 601C indicating that a touch operation is possible, and information 602 indicating the current zoom ratio are displayed. The user can arbitrarily change the zoom rate on the observation screen by performing a zoom operation. An observation screen when the user performs a zoom-in operation is shown in FIG.
  • FIG. 17 is a diagram illustrating an example of an observation screen according to the present embodiment.
  • a screen zoomed in on the observation object is displayed, and annotations 611A and 611B indicating that the contact operation is possible, and information 612 indicating the current zoom ratio are displayed.
  • annotation 611A an icon indicating that the observation object performs a positive reaction (for example, stares) when the contact operation is performed is displayed.
  • annotation 611B an icon indicating that the observation target object performs a negative reaction (for example, gets angry) is displayed.
  • the user does not actually touch the observation object, and these reactions are virtual.
  • the display device 100 controls the level of detail of information indicating that a contact operation is possible based on the size of the observation object on the observation screen.
  • the display device 100 displays an annotation indicating that a touch operation is possible when the zoom rate is low.
  • the user can perform a zoom operation, for example, aiming at the part where the annotation is displayed.
  • the display device 100 displays an annotation indicating the expected reaction of the observation object in addition to being able to perform a contact operation when the zoom ratio is high.
  • the user can perform a contact operation by selecting, for example, a region where the observation target object performs a positive reaction.
  • the display device 100 may generate a reaction of the observation target according to the emotion of the observation target. That is, the display device 100 can dynamically change the content and shape of the annotation according to the emotion of the observation object. Further, the display device 100 may determine whether or not a contact operation is possible according to the emotion of the observation object. That is, the display device 100 can dynamically change whether or not to display the annotation according to the emotion of the observation target. Further, the display device 100 may arrange the annotation at a site where a negative reaction hardly occurs even when touched. That is, the display device 100 can dynamically change the display position of the annotation according to the emotion of the observation object.
  • the emotion of the observation object can be estimated by machine learning such as a neural network based on the observation information of the observation object. For example, emotions corresponding to animal types, behaviors, tremors, and the like are estimated by learning based on captured images. Moreover, the emotion corresponding to the spectrum and length of the call is estimated by learning based on the voice.
  • an annotation may be displayed according to the behavior of the observation object such as sleeping / walking or presence / absence of a characteristic tactile sensation. For example, if the behavior is different, the display position of the annotation may be different, or the annotation may be preferentially displayed at a position where the heartbeat can be felt greatly, such as near the heart.
  • the display device 100 may control the directivity of the microphone of the observation device 300 so as to face the observation target included in the observation screen in conjunction with the zoom, and output a sound of the observation target. Further, the display device 100 may output the smell of the observation object included in the observation screen in conjunction with the zoom.
  • the display device 100 displays the selection screen again. As a result, the user can reselect the viewpoint for generating the observation screen.
  • the display device 100 may display a display object that recommends another viewpoint on the observation screen. An example in that case will be described with reference to FIG.
  • FIG. 18 is a diagram illustrating an example of an observation screen according to the present embodiment.
  • the observation screen 620 displays a screen zoomed in on the observation target, and displays a display object 621 that recommends another viewpoint and information 622 that indicates the current zoom ratio.
  • the display object 621 is a thumbnail of a captured image captured by another observation device 300.
  • the display device 100 When the user selects the display object 621, the display device 100 generates an observation screen based on a captured image captured by the other observation device 300 and switches the display.
  • FIG. 19 is a diagram illustrating an example of setting coordinate axes according to the present embodiment.
  • the position of the display device 100 attached to the user is the origin
  • the front direction for the user is the Z axis
  • the horizontal direction ie, the horizontal direction of the screen
  • the zenith direction ie, the screen
  • the vertical axis is set as the Y axis
  • the coordinate axis is set.
  • the display device 100 controls a screen (for example, an observation screen) including a captured image of an observation target, and a recognition target operated by a user wearing the display device 100 Based on the distance between the object and the reference position, the size of the observation object on the screen is controlled. More simply, the display device 100 controls the zoom rate on the observation screen according to the distance between the recognition target operated by the user and the reference position.
  • the reference position is the position of the display device 100 attached to the user, and may be the origin in FIG. More specifically, the reference position may be the position of the outward camera 112 formed as a stereo camera, or may be the position of a depth sensor. Further, the distance between the recognition target and the reference position may be a distance in the reference direction between the reference position and the recognition target, and the reference direction may be, for example, the Z-axis direction in FIG. More simply, the display device 100 may control the zoom rate on the observation screen according to the distance between the recognition target object and the display device 100 in the forward direction of the user.
  • the display device 100 enlarges the observation object on the observation screen as the distance between the recognition object and the reference position increases. That is, the display device 100 increases the zoom ratio of the observation screen as the distance in the reference direction between the recognition target and the reference position increases.
  • the display device 100 reduces the observation object on the observation screen as the distance between the recognition object and the reference position is smaller. That is, the display device 100 decreases the zoom rate of the observation screen as the distance in the reference direction between the recognition target and the reference position increases.
  • the recognition target may be a user's hand having a predetermined shape.
  • the recognition target may be a user's foot or a device, or may be a virtual object operated by the user in a virtual space.
  • the recognition target may be a user's hand that forms a ring with a finger. This ring may be formed with one hand or with both hands.
  • the recognition target may be a user's hand or the like that has formed a fist.
  • the upper and lower limits of the distance between the recognition object and the reference position may be set in advance. For example, when the recognition target is a user's hand that forms a ring with a finger, the upper limit may be about 1 meter in consideration of the length of the user's arm. Further, the display device 100 may change the zoom rate of the observation screen if the amount of change in the distance between the recognition object and the reference position is equal to or greater than a threshold value. As a result, the minute movement of the arm is prevented from affecting the zoom rate, so that screen shake or the like is prevented. This threshold value may be about 15 centimeters, for example.
  • FIGS. 20 to 22 are diagrams for explaining an example of the zoom operation according to the present embodiment.
  • FIG. 20 shows an example of a recognition target object.
  • the recognition target object 700 shown in FIG. 20 is both hands of a user who form a ring with fingers of one hand. With such a shape, the user can perform a zoom operation with an image of looking far away with binoculars.
  • FIG. 21 shows an example of the zoom-in operation.
  • the display device 100 recognizes, as a zoom-in operation, an operation in which the user extends his arm and moves the recognition object 700 away from the display device 100 in the Z-axis direction as shown in FIG. Then, the display device 100 increases the zoom rate of the observation screen.
  • FIG. 22 shows an example of the zoom-out operation.
  • the display device 100 recognizes, as a zoom-out operation, an operation in which the user folds his arm and brings the recognition object 700 close to the display device 100 in the Z-axis direction as shown in FIG. Then, the display device 100 reduces the zoom rate of the observation screen.
  • the display apparatus 100 may control the zoom rate further based on other information. Thereby, the recognition accuracy of the zoom operation can be improved.
  • the display device 100 may control the size of the observation target on the observation screen further based on the posture of the ring. This point will be described with reference to FIG.
  • FIG. 23 is a diagram for explaining an example of the zoom operation according to the present embodiment.
  • the display device 100 may control the zoom rate according to the angle between the wheel 700 and the Z-axis direction.
  • the display device 100 recognizes that a zoom-in operation is being performed when the angle between the wheel 700 and the Z-axis direction is small, and zooms when the angle between the wheel 700 and the Z-axis direction is large. You may recognize that the out operation is performed. Further, when the angle between the wheel 700 and the Z-axis direction exceeds or falls below the threshold value, the display device 100 may determine that the recognition is erroneous and stop the zoom rate control.
  • the display device 100 may control the size of the observation object on the observation screen further based on the sensing information acquired by the output device 200.
  • the display device 100 may recognize the zoom operation when the sensing information acquired by the output device 200 indicates a predetermined pattern. Specifically, the display device 100 recognizes whether or not a ring is formed with a finger, the angle of the ring, the movement of the ring, or the like based on sensing information by the acceleration sensor or the gyro sensor of the output device 200. Further, the display device 100 recognizes whether or not a ring is formed with the finger based on sensing information acquired by a contact sensor that detects contact between the fingertips of the output device 200. In addition to the sensor provided in the glove-type output device 200, sensing information acquired by a sensor provided in a bracelet, a wristwatch, a ring, clothes, or the like may be added.
  • the display device 100 controls the center position of the control of the size of the observation object on the observation screen, that is, the control of the zoom ratio. This center position is also referred to as a zoom center position below.
  • the display device 100 may recognize a face based on feature points such as eyes, ears, or nose of the observation target, and may use the recognized face as a zoom center position. Further, when a plurality of observation objects are displayed on the observation screen, the display device 100 may set the observation object displayed closer to the center of the user's field of view as the zoom center position.
  • the display device 100 may control the center position of the control of the size of the observation object on the observation screen based on the position of the recognition object in the direction orthogonal to the reference direction. For example, the display device 100 associates the coordinates of the zoom center position viewed from the center position of the observation screen with the coordinates of the recognition object viewed from the origin (that is, the Z axis) on the XY plane orthogonal to the Z axis direction. . More simply, when the recognition target is a user's hand that forms a ring with a finger, the display device 100 moves the zoom center position up, down, left, and right according to the vertical and horizontal movements of the user's hand. Thereafter, the display device 100 zooms in or out around the center position according to the movement of the user's hand in the forward direction (that is, the Z-axis direction).
  • the display device 100 may display information indicating the center position. Accordingly, the user can determine the aim by moving the center position of the zoom while moving his / her hand up / down / left / right, for example, before zooming in.
  • the information indicating the center position of the zoom may be information indicating the center point, or information indicating a predetermined range from the center position. The latter information is hereinafter also referred to as a focus range.
  • FIG. 24 is a diagram illustrating an example of an observation screen during a zoom operation according to the present embodiment.
  • the user moves the recognition target object 700 up, down, left, and right with the arm folded.
  • a focus range 631 is displayed on the observation screen 630.
  • the user can move the zoom center position up, down, left, and right so that the focus range 631 includes a desired portion of the observation object before zooming in.
  • the user can enlarge the portion of the focus range 631 and display it on the observation screen by extending the arm and performing a zoom-in operation after setting the aim.
  • the display apparatus 100 may set the maximum value or the minimum value of the zoom magnification.
  • the maximum value of the zoom magnification displays the observation object in a size equivalent to the size of the observation object that would be seen when the user is in a position where the user can touch the observation object in real space.
  • the magnification can be set.
  • the minimum zoom magnification is, for example, a magnification at which an observation object is displayed with a size equivalent to the size of the observation object that will be seen when the user views the observation object from the current position in real space. Can be set to
  • the zoom speed can be set according to the speed or acceleration in the reference direction of the recognition object.
  • the zoom speed may be set in consideration of the movable distance in the reference direction of the recognition object.
  • the zoom speed may be set in consideration of the length of the arm.
  • a value obtained by dividing the arm expansion / contraction speed or acceleration by the arm length can be set as the zoom speed.
  • the display device 100 recognizes an operation in which the user touches the observation object in the virtual space displayed on the observation screen as a contact operation.
  • the display device 100 recognizes, as a touch operation, an operation in which a user directs the palm toward the observation object in the virtual space.
  • the recognition target object in the zoom operation is a user's hand that forms a ring with a finger
  • the display device 100 recognizes the operation of turning the palm toward the observation target object with the user reaching out as a contact operation. May be. In that case, the user can seamlessly perform the contact operation after reaching out and performing the zoom-in operation.
  • FIG. 25 is a diagram illustrating an example of the contact operation according to the present embodiment. As shown in FIG. 25, the user opens the palm with the hand extended. The user can perform a touch operation in the same manner as when actually approaching and touching the observation object in real space, and can receive output of tactile information from the output device 200.
  • FIG. 26 is a diagram illustrating an example of an observation screen according to the present embodiment.
  • a screen zoomed in on the observation object is displayed, and annotations 641A and 641B indicating that a touch operation is possible, and information 642 indicating the current zoom ratio are displayed.
  • the display device 100 displays an image 644 indicating a user's hand performing a contact operation on the observation object on the observation screen 640 so as to be superimposed on the observation object.
  • the contact operation may be enabled when the observation object is displayed at a predetermined magnification or higher so that the user can make contact when the distance to the observation object is short.
  • the display apparatus 100 recognizes a cancel operation. For example, when recognizing a cancel operation on the observation screen, the display device 100 returns the zoom rate to the default value or returns the screen to the selection screen or the initial screen.
  • the cancel operation can be recognized in various ways.
  • the display device 100 recognizes a predetermined gesture, a predetermined voice command, or a predetermined button press as a cancel operation.
  • a predetermined gesture a predetermined gesture
  • a predetermined voice command a predetermined voice command
  • a predetermined button press a predetermined button press
  • FIG. 27 is a diagram illustrating an example of a cancel operation according to the present embodiment.
  • the display device 100 may recognize an operation in which the user shakes his / her neck from side to side as a cancel operation.
  • the display device 100 may recognize an operation in which the user swings his / her head left and right by recognizing an image difference between frames of an image captured by the outward camera 112 or an optical flow in the horizontal direction.
  • the display device 100 may recognize an operation in which the user swings his / her neck left and right based on the acceleration obtained by the acceleration sensor.
  • the display device 100 may recognize an operation in which the user shakes his / her neck from side to side by recognizing a continuous pattern of pressure obtained by a pressure sensor in contact with the side of the face. It should be noted that the above recognition methods are preferably used in combination as appropriate because image recognition has advantages and disadvantages such as reduced accuracy in a dark place.
  • the display device 100 may perform display based on the relationship between the users.
  • a plurality of display devices 100 worn by a plurality of users having a predetermined relationship such as a friend relationship or a parent-child relationship can be displayed in an individual mode for displaying different screens, or one user screen can be displayed to other users. It can operate in any of the group modes to display.
  • the display device 100 displays a screen corresponding to the operation of the attached user.
  • each user can freely view a screen that the user likes.
  • the display device 100 displays a screen corresponding to an operation of one user among a plurality of users. Thereby, a plurality of users can enjoy the same user experience by looking at a common screen.
  • the individual mode and the group mode may be appropriately switched by a user operation.
  • the selection of one user in the group mode may be performed by an arbitrary user operation or may be set in advance.
  • the users of the group can enjoy the user experience while exchanging the viewpoints selected by each other.
  • a parent may be selected as the one user and a child may be set as another user. In that case, the parent can provide a rich user experience to the child.
  • a zoo guide may be selected as the one user and a customer may be preset as another user.
  • FIG. 28 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 28 can realize, for example, the display apparatus 100, the output apparatus 200, or the observation apparatus 300 illustrated in FIG. 3, FIG. 4, or FIG.
  • Information processing by the display device 100, the output device 200, or the observation device 300 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may include a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form, for example, the control unit 150 shown in FIG. 3, the control unit 250 shown in FIG. 4, or the control unit 340 shown in FIG.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the input device 906 can be formed by a device that detects information about the user.
  • the input device 906 includes an image sensor (for example, a camera), a depth sensor (for example, a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance sensor, a pressure sensor, and a force sensor.
  • the input device 906 includes information related to the information processing device 900 state, such as the posture and movement speed of the information processing device 900, and information related to the surrounding environment of the information processing device 900, such as brightness and noise around the information processing device 900. May be obtained.
  • the input device 906 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite) and receives position information including the latitude, longitude, and altitude of the device.
  • GNSS Global Navigation Satellite System
  • a GNSS module to measure may be included.
  • the input device 906 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone / PHS / smartphone, or the like, or near field communication.
  • the input device 906 can form, for example, the sensor unit 110 shown in FIG. 3, the sensor unit 210 shown in FIG. 4, or the sensor unit 310 shown in FIG.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, and the like. .
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the output device 907 can form, for example, the output unit 120 shown in FIG. 3 or the output unit 220 shown in FIG.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 140 shown in FIG. 3, the storage unit 240 shown in FIG. 4, or the storage unit 330 shown in FIG.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 may form, for example, the communication unit 130 illustrated in FIG. 3, the communication unit 230 illustrated in FIG. 4, or the communication unit 320 illustrated in FIG.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the display device 100 recognizes an operation of the user wearing the display device 100 while displaying a screen including a captured image of the observation target.
  • the display device 100 controls the size of the observation object on the screen based on the distance between the recognition object operated by the user and the reference position. The user can easily change the size of the observation target in the screen by operating the recognition target and changing the distance from the reference position. In this way, smooth control of the sense of distance from the object in the virtual space is realized.
  • the display device 100 increases the observation object on the screen as the distance between the recognition object and the reference position increases, and decreases the observation object on the screen as the distance between the recognition object and the reference position decreases. May be.
  • the distance between the recognition target object and the reference position and the size of the observation target object on the screen are linked, the user can intuitively control the sense of distance from the target object in the virtual space. .
  • the recognition target object may be a user's hand that forms a ring with a finger.
  • the user can control a sense of distance from the object in the virtual space with a simple hand gesture.
  • tactile information imitating a tactile sensation obtained when the observation object is touched can be output by the output device 200.
  • the observation object is an animal in a zoo, but the present technology is not limited to such an example.
  • the observation object may be an artist in a concert hall or an actor in a theater stage.
  • the display device 100 has been described as displaying a screen including a captured image captured in real time by the observation device 300, but the present technology is not limited to such an example.
  • the display device 100 may display content such as a movie or a game, and the user may control the display magnification of the content by the hand gesture described above.
  • each device described in this specification may be realized as a single device, or a part or all of the devices may be realized as separate devices.
  • the storage unit 140 and the control unit 150 are provided in an information processing device such as a server connected to the sensor unit 110 and the output unit 120 via a network or the like. May be.
  • the server receives the observation information from the observation device 300, receives the sensing information from the output device 200 and the display device, and generates display screen information and a tactile sense for generating a screen such as an observation screen based on the received information. Generate information.
  • the server transmits the display control information to the display device and causes the output unit 120 to output it, and transmits the tactile information to the output device 200 for output.
  • the output device 200 and the observation device 300 receives the observation information from the observation device 300, receives the sensing information from the output device 200 and the display device, and generates display screen information and a tactile sense for generating a screen such as an observation screen based on the received information. Generate information.
  • the server transmit
  • processing described using the sequence diagram in this specification does not necessarily have to be executed in the order shown. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
  • a recognition unit for recognizing an operation of a user wearing the display device;
  • An output for controlling the size of the observation object on the screen based on the distance between the recognition object operated by the user and a reference position while displaying a screen including a captured image of the observation object on the display device
  • a control unit for controlling the size of the observation object on the screen based on the distance between the recognition object operated by the user and a reference position while displaying a screen including a captured image of the observation object on the display device
  • a control unit comprising: (2)
  • the output control unit increases the observation object on the screen as the distance between the recognition object and the reference position increases, and reduces the observation object on the screen as the distance between the recognition object and the reference position decreases.
  • the distance between the recognition object and the reference position is a distance in a reference direction between the reference position and the recognition object
  • the output control unit controls a center position of the control of the size of the observation object on the screen based on the position of the recognition object in a direction orthogonal to the reference direction, (1) or (2) The information processing apparatus described in 1.
  • the output control unit displays information indicating the center position.
  • the reference position is a position of the display device attached to the user.
  • the recognition object is the user's hand that forms a ring with a finger;
  • the output control unit causes the output device to output tactile information imitating a tactile sensation obtained when the observation target is touched when a predetermined operation on a predetermined part of the observation target is recognized,
  • the information processing apparatus according to any one of (1) to (8).
  • the information processing apparatus displays an image indicating the user's hand performing the predetermined operation on the observation target object so as to be superimposed on the observation target object.
  • the observation object is an animal
  • the information processing apparatus according to (9) or (10), wherein the tactile information includes at least one of a heartbeat, a body temperature, and a body surface feel of the observation object.
  • the output control unit displays information indicating that the predetermined operation is possible in association with the predetermined part.
  • the output control unit controls a detail level of information indicating that the predetermined operation is possible based on a size of the observation object on the screen.
  • the information processing apparatus according to any one of (9) to (13), wherein the output device is attached to a user's hand and includes at least one of a vibration generation device, a heat generation device, and a touch generation device.
  • the output control unit displays a screen including a plurality of display objects corresponding to a plurality of candidate imaging devices that can be a provider of the captured image to be displayed on the display device,
  • the recognizing unit recognizes the user's predetermined operation on one of the displayed display objects as the selection operation of the candidate imaging device, (1) to (14)
  • the information processing apparatus according to any one of the above.
  • the information processing apparatus displays the display object corresponding to the candidate imaging apparatus at a position corresponding to an installation position of the candidate imaging apparatus in a screen.
  • the output control unit displays the display object including a captured image captured by a candidate imaging device side by side at a height corresponding to an angle between an imaging direction of the candidate imaging device and a vertical direction (15 ).
  • the display device includes a first image sensor that images a user's eyes and a second image sensor that images the recognition object. apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想空間における対象物との距離感を円滑に制御することが可能な仕組みを提案する。 【解決手段】表示装置を装着したユーザの操作を認識する認識部と、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及び記録媒体
　本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
　近年の技術開発では、ハードウェア又はソフトウェアの性能の向上を目指す動きがある一方で、より豊かなユーザ体験を提供することを目指す動きがある。豊かなユーザ体験を提供するための技術に、実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術や、仮想空間を構築してユーザに提供する仮想現実（ＶＲ：Virtual　Reality）と呼ばれる技術がある。これらの技術では、ユーザの没入感を向上させる、仮想空間におけるユーザビリティを向上させる等の様々な観点で、より豊かなユーザ体験を提供するための技術開発が行われている。
　例えば、下記特許文献１では、仮想空間においてズーム及び視点位置を変更する技術が開示されている。
国際公開第２０１４／１６２８５２号
　しかし、上記特許文献１などで提案されている技術は、未だ開発されてから日が浅く、豊かなユーザ体験を提供するための技術として十分であるとは言い難い。例えば、仮想空間における対象物との距離感を円滑に制御する技術も、十分でない技術のひとつである。
　そこで、本開示では、仮想空間における対象物との距離感を円滑に制御することが可能な仕組みを提案する。
　本開示によれば、表示装置を装着したユーザの操作を認識する認識部と、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、表示装置を装着したユーザの操作を認識することと、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御することと、を含む、プロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、表示装置を装着したユーザの操作を認識する認識部と、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、として機能させるためのプログラムが記録された記録媒体が提供される。
　本開示によれば、表示装置において、観察対象物のリアルタイムな撮像画像を含む画面が表示される。そして、当該画面における観察対象物の大きさが、表示装置を装着したユーザが操作する認識対象物と基準位置との距離に基づいて制御される。ユーザは、認識対象物を操作して基準位置との距離を変えることで、画面内の観察対象物の大きさを容易に変えることが可能である。このようにして、仮想空間における対象物との距離感の円滑な制御が実現される。
　以上説明したように本開示によれば、仮想空間における対象物との距離感を円滑に制御することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係るシステムの全体構成を示す図である。 本実施形態に係る表示装置の外観構成の一例を示す図である。 本実施形態に係る表示装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る出力装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る観察装置の外観構成の一例を示す図である。 本実施形態に係る観察装置の論理的な構成の一例を示すブロック図である。 観察対象物を横アングルから観察する観察装置の設置例を示す図である。 観察対象物を横アングルから観察する観察装置の設置例を示す図である。 観察対象物を下アングルから観察する観察装置の設置例を示す図である。 本実施形態に係るシステムにおいて実行されるユーザ体験提供処理の流れの一例を示す図である。 本実施形態に係る初期画面の一例を示す図である。 本実施形態に係るカメラマップモードの選択画面の一例を示す図である。 本実施形態に係るカメラマップモードの選択画面の一例を示す図である。 本実施形態に係る一覧表示モードの選択画面の一例を示す図である。 本実施形態に係る一覧表示モードの選択画面の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係る座標軸の設定の一例を示す図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作時の観察画面の一例を示す図である。 本実施形態に係る接触操作の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係るキャンセル操作の一例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．概要
　　２．各装置の構成例
　　　２．１．表示装置の構成例
　　　２．２．出力装置の構成例
　　　２．３．観察装置の構成例
　　３．処理の流れ
　　４．各処理の詳細
　　　４．１．初期画面の表示
　　　４．２．選択画面の表示
　　　４．３．観察画面の表示
　　　４．４．ユーザ操作
　　　４．５．ユーザ間の相互作用
　　５．ハードウェア構成例
　　６．まとめ
　＜＜１．概要＞＞
　まず、図１を参照して、本開示の一実施形態に係るシステムの概要を説明する。
　図１は、本実施形態に係るシステムの全体構成を示す図である。図１に示すように、本実施形態に係るシステム１は、表示装置１００、出力装置２００、及び複数の観察装置３００を含む。
　観察装置３００は、観察対象物を観察する装置である。例えば、観察装置３００は、観察対象物の撮像画像（動画／静止画）及び音声等の観察情報を取得する。観察装置３００は、ズームしての撮像、及びマイク指向性を形成しての収音等が可能であり、観察対象物を間近から観察したかのような観察情報を取得することができる。なお、ズームとは、ズームインとズームアウトとの総称であるものとする。
　表示装置１００及び出力装置２００は、観察装置による観察結果に基づく情報を出力する。例えば、表示装置１００は、ユーザに装着され、観察装置３００により撮像された画像を表示する。表示装置１００は、さらに観察装置３００により収音された音声を出力してもよい。出力装置２００は、例えば心拍、体温、及び毛並等の、観察対象物に触れた場合に得られる感触を仮想的に生成して出力する。これにより、ユーザは、観察対象物から離れていても、あたかも近づいて触れたかのような臨場感のあるユーザ体験を享受ことが可能である。なお、ユーザとは、表示装置１００を装着した人を指すものとする。
　本明細書では、図１に示すように、動物園においてシステム１が運用されるものとして説明する。図１に示すように、観察装置３００は、観察対象物である動物が囲われた柵１０に沿って多数設置されている。図示は省略しているが、観察装置３００は、柵１０内の地面にも設置されてもよいし、柵１０内の上空に設置されてもよいし、動物の周りを飛行するドローンに搭載されてもよい。図１に示した例では、表示装置１００は、動物の正面に設置された観察装置３００によりして撮像された画像をリアルタイムで表示している。ユーザは、動物の正面に移動しなくても、且つ柵１０に近づかなくても、動物を正面から間近で見たようなユーザ体験を享受することが可能である。
　動物園では、動物がユーザから遠くにいる、又は岩等の遮蔽物の陰に隠れている等で、迫力のある光景を見ることが困難な場合がある。また、ユーザは、動物を様々な角度から見るためには、柵１０の周りを動き回らなければならないし、柵１０の周りの人ごみに邪魔されて動物を満足に見ることができない場合もあった。
　この点、システム１によれば、ユーザは、動物が遠くにいる、又は遮蔽物の陰に隠れている場合であっても、動物の近くに設置された観察装置３００により得られた迫力のある画像、音声及び感触等を享受することが可能である。また、ユーザは、動き回ることも人ごみに邪魔されることもなく、上下左右様々な視点から多面的に動物をみることが可能である。
　以上、システム１の概要を説明した。
　＜＜２．各装置の構成例＞＞
　以下、図１～図９を参照して、システム１に含まれる各装置の構成例を説明する。
　＜２．１．表示装置の構成例＞
　（１）外観構成例
　図２は、本実施形態に係る表示装置１００の外観構成の一例を示す図である。図２に示す表示装置１００は、ＨＭＤ（Head　Mounted　Display）とも称される。
　表示装置１００は、例えば両側頭部から後頭部にかけて半周回するようなフレーム構造の装着ユニットを持ち、図２に示すように両耳殻にかけられることでユーザに装着される。そしてこの表示装置１００は、図２に示すような装着状態において、ユーザの両眼の直前に表示部１２１が配置される構成とされている。この表示部１２１には、例えば液晶パネルが用いられ、表示装置１００は、液晶パネルの透過率を制御することで、スルー状態、即ち透明又は半透明の状態にしたり、非透過の状態にしたりすることができる。
　さらに、表示部１２１は、スルー状態のまま、テキストや図等の画像を表示することで、実空間の風景にＡＲ情報（即ち、アノテーション）を重畳表示することができる。また、表示部１２１は、非透過の状態において、外向きカメラ１１２で撮像された実空間の撮像画像を表示し、当該実空間の撮像画像にアノテーションを重畳表示することも可能である。
　他方、表示部１２１は、非透過の状態において、ＶＲ情報を表示可能である。例えば、表示部１２１は、非透過の状態において、表示装置１００が外部機器から受信したコンテンツや、表示装置１００の記憶媒体（即ち、記憶部１４０）に記憶されるコンテンツを再生表示したり、再生表示したコンテンツにアノテーションを重畳表示したりすることもできる。なお、外部機器とは、サーバ、デジタルカメラ、デジタルビデオカメラ、または携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置などである。本実施形態では、外部機器とは観察装置３００である。
　なお、以下では、表示部１２１において表示される画像全体を、画面とも称する。ここで、画面とは、非透過の状態において表示される画像と、スルー状態において透過的に映る光景及び重畳表示されるアノテーションとを含む概念であるものとする。また、画面に含まれる要素の各々を表示オブジェクトとも称し、表示オブジェクトはアノテーション等を含む概念であるものとする。
　また、表示装置１００には、ユーザが表示装置１００を装着した状態で、ユーザを近距離から撮像するように、ユーザに向けて一対の内向きカメラ１１１が配置されている。内向きカメラ１１１は、ユーザの目を撮像する第１の画像センサとして機能する。内向きカメラ１１１は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
　また、表示装置１００には、ユーザが表示装置１００を装着した状態において、ユーザが向く方向（例えば、表示部１２１がスルー状態である場合にユーザが視認する方向）を撮像方向として撮像するように、前方に向けて外向きカメラ１１２が配置されている。外向きカメラ１１２は、ユーザの手等の認識対象物を撮像する第２の画像センサとして機能する。外向きカメラ１１２は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
　また、図２では図示されていないが、ユーザが表示装置１００を装着した状態において、ユーザの両耳殻に挿入されるイヤホンスピーカが配置されてもよい。また、図２では図示されていないが、外部音を収音するマイクが配置されてもよい。
　なお、本実施形態に係る表示装置１００は、図２に示したようなＨＭＤでもよいし、例えばスマートフォンを眼前に固定することで構成される簡易的なＨＭＤであってもよい。その場合、スマートフォンのディスプレイ、ディスプレイ側に設けられるインカメラ、及び背面側に設けられるアウトカメラが、それぞれ上述した表示部１２１、内向きカメラ１１１及び外向きカメラ１１２として機能する。そして、スマートフォンを固定する固定台は、後述する制御部１５０、記憶部１４０及び通信部１３０等を含み、スマートフォンと通信して撮像画像を取得し画面表示を制御する。
　他にも、表示装置１００は、ＨＭＤの他、スマートフォン、タブレット端末、ＰＣ、デジタルサイネージ等として実現され得る。
　以上、表示装置１００の外観構成を説明した。続いて、表示装置１００の内部構成を説明する。
　（２）内部構成例 
　図３は、本実施形態に係る表示装置１００の論理的な構成の一例を示すブロック図である。図３に示すように、本実施形態に係る表示装置１００は、センサ部１１０、出力部１２０、通信部１３０、記憶部１４０及び制御部１５０を含む。
　・センサ部１１０
　センサ部１１０は、ユーザの動作や状態に関するセンシング情報を取得する。例えば、センサ部１１０は、ユーザが表示装置１００を装着した状態において、ユーザの目を撮像対象とする内向きカメラ１１１、及びユーザが向く方向を撮像方向として撮像する外向きカメラ１１２を含み得る。また、センサ部１１０は、ユーザが表示装置１００を装着した状態でユーザの顔の横に接触する圧力センサを含み得る。また、センサ部１１０は、対象物の温度を非接触で取得する赤外線センサ又は対象物の深度情報を取得する深度センサを含み得る。また、センサ部１１０は、ジャイロセンサ、又は加速度センサ等の、ユーザの姿勢を取得するセンサを含み得る。また、センサ部１１０は、筋電センサ、脈拍センサ、又は体温センサ等のユーザの生体情報を取得するセンサを含み得る。また、センサ部１１０は、ユーザの音声を収音するマイクを含み得る。また、センサ部１１０は、ＧＰＳ（Global　Positioning　System）等のユーザの位置情報を取得するセンサを含み得る。
　・出力部１２０
　出力部１２０は、ユーザに情報を出力する。例えば、出力部１２０は、画像を表示する表示部１２１を含み得る。また、出力部１２０は、音声を出力するスピーカを含み得る。また、出力部１２０は、アロマディフューザ等の匂いを出力する装置を含み得る。
　・通信部１３０
　通信部１３０は、他の装置との通信を行う。
　例えば、通信部１３０は、観察装置３００から観察情報を受信する。また、通信部１３０は、出力装置２００に触覚情報を送信する。
　・記憶部１４０
　記憶部１４０は、表示装置１００の動作のための情報を一時的に又は恒久的に記憶する。
　例えば、記憶部１４０は、多様な触覚情報を記憶する。触覚情報とは、観察対象物を触れた場合に得られる触覚を模した情報である。観察対象物は、動物であってもよく、その場合、触覚情報は、観察対象物の心拍、体温又は体表面の感触の少なくともいずれかを含んでいてもよい。なお、ここでの動物とは、哺乳類、両生類、鳥類、及び魚類等の任意の生物を含む概念であるものとする。
　例えば、触覚情報は、心拍に関する情報として、動物ごとの鼓動データを含む。鼓動データは、鼓動の周期及び大きさ、心臓の位置等を含み得る。
　例えば、触覚情報は、体温に関する情報として、動物ごとの体温データを含む。体温データは、胴体や足といった部位ごとのデータであることが望ましい。
　例えば、触覚情報は、体表面の感触に関する情報として、動物ごとの体表面の毛の量、質、及び生える方向等の毛並みデータを含む。毛並みデータは、胴体や足といった部位ごとのデータであることが望ましい。
　・制御部１５０
　制御部１５０は、表示装置１００の様々な機能を提供する。制御部１５０は、認識部１５１及び出力制御部１５３を含む。なお、制御部１５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１５０は、これらの構成要素の動作以外の動作も行い得る。
　　－認識部１５１
　認識部１５１は、表示装置１００を装着したユーザの操作を認識する処理を行う。
　例えば、認識部１５１は、内向きカメラ１１１による撮像画像又は深度情報に基づいてユーザの視線の向きを認識し、視線の向きに基づいてユーザ操作を認識し得る。例えば、認識部１５１は、ユーザが注視している表示オブジェクトがある場合、詳しくは、ユーザの視線が所定時間表示オブジェクトから一定の範囲内に収まっている場合、ユーザが当該表示オブジェクトを選択したものとして、ユーザ操作を認識する。なお、一定の範囲とは、表示オブジェクトの領域内、若しくはその領域の上下左右に数ピクセル程度の遊びを持たせた領域を指す。
　また、認識部１５１は、ユーザの視線の焦点距離を認識し、焦点距離に基づいてユーザ操作を認識し得る。例えば、認識部１５１は、水晶体の厚さと眼の焦点距離との関係を参照して、水晶体の厚さに基づいて焦点距離を認識する。なお、水晶体の厚さは、光を目に向けて発射し、その散乱光を観測することで認識可能である。このような水晶体の厚さに基づく焦点距離の認識技術に関しては、米国特許第９１３１８３９号明細書に詳しく記載されている。
　他方、認識部１５１は、外向きカメラ１１２による撮像画像又は深度情報に基づいて、ユーザの手等の認識対象物により行われるジェスチャを認識し、ジェスチャに基づいてユーザ操作を認識し得る。例えば、認識部１５１は、ユーザが眼前に、即ち外向きカメラ１１２の撮像範囲に掲げた手の撮像画像及び深度情報に基づいて、ユーザが手で作る形状や腕の伸縮（即ち、曲げ伸ばし）等のハンドジェスチャを認識し、ハンドジェスチャに対応するユーザ操作を認識する。なお、本明細書では、手とは手首から指先までを意味し、腕とは肩から手首までを意味するものとする。
　さらに、認識部１５１は、出力装置２００によりセンシングされたセンシング情報に基づいて、ユーザ操作を認識してもよい。例えば、認識部１５１は、ユーザの手の姿勢情報に基づいて、ユーザが手で作る形状や腕の伸縮等のハンドジェスチャを認識し、ハンドジェスチャに対応するユーザ操作を認識する。
　その他、認識部１５１は、生体情報、ユーザ音声、又はユーザの姿勢等を加味して、ユーザ操作を認識してもよい。
　　－出力制御部１５３
　出力制御部１５３は、出力制御部１５３は、表示装置１００又は出力装置２００によるユーザへの出力を制御する処理を行う。
　　（観察情報の表示）
　出力制御部１５３は、観察情報に基づく画面を生成して、生成した画面を表示するよう表示部１２１を制御する。
　具体的には、出力制御部１５３は、仮想空間を構築し、仮想空間を任意の視点から見た様子を示す画面を表示させる。ここでの仮想空間とは、観察装置３００によりリアルタイムで撮像された撮像画像により構築されるものであり、任意の観察装置３００の視点から見た空間である。
　出力制御部１５３は、仮想空間を任意の視点から見た画面に、様々な表示オブジェクトを重畳して表示させ得る。表示される画面の具体例については、後に詳しく説明する。
　出力制御部１５３は、表示部１２１に表示される画面における観察対象物の大きさを制御する。画面における観察対象物の大きさの制御を実現する手法として、２通りの手法が考えられる。例えば、表示装置１００は、撮像画像の撮像倍率を制御することで、画面における観察対象物の大きさを制御してもよい。つまり、表示装置１００は、観察装置３００にズームイン指示又はズームアウト指示、即ちズーム率の指示を送信することで光学ズームを行い、画面に映る観察対象物の大きさを制御してもよい。また、表示装置１００は、撮像画像を拡縮して表示倍率を制御することで、画面における観察対象物の大きさを制御してもよい。即ち、表示装置１００は、観察装置３００から取得した撮像画像を対象としてデジタルズームを行い、画面に映る観察対象物の大きさを制御してもよい。表示装置１００は、光学ズームとデジタルズームとを併用してもよい。いずれにしろ、画面における観察対象物の大きさを制御することを、ズーム率を制御する、とも称する。
　　（触覚情報の出力）
　出力制御部１５３は、記憶部１４０に記憶された触覚情報を提供する。詳しくは、出力制御部１５３は、出力部１２０により表示される仮想空間においてユーザが触れる操作（以下、接触操作とも称する）を行った観察対象物の、触れた部位に応じた触覚情報を、出力装置２００に送信して出力させる。
　動物園のように観察対象物が複数存在する環境下では、出力制御部１５３は、まず、ユーザが触れる操作を行った対象の観察対象物を特定する。例えば、出力制御部１５３は、表示部１２１に表示される画面に含まれる動物を画像認識したり、当該画面の元となる観察情報に含まれる音声を音声認識したりすることで、対象の動物を特定してもよい。また、出力制御部１５３は、仮想空間内の視点の位置と動物の種類とを対応させたマップ、即ち、観察装置３００の設置位置と動物の種類とを対応付けされたマップを参照することで、対象の動物を特定してもよい。また、動物にＧＰＳが装着されている場合、出力制御部１５３は、観察装置３００の位置情報及び撮像方向と動物の位置情報とに基づいて、対象の動物を特定してもよい。
　出力制御部１５３は、ユーザが触れた部位に応じた触覚情報を出力させる。例えば、出力制御部１５３は、仮想空間においてユーザが触れた部位と対象の動物の心臓の位置との距離を計算して、距離に応じた減衰を加えた大きさの鼓動を出力させる。また、出力制御部１５３は、仮想空間においてユーザが触れた部位に対応する温度を出力させる。また、出力制御部１５３は、仮想空間においてユーザが触れた部位に対応する体表面の感触を出力させる。なお、出力制御部１５３は、ユーザが動物をなでる方向に応じて異なる感触を出力させることで、動物の毛並を表現してもよい。
　さらに、出力制御部１５３は、ユーザが触れた動物及び部位に応じた音声や匂いを、出力部１２０に出力させてもよい。
　＜２．２．出力装置の構成例＞
　図４は、本実施形態に係る出力装置２００の論理的な構成の一例を示すブロック図である。図４に示すように、本実施形態に係る出力装置２００は、センサ部２１０、出力部２２０、通信部２３０、記憶部２４０及び制御部２５０を含む。以下では、出力装置２００が、図１に示したようなユーザの手に装着される、グローブ型として実現されるものとする。
　・センサ部２１０
　センサ部２１０は、出力装置２００を装着したユーザの動作や状態に関するセンシング情報を取得する。例えば、センサ部２１０は、ジャイロセンサ、又は加速度センサ等の、出力装置２００を装着したユーザの手の姿勢を取得するセンサを含み得る。また、センサ部２１０は、指先同士の接触を検出する接触センサを含み、後述するユーザのズーム操作を精度よく検出し得る。
　・出力部２２０
　出力部２２０は、ユーザに触覚情報を出力する。
　例えば、出力部２２０は、振動生成装置、熱生成装置又は感触生成装置の少なくともいずれかを含む。
　例えば、振動生成装置は、触覚情報が示す周期、大きさ及び減衰で振動することで、観察対象物の心拍を疑似的に表現する。振動生成装置は、例えば複数の振動子を含んでいてもよく、表示装置１００又は出力装置２００に配置される超音波素子から放射された音波により振動してもよい。
　例えば、熱生成装置は、触覚情報が示す温度の熱を生成することで、観察対象物の体温を疑似的に表現する。
　例えば、感触生成装置は、触覚情報が示す感触を生成することで、観察対象物の体表面の感触を疑似的に表現する。感触生成装置は、例えば振動発生装置と同様に構成され、振動により感触を疑似的に表現してもよい。また、感触生成装置は、外部に設けられる超音波出力機として実現されてもよく、超音波の放射圧によりユーザの手に感触を与えてもよい。その場合、超音波出力機は、例えば動物園の柵の周りや、表示装置１００の外面に設けられ得る。超音波の放射圧を利用した感触生成技術は、例えば「T.　Iwamoto,　T.　Maeda　and　H.　Shinoda:　“Focused　Ultrasound　for　Tactile　Feeling　Display,”　Proc.　2001　ICAT,　pp.　121-126,　2001.」に詳しく記載されている。その他にも、「牧野泰才，篠田裕之：　吸引圧刺激による触覚生成法，日本バーチャルリアリティ学会論文誌，Vol.　11,　No.1,　pp.　123-132,　2006.」に記載されているように、感触生成技術は、電気刺激を利用するもの、空気圧による薄膜が上下するもの、吸引圧を利用するもの等、多様にあり、感触生成装置は、任意の技術を採用し得る。
　・通信部２３０
　通信部２３０は、他の装置との通信を行う。
　例えば、通信部２３０は、表示装置１００から触覚情報を受信する。また、通信部２３０は、表示装置１００にセンシング情報を送信する。
　・記憶部２４０
　記憶部２４０は、出力装置２００の動作のための情報を一時的に又は恒久的に記憶する。
　・制御部２５０
　制御部２５０は、出力装置２００の様々な機能を提供する。例えば、制御部２５０は、表示装置１００から受信した触覚情報を出力するよう出力部２２０を制御する。
　＜２．３．観察装置の構成例＞
　（１）外観構成例
　図５は、本実施形態に係る観察装置３００の外観構成の一例を示す図である。図５に示すように、観察装置３００は、複数のカメラ３１１Ａ～３１１Ｃ及び３１２を含み得る。カメラ３１２は、ズームレンズを有し、ズームしての撮像が可能である。なお、カメラ３１１Ａ～３１１Ｃとカメラ３１２とで用途が異なっていてもよい。例えばカメラ３１１Ａ～３１１Ｃが撮像した撮像画像は後述する選択画面の生成のために用いられ、カメラ３１２が撮像した撮像画像は後述する観察画面の生成のために用いられてもよい。
　（２）内部構成例
　図６は、本実施形態に係る観察装置３００の論理的な構成の一例を示すブロック図である。図６に示すように、本実施形態に係る観察装置３００は、センサ部３１０、通信部３２０、記憶部３３０及び制御部３４０を含む。
　・センサ部３１０
　センサ部３１０は、観察対象物に関するセンシング情報（即ち、観察情報）を取得する。センサ部３１０は、観察対象物の撮像画像（動画／静止画）及び音声等の観察情報を取得する。センサ部３１０は、例えばカメラ３１１Ａ～３１１Ｃ及び３１２等の画像センサ、深度センサ、及びマイク等を含み得る。センサ部３１０は、ズームしての撮像、及びマイク指向性を形成しての収音等を行ってもよい。
　・通信部３２０
　通信部３２０は、他の装置との通信を行う。
　例えば、通信部３２０は、表示装置１００から画像センサのズーム指示又はマイク指向性の形成指示等を受信する。また、通信部３２０は、表示装置１００に観察情報を送信する。
　・記憶部３３０
　記憶部３３０は、観察装置３００の動作のための情報を一時的に又は恒久的に記憶する。
　・制御部３４０
　制御部３４０は、観察装置３００の様々な機能を提供する。例えば、制御部３４０は、表示装置１００からの指示に基づきズーム又はマイク指向性を形成するようセンサ部３１０を制御する。
　（３）設置例
　以下、図７～図９を参照して、観察装置３００の設置例を説明する。
　図７及び図８は、観察対象物を横アングルから（即ち、横から）観察する観察装置３００の設置例を示す図である。図７に示すように、動物園における柵１０に沿って観察装置３００が設置され得る。観察装置３００が設置される高さは、柵１０内の動物の地面から頭、背中又は体の中心までの高さに応じて設置されてもよい。図７に示したように、柵１０内の動物がキリンであれば、観察装置３００は、高さ１ｍで８方向から動物を撮像するよう設置され得る。また、図８に示すように、柵１０内の地形に動物の身長を超えるほどの高低差がある場合、観察装置３００は、複数段階（図８に示した例では３段階）の高さから動物を撮像するよう設置され得る。
　図９は、観察対象物を下アングルから（即ち、下から）観察する観察装置３００の設置例を示す図である。観察装置３００は、地面に敷き詰められて設置されてもよい。例えば、柵１０内の動物がキリンであり、キリンを上から見て尻尾から顔の先までの距離をＸとし、キリンを上から見たときの体の幅をＹとする。その場合、図９に示すように、観察装置３００は、横の距離をＸとし縦の距離をＹとする長方形の領域に地面を区切ったときの、各々の領域にひとつずつ設置されてもよい。
　他にも、観察装置３００は、観察対象物を上アングルから（即ち、上から）観察するよう設置されてもよい。また、観察装置３００は、動物の視線方向を撮像方向とするように、例えば動物の頭に装着されてもよい。
　＜＜３．処理の流れ＞＞
　以下、図１０を参照して、動物園におけるユーザ体験提供処理の流れの一例を説明する。
　図１０は、本実施形態に係るシステム１において実行されるユーザ体験提供処理の流れの一例を示す図である。図１０に示すように、本シーケンスには、表示装置１００、出力装置２００、及び複数の観察装置３００が関与する。
　まず、表示装置１００は、初期画面を生成して表示する（ステップＳ１０２）。初期画面については後述するので、ここでの詳しい説明は省略する。
　次いで、表示装置１００は、観察装置３００を探索する（ステップＳ１０４）。例えば、表示装置１００は、ユーザの位置情報及び向き等に基づいて、ユーザの目の前にある柵１０内の動物を観察対象物とする観察装置３００を探索する。
　次に、表示装置１００は、探索された観察装置３００に対してリクエストを送信し（ステップＳ１０６）、リクエストを受信した観察装置３００は観察情報を返信する（ステップＳ１０８）。
　次いで、表示装置１００は、観察装置３００から受信した観察情報に基づいて選択画面を生成して表示する（ステップＳ１１０）。表示装置１００は、選択画面を表示中に、ユーザによる選択操作を認識する（Ｓ１１２）。詳しくは、表示装置１００は、複数の観察装置３００から一の観察装置３００を選択する操作を認識する。選択画面については後述するので、ここでの詳しい説明は省略する。なお、ここで選択された観察装置３００から受信した観察情報に基づいて、後述する観察画面が生成される。
　次に、表示装置１００は、選択された観察装置３００に対してリクエストを送信し（ステップＳ１１４）、リクエストを受信した観察装置３００は観察情報を返信する（ステップＳ１１６）。なお、観察装置３００は、上記ステップＳ１０６においてリクエストを受信してから継続的に観察情報を表示装置１００に送信してもよい。その場合、上記ステップＳ１１４においてもリクエストを受信した観察装置３００は、以降も継続的に観察情報を表示装置１００に送信し、上記ステップＳ１１４においてリクエストを受信しなかった観察装置３００は、観察情報の送信を停止するものとする。
　次いで、表示装置１００は、観察装置３００から受信した観察情報に基づいて観察画面を生成して表示する（ステップＳ１１８）。観察画面については後述するので、ここでの詳しい説明は省略する。
　次に、表示装置１００は、ユーザによるズーム操作を認識すると（ステップＳ１２０）、観察装置３００にズーム指示を送信する（ステップＳ１２２）。ズーム指示を受信した観察装置３００は、ズーム指示に基づいてズームイン又はズームアウトした撮像画像を含む観察情報を返信する（ステップＳ１２４）。これにより、表示装置１００に表示される観察画面は、ズームイン又はズームアウトされる。
　次いで、表示装置１００は、ユーザによる接触操作を認識すると（ステップＳ１２６）、認識した接触操作に対応する触覚情報を出力装置２００に送信する（ステップＳ１２８）。
　そして、出力装置２００は、受信した触覚情報を出力する（ステップＳ１３０）。
　＜＜４．各処理の詳細＞＞
　以下では、上記説明したユーザ体験提供処理における各処理の詳細を説明する。
　＜４．１．初期画面の表示＞
　初期画面とは、ユーザ体験提供処理において最初に表示される画面である。初期画面の一例を、図１１を参照して説明する。
　図１１は、本実施形態に係る初期画面の一例を示す図である。図１１に示すように、初期画面４００は、ユーザが、現在地から直接動物を見たときと同じ光景を映すものであってもよい。例えば、初期画面４００は、外向きカメラ１１２によりリアルタイムに撮像された撮像画像であってもよい。また、初期画面４００は、表示部１２１をスルー状態にした場合に透過的に映る光景であってもよい。
　他にも、初期画面４００は、デフォルトで選択される観察装置３００によりリアルタイムで撮像された撮像画像であってもよい。
　＜４．２．選択画面の表示＞
　表示装置１００は、選択画面を表示する。選択画面とは、後述する観察画面において提供するユーザ体験の元となる観察処理を行う観察装置３００を選択する画面である。
　詳しくは、表示装置１００（例えば、出力制御部１５３）は、表示装置１００に表示させる撮像画像（即ち、観察画面において提供される撮像画像）の提供元となり得る複数の候補の撮像装置（即ち、観察装置３００）に対応する複数の表示オブジェクトを含む選択画面を表示する。そして、表示装置１００（例えば、認識部１５１）は、表示された複数の表示オブジェクトのうちひとつの表示オブジェクトへのユーザの所定の操作を、観察装置３００の選択操作として認識する。ユーザは、選択画面において、観察画面生成のための撮像画像の提供元となる観察装置３００、即ち観察画面生成のための視点を選択することが可能である。
　選択画面は、多様なモードを有し得る。一例として、以下ではカメラマップモードの選択画面と一覧表示モードの選択画面の一例を説明する。
　・カメラマップモード
　カメラマップモードでは、表示装置１００は、画面内の候補の観察装置３００の設置位置に対応する位置に当該候補の観察装置３００に対応する表示オブジェクトを表示させる。以下、図１２及び図１３を参照して、カメラマップモードの選択画面の具体例を説明する。
　図１２は、本実施形態に係るカメラマップモードの選択画面の一例を示す図である。図１２に示すように、カメラマップモードの選択画面５００の背景は、初期画面４００と同様に、ユーザが現在地から直接動物を見たときと同じ光景を映すものであってもよいし、任意の観察装置３００により撮像された撮像画像であってもよい。そして、カメラマップモードの選択画面５００は、画面内の観察装置３００の設置位置に対応する位置に当該観察装置３００に対応するカメラアイコン５０１Ａ～５０１Ｈを含む。カメラアイコン５０１Ａ～５０１Ｄは、動物を横アングルから撮像するよう設置された観察装置３００に対応している。カメラアイコン５０１Ｅ～５０１Ｇは、動物を下アングルから撮像するよう設置された観察装置３００に対応している。カメラアイコン５０１Ｈは、動物を上アングルから撮像するよう設置された観察装置３００に対応している。ユーザがこれらのカメラアイコン５０１Ａ～５０１Ｈのうち一のカメラアイコンを選択すると、選択したカメラアイコンに対応する観察装置３００により撮像された撮像画像に基づき観察画面が生成される。
　なお、選択画面５００のヘッダには、現在のモードがカメラマップモードであることを示す表示オブジェクト５０２と、モードを後述する一覧表示モードに切り替えるための表示オブジェクト５０３とが表示されている。ユーザが表示オブジェクト５０３を選択すると、一覧表示モードの選択画面に表示が切り替わる。
　図１３は、本実施形態に係るカメラマップモードの選択画面の一例を示す図である。図１３に示すように、カメラマップモードの選択画面５１０は、画面内の観察装置３００の設置位置に対応する位置に当該観察装置３００に対応するサムネイル５１１Ａ～５１１Ｄを含む。サムネイル５１１Ａ～５１１Ｄは、対応する観察装置３００によりリアルタイムで撮像された撮像画像を縮小表示するものである。サムネイル５１１Ａ及び５１１Ｂは、動物を横アングルから撮像するよう設置された観察装置３００に対応している。サムネイル５１１Ｃは、動物を下アングルから撮像するよう設置された観察装置３００に対応している。サムネイル５１１Ｄは、動物を上アングルから撮像するよう設置された観察装置３００に対応している。ユーザがこれらのサムネイル５１１Ａ～５１１Ｄのうち一のサムネイルを選択すると、選択したサムネイルに対応する観察装置３００により撮像された撮像画像に基づき観察画面が生成される。
　なお、選択画面５１０のヘッダには、現在のモードがカメラマップモードであることを示す表示オブジェクト５１２と、モードを後述する一覧表示モードに切り替えるための表示オブジェクト５１３とが表示されている。ユーザが表示オブジェクト５１３を選択すると、一覧表示モードの選択画面に表示が切り替わる。
　このように、カメラマップモードの選択画面では、カメラアイコン又はサムネイルが対応する観察装置３００の設置位置に応じた位置に表示されるので、ユーザは、観察画面生成のための視点を容易に選択することが可能である。とりわけ、サムネイルが表示される場合、ユーザは、選択前にどのような観察画面が生成されるかを予測可能であるので、利便性が向上する。
　・一覧表示モード
　一覧表示モードでは、表示装置１００は、候補の観察装置３００により撮像された撮像画像を含む表示オブジェクトを、候補の観察装置３００の撮像方向の鉛直方向との角度に対応する高さに並べて表示させる。以下、図１４及び図１５を参照して、一覧表示モードの選択画面の具体例を説明する。
　図１４は、本実施形態に係る一覧表示モードの選択画面の一例を示す図である。図１４に示すように、一覧表示モードの選択画面５２０では、観察装置３００により撮像された撮像画像のサムネイル５２１Ａ～５２１Ｇが、観察装置３００の撮像方向と鉛直方向との角度に対応する高さに並べて表示される。サムネイル５２１Ａ～５２１Ｅは、動物を横アングルから（即ち、撮像方向と鉛直方向との角度が９０度程度）撮像するよう設置された観察装置３００に対応しており、画面内の中部に並べられている。これにより、実際に動物を水平方向から見たときに見えるであろう光景が、ユーザにとって水平方向に表示されることとなる。サムネイル５２１Ｆは、動物を下アングルから（即ち、撮像方向と鉛直方向との角度が１８０度程度）撮像するよう設置された観察装置３００に対応しており、画面内の上部に並べられている。これにより、実際に動物を下アングルから見上げたときに見えるであろう光景が、ユーザにとって見上げる位置に表示されることとなる。サムネイル５２１Ｇは、動物を上アングルから（即ち、撮像方向と鉛直方向との角度が０度程度）撮像するよう設置された観察装置３００に対応しており、画面内の下部に並べられている。これにより、実際に動物を上アングルから見下ろしたときに見える光景が、ユーザにとって見下ろす位置に表示されることとなる。なお、観察装置３００が、動物の視線方向を撮像方向とするように設置された場合、図１４に示すように、当該観察装置３００により撮像された撮像画像のサムネイル５２１Ｈが、選択画面５２０において表示されてもよい。ユーザがこれらのサムネイル５２１Ａ～５２１Ｈのうち一のサムネイルを選択すると、選択したサムネイルに対応する観察装置３００により撮像された撮像画像に基づき観察画面が生成される。
　ここで、選択画面５２０において表示されるサムネイルは、一部であってもよく、ユーザは、表示されているサムネイルと表示されていないサムネイルとを入れ替えてもよい。例えば、図１４に示すように、画面内の中部に並べられたサムネイル５２１Ａ～５２１Ｅは、ユーザを仮想的に囲むように配置されている。そこで、ユーザは、この囲みを回転させるような操作を行うことで、動物を横アングルから撮像するよう設置された他の観察装置３００により撮像された撮像画像のサムネイルを、新たに表示させてもよい。この点、サムネイル５２１Ａ～５２１Ｅとして、水平方向における撮像方向が互いに遠い観察装置３００により撮像された撮像画像に基づくサムネイルが表示されている。従って、選択画面５２０においては、サムネイルの入れ替えが行われなくても、観察画面生成のための幅広い視点の候補を提供することが可能である。
　なお、選択画面５２０のヘッダには、現在のモードが一覧表示モードであることを示す表示オブジェクト５２２と、モードをカメラマップモードに切り替えるための表示オブジェクト５２３とが表示されている。ユーザが表示オブジェクト５２３を選択すると、カメラマップモードの選択画面に表示が切り替わる。
　図１５は、本実施形態に係る一覧表示モードの選択画面の一例を示す図である。図１５に示すように、図１４と同様に、一覧表示モードの選択画面５３０では、観察装置３００により撮像された撮像画像のサムネイル５３１Ａ～５３１Ｇが、観察装置３００の撮像方向と鉛直方向との角度に対応する高さに並べて表示される。また、図１５に示すように、図１４と同様に、観察装置３００が、動物の視線方向を撮像方向とするように設置された当該観察装置３００により撮像された撮像画像のサムネイル５３１Ｈが、選択画面５３０において表示される。
　ここで、選択画面５３０では、サムネイル５３１Ａ～５３１Ｅとして、水平方向における撮像方向が互いに近い（例えば、隣り合って設置された）観察装置３００により撮像された撮像画像に基づくサムネイルが表示されている。従って、選択画面５３０においては、観察画面生成のための類似する視点の候補を提供することが可能である。
　なお、選択画面５３０のヘッダには、現在のモードが一覧表示モードであることを示す表示オブジェクト５３２と、モードをカメラマップモードに切り替えるための表示オブジェクト５３３とが表示されている。ユーザが表示オブジェクト５３３を選択すると、カメラマップモードの選択画面に表示が切り替わる。
　このように、一覧表示モードの選択画面では、観察装置３００の撮像方向と鉛直方向との角度に対応する高さにサムネイルが並べられるので、観察装置３００の撮像方向とユーザの上下の視線方向とを調和させることが可能である。
　なお、図１４及び図１５では、一覧表示モードの選択画面の背景が黒一色であったが、カメラマップモードの選択画面と同様の背景であってもよい。
　ここで、上述した選択画面における観察装置３００の選択等の選択操作は、多様に実現され得る。例えば、表示装置１００は、ユーザが注視している表示オブジェクトがある場合、当該表示オブジェクトをユーザが選択したものとして認識してもよい。
　＜４．３．観察画面の表示＞
　観察画面とは、選択画面において選択された観察装置３００による観察情報に基づく出力を行う画面である。具体的には、観察画面は、選択された観察装置３００によりリアルタイムに撮像された撮像画像を含む画面である。とりわけ、観察画面では、ユーザが接触操作を行った場合に、対応する触覚情報が出力される。
　詳しくは、表示装置１００は、観察画面において、観察対象物の所定の部位への所定の操作が認識された場合、観察対象物を触れた場合に得られる触覚を模した触覚情報を出力装置２００により出力させる。所定の操作とは、接触操作である。これにより、ユーザは、観察対象物から離れていても、あたかも近づいて触れたかのような臨場感のあるユーザ体験を享受ことが可能である。
　また、表示装置１００は、観察画面において、接触操作が可能であることを示す情報を、上記所定の部位、即ち接触操作が可能な部位に関連付けて表示する。接触操作が可能な部位は、首や顔、顎など、動物の種類、又はそのときの動物の感情等に応じて異なり得る。これにより、ユーザは、触覚情報の出力を享受することができる部位を目がけて接触操作を行うことが可能となる。
　以下、図１６～図１８を参照して、観察画面の具体例を説明する。
　図１６は、本実施形態に係る観察画面の一例を示す図である。図１６に示すように、観察画面６００では、接触操作が可能であることを示すアノテーション６０１Ａ～６０１Ｃ、及び現在のズーム率を示す情報６０２が表示されている。ユーザは、ズーム操作を行うことで、観察画面におけるズーム率を任意の変更可能である。ユーザがズームイン操作を行ったときの観察画面を、図１７に示す。
　図１７は、本実施形態に係る観察画面の一例を示す図である。図１７に示すように、観察画面６１０では、観察対象物にズームインした画面が表示されており、接触操作が可能であることを示すアノテーション６１１Ａ及び６１１Ｂ、並びに現在のズーム率を示す情報６１２が表示されている。ここで、アノテーション６１１Ａでは、接触操作を行うと観察対象物が肯定的な反応を行う（例えば、喜ぶ）ことを示すアイコンが表示されている。また、アノテーション６１１Ｂでは、観察対象物が否定的な反応を行う（例えば、怒る）ことを示すアイコンが表示されている。もちろん、ユーザが観察対象物に実際に触れるわけではなく、これらの反応は仮想的なものである。
　ここで、図１６及び図１７に示したように、表示装置１００は、観察画面における観察対象物の大きさに基づいて、接触操作が可能であることを示す情報の詳細度を制御してもよい。例えば、表示装置１００は、ズーム率が低い場合には接触操作が可能であることを示すアノテーションを表示する。これにより、ユーザは、例えばアノテーションが表示された部位を目がけてズーム操作を行うことが可能である。他方、表示装置１００は、ズーム率が高い場合には接触操作が可能であることに加えて、予想される観察対象物の反応を示すアノテーションを表示する。これにより、ユーザは、例えば観察対象物が肯定的な反応を行う部位を選択して、接触操作を行うことが可能である。
　表示装置１００は、観察対象物の感情に応じて、観察対象物の反応を生成してもよい。即ち、表示装置１００は、観察対象物の感情に応じて、アノテーションの内容や形状を動的に変更し得る。また、表示装置１００は、観察対象物の感情に応じて、接触操作が可能か否かを判断してもよい。即ち、表示装置１００は、観察対象物の感情に応じて、アノテーションの表示可否を動的に変更し得る。また、表示装置１００は、触っても否定的な反応が起こりにくい部位にアノテーションを配置してもよい。即ち、表示装置１００は、観察対象物の感情に応じて、アノテーションの表示位置を動的に変更し得る。
　ここで、観察対象物の感情は、観察対象物の観察情報に基づいたニューラルネット等の機械学習により推定され得る。例えば、撮像画像に基づく学習により、動物の種類、行動及び身震い等に対応する感情が推定される。また、音声に基づく学習により、鳴き声のスペクトル及び長さに対応する感情が推定される。
　上述した観察対象物の感情に代えて又は加えて、観察対象物が寝ている／歩いている等の行動、又は特徴的な触覚の有無等に応じてアノテーションが表示されてもよい。例えば、行動が異なればアノテーションの表示位置が異なってもよいし、心臓の近く等の心拍を大きく感じ取ることが可能な位置に優先的にアノテーションが表示されてもよい。
　観察画面においては、ズームに連動して観察情報に含まれる撮像画像以外の他の情報が出力されてもよい。例えば、表示装置１００は、ズームに連動して観察装置３００のマイクの指向性を観察画面に含まれる観察対象物に向くよう制御して、観察対象物の鳴き声等を出力してもよい。また、表示装置１００は、ズームに連動して観察画面に含まれる観察対象物の匂いを出力してもよい。
　観察画面においてユーザがキャンセル操作を行うと、表示装置１００は選択画面を再度表示する。これにより、ユーザは、観察画面生成のための視点を選択し直すことが可能となる。その他、表示装置１００は、観察画面において、他の視点を推薦する表示オブジェクトを表示してもよい。その場合の例を、図１８を参照して説明する。
　図１８は、本実施形態に係る観察画面の一例を示す図である。図１８に示すように、観察画面６２０では、観察対象物にズームインした画面が表示されており、他の視点を推薦する表示オブジェクト６２１及び現在のズーム率を示す情報６２２が表示されている。表示オブジェクト６２１は、他の観察装置３００により撮像された撮像画像のサムネイルである。表示装置１００は、ユーザが表示オブジェクト６２１を選択すると、当該他の観察装置３００により撮像された撮像画像に基づく観察画面を生成して、表示を切り替える。
　＜４．４．ユーザ操作＞
　（１）ズーム操作
　以下、図１９～図２４を参照して、ズーム操作について説明する。
　まず、図１９を参照して、ズーム操作を説明するための座標軸の設定を説明する。
　図１９は、本実施形態に係る座標軸の設定の一例を示す図である。図１９に示すように、ユーザに装着された表示装置１００の位置を原点とし、ユーザにとって前方の方向をＺ軸、水平方向（即ち、画面の横方向）をＸ軸、天頂方向（即ち、画面の縦方向）をＹ軸として座標軸が設定されるものとする。
　　・Ｚ軸方向の距離に応じたズーム率の制御
　表示装置１００は、観察対象物の撮像画像を含む画面（例えば、観察画面）を表示しつつ、表示装置１００を装着したユーザが操作する認識対象物と基準位置との距離に基づいて、上記画面における観察対象物の大きさを制御する。より簡易には、表示装置１００は、ユーザが操作する認識対象物と基準位置との距離に応じて、観察画面におけるズーム率を制御する。
　ここで、基準位置は、ユーザに装着された表示装置１００の位置であり、図１９における原点であってもよい。より具体的には、基準位置は、ステレオカメラとして形成された外向きカメラ１１２の位置であってもよいし、深度センサの位置であってもよい。また、認識対象物と基準位置との距離は、基準位置と認識対象物との基準方向における距離であってもよく、基準方向は、例えば図１９におけるＺ軸方向であってもよい。より簡易には、表示装置１００は、ユーザの前方方向における認識対象物と表示装置１００との距離に応じて、観察画面におけるズーム率を制御してもよい。
　具体的には、表示装置１００は、認識対象物と基準位置との距離が大きいほど観察画面における観察対象物を大きくする。即ち、表示装置１００は、認識対象物と基準位置との基準方向の距離が大きいほど観察画面のズーム率を大きくする。一方で、表示装置１００は、認識対象物と基準位置との距離が小さいほど観察画面における観察対象物を小さくする。即ち、表示装置１００は、認識対象物と基準位置との基準方向の距離が大きいほど観察画面のズーム率を小さくする。
　認識対象物は、多様に考えられる。例えば、認識対象物は、所定の形状となったユーザの手であってもよい。他にも、認識対象物は、ユーザの足又は器具等であってもよいし、仮想空間においてユーザに操作される仮想オブジェクトであってもよい。
　上記所定の形状は多様に考えられる。例えば、認識対象物は、指で輪を形成したユーザの手であってもよい。この輪は、片手で形成されてもよいし、両手で形成されてもよい。他にも、認識対象物は、握りこぶしを形成したユーザの手等であってもよい。
　認識対象物と基準位置との距離の上限及び下限は、予め設定されていてもよい。例えば、認識対象物が指で輪を形成したユーザの手である場合、ユーザの腕の長さを考慮して、上限は１メートル程度であってもよい。また、表示装置１００は、認識対象物と基準位置との距離の変化量が閾値以上であれば、観察画面のズーム率を変化させてもよい。これにより、腕の微細な動きがズーム率に影響することが防止されるので、画面揺れ等が防止される。なお、この閾値は、例えば１５センチメートル程度であってもよい。
　以下、図２０～図２２を参照して、ズーム操作の一例を説明する。図２０～図２２は、本実施形態に係るズーム操作の一例を説明するための図である。
　図２０では、認識対象物の一例が示されている。図２０に示した認識対象物７００は、片手の指でそれぞれ輪を形成したユーザの両手である。このような形状により、ユーザは遠くを双眼鏡でのぞくイメージでズーム操作を行うことが可能である。
　図２１では、ズームイン操作の一例が示されている。表示装置１００は、図２１に示すような、ユーザが腕を伸ばしてＺ軸方向で認識対象物７００を表示装置１００から遠ざける操作を、ズームイン操作として認識する。そして、表示装置１００は、観察画面のズーム率を大きくする。
　図２２では、ズームアウト操作の一例が示されている。表示装置１００は、図２２に示すような、ユーザが腕を畳んでＺ軸方向で認識対象物７００を表示装置１００に近づける操作を、ズームアウト操作として認識する。そして、表示装置１００は、観察画面のズーム率を小さくする。
　　・他の情報に応じたズーム率制御
　表示装置１００は、他の情報にさらに基づいて、ズーム率を制御してもよい。これにより、ズーム操作の認識精度を向上させることが可能である。
　例えば、認識対象物が指で輪を形成したユーザの手である場合、表示装置１００は、輪の姿勢にさらに基づいて、観察画面における観察対象物の大きさを制御してもよい。この点、図２３を参照して説明する。
　図２３は、本実施形態に係るズーム操作の一例を説明するための図である。図２３の上段に示すように、ユーザが腕を伸ばしてＺ軸方向に輪（即ち、認識対象物）７００を表示装置１００から遠ざけるズームイン操作を行った場合、手首の可動域の関係で、典型的には輪７００とＺ軸方向との角度は小さくなる。他方、図２３の下段に示すように、ユーザが腕を畳んでＺ軸方向で認識対象物７００を表示装置１００に近づけるズームアウト操作を行った場合、典型的には輪７００とＺ軸方向との角度は大きくなる。そこで、表示装置１００は、この輪７００とＺ軸方向との角度に応じて、ズーム率を制御してもよい。例えば、表示装置１００は、輪７００とＺ軸方向との角度が小さくなった場合にズームイン操作が行われていることを認識し、輪７００とＺ軸方向との角度が大きくなった場合にズームアウト操作が行われていることを認識してもよい。また、表示装置１００は、輪７００とＺ軸方向との角度が閾値を上回る又は下回る場合に、誤認識であると判断し、ズーム率の制御を停止してもよい。
　他にも、表示装置１００は、出力装置２００により取得されたセンシング情報にさらに基づいて、観察画面における観察対象物の大きさを制御してもよい。例えば、表示装置１００は、出力装置２００により取得されたセンシング情報が所定のパターンを示す場合に、ズーム操作を認識してもよい。具体的には、表示装置１００は、出力装置２００の加速度センサ又はジャイロセンサによるセンシング情報に基づいて、指で輪が形成されているか否か、輪の角度、又は輪の移動等を認識する。また、表示装置１００は、出力装置２００の指先同士の接触を検出する接触センサにより取得されたセンシング情報に基づいて、指で輪が形成されているか否かを認識する。なお、グローブ型の出力装置２００に設けられるセンサ以外にも、腕輪、腕時計、指輪又は洋服等に設けられるセンサにより取得されたセンシング情報が加味されてもよい。
　　・ズームの中心位置の制御
　表示装置１００は、観察画面における観察対象物の大きさの制御、即ちズーム率の制御の中心位置を制御する。この、中心位置を、以下ではズームの中心位置とも称する。
　例えば、表示装置１００は、観察対象物の目、耳又は鼻などの特徴点に基づいて顔を認識し、認識した顔をズームの中心位置としてもよい。また、表示装置１００は、観察画面において観察対象物が複数表示されている場合、ユーザの視野の中心により近くに表示されている観察対象物を、ズームの中心位置としてもよい。
　また、表示装置１００は、基準方向に直交する方向における認識対象物の位置に基づいて観察画面における観察対象物の大きさの制御の中心位置を制御してもよい。例えば、表示装置１００は、観察画面の中心位置から見たズームの中心位置の座標を、Ｚ軸方向に直交するＸＹ平面における原点（即ち、Ｚ軸）から見た認識対象物の座標に対応させる。より簡易には、認識対象物が指で輪を形成したユーザの手である場合、表示装置１００は、ユーザの手の上下左右方向の動きに応じて、ズームの中心位置を上下左右に動かす。その後、表示装置１００は、ユーザの手の前方方向（即ち、Ｚ軸方向）への動きに応じて、当該中心位置を中心としてズームイン又はズームアウトする。
　表示装置１００は、上記中心位置を示す情報を表示してもよい。これにより、ユーザは、ズームイン操作を行う前に、例えば手を上下左右に動かしながらズームの中心位置を動かして、狙いを定めることができる。なお、ズームの中心位置を示す情報は、中心点を示す情報であってもよいし、中心位置から所定範囲を示す情報であってもよい。後者の情報を、以下ではフォーカス範囲とも称する。
　以下、図２４を参照して、ズーム操作時の観察画面の一例を説明する。
　図２４は、本実施形態に係るズーム操作時の観察画面の一例を示す図である。図２４の左図に示すように、ユーザは、腕を畳んだまま認識対象物７００を上下左右に動かす。図２６の右図に示すように、観察画面６３０においては、フォーカス範囲６３１が表示される。これにより、ユーザは、ズームイン前に、フォーカス範囲６３１に所望する観察対象物の部位が含まれるように、ズームの中心位置を上下左右に動かすことが可能である。そして、ユーザは、狙いを定めた後に腕を伸ばしてズームイン操作を行うことで、フォーカス範囲６３１に含まれる部位を拡大して観察画面に表示させることができる。
　・ズーム倍率の設定
　表示装置１００は、ズーム倍率の最大値又は最小値を設定してもよい。ズーム倍率の最大値は、例えば実空間において観察対象物に手を伸ばせば触れられる位置にユーザがいる場合に見えるであろう観察対象物の大きさと、同等の大きさで観察対象物を表示する倍率に設定され得る。また、ズーム倍率の最小値は、例えば実空間においてユーザが現在の位置から観察対象物を見た場合に見えるであろう観察対象物の大きさと、同等の大きさで観察対象物を表示する倍率に設定され得る。
　・ズームスピードの設定
　ズームスピードは、認識対象物の基準方向における速度又は加速度に応じて設定され得る。ズームスピードは、認識対象物の基準方向における移動可能距離を考慮して設定されてもよい。例えば、認識対象物が指で輪を形成したユーザの手である場合、ズームスピードは腕の長さを考慮して設定されてもよい。具体的には、腕の伸縮の速度又は加速度を腕の長さで割り算した値が、ズームスピードとして設定され得る。これにより、子供と大人とで腕の長さが異なり腕の伸縮のスピードが異なっていても、同等のズームスピードが実現される。腕の長さ情報が無い場合、身長情報で代替されてもよい。身長情報は、ユーザにより入力されてもよいし、画像認識により得られる外向きカメラ１１２の地上からの高さ情報であってもよい。
　（２）接触操作
　表示装置１００は、観察画面に表示される仮想空間においてユーザが観察対象物に触れる操作を、接触操作として認識する。
　例えば、表示装置１００は、仮想空間においてユーザが手のひらを観察対象物に向ける動作を、接触操作として認識する。とりわけ、ズーム操作における認識対象物が指で輪を形成したユーザの手である場合、表示装置１００は、ユーザが手を伸ばした状態で手のひらを観察対象物に向ける動作を、接触操作として認識してもよい。その場合、ユーザは、手を伸ばしてズームイン操作を行った後、シームレスに接触操作を行うことが可能である。
　以下、図２５を参照して接触操作の一例を説明し、図２６を参照して、接触操作時の観察画面の一例を説明する。
　図２５は、本実施形態に係る接触操作の一例を示す図である。図２５示すように、ユーザは、手を伸ばした状態で手のひらを開いている。ユーザは、実空間において観察対象物に近づいて実際に触れる場合と同様の動作で接触操作を行い、触覚情報の出力を出力装置２００から受けることが可能である。
　図２６は、本実施形態に係る観察画面の一例を示す図である。図２６に示すように、観察画面６４０では、観察対象物にズームインした画面が表示されており、接触操作が可能であることを示すアノテーション６４１Ａ及び６４１Ｂ、並びに現在のズーム率を示す情報６４２が表示されている。そして、表示装置１００は、観察画面６４０において、観察対象物への接触操作を行うユーザの手を示す画像６４４を観察対象物に重畳させて表示させている。これにより、ユーザ体験の臨場感をより向上させることが可能である。なお、観察対象物との距離感が近い場合に接触可能になるよう、接触操作は、所定の倍率以上で観察対象物が表示されたときに可能になってもよい。
　（３）キャンセル操作
　表示装置１００は、キャンセル操作を認識する。表示装置１００は、例えば、観察画面においてキャンセル操作を認識すると、ズーム率をデフォルト値に戻す、又は画面を選択画面若しくは初期画面に戻す。
　キャンセル操作は、多様に認識され得る。例えば、表示装置１００は、所定のジェスチャ、所定の音声コマンド、又は所定のボタンの押下等をキャンセル操作として認識する。以下、図２７を参照してキャンセル操作の一例を説明する。
　図２７は、本実施形態に係るキャンセル操作の一例を示す図である。図２７に示すように、表示装置１００は、ユーザが首を左右に振る動作を、キャンセル操作として認識してもよい。例えば、表示装置１００は、外向きカメラ１１２の撮像画像のフレーム間差分又は横方向のオプティカルフロー等を画像認識することで、ユーザが首を左右に振る動作を認識してもよい。また、表示装置１００は、加速度センサにより得られた加速度に基づいて、ユーザが首を左右に振る動作を認識してもよい。また、表示装置１００は、顔の横に接触する圧力センサにより得られた圧力の連続的なパターンを認識することで、ユーザが首を左右に振る動作を認識してもよい。なお、上記認識方法は、画像認識は暗所では精度が落ちる等、一長一短があるため、適宜組み合わせて用いられることが望ましい。
　＜４．５．ユーザ間の相互作用＞
　表示装置１００を装着したユーザが複数いる場合、表示装置１００は、ユーザ間の関係に基づく表示を行ってもよい。
　例えば、友人関係又は親子関係等の所定の関係にある複数のユーザが装着する複数の表示装置１００は、それぞれ別々の画面を表示する個別モード、又はそのうち一のユーザの画面を他のユーザへも表示するグループモードのいずれかで動作し得る。表示装置１００は、個別モードにおいては、装着したユーザの操作に応じた画面を表示する。これにより、各々のユーザは、自身が好む画面を自由に見ることができる。一方、表示装置１００は、グループモードにおいては、複数のユーザのうち一のユーザの操作に応じた画面を表示する。これにより、複数のユーザは、共通する画面を見て同じユーザ体験を享受することができる。個別モードとグループモードとは、ユーザ操作により適宜切り替えられてもよい。
　グループモードにおける一のユーザの選択は、任意のユーザ操作により行われてもよいし、予め設定されていてもよい。前者の場合、グループのユーザは、お互いが選択した視点を交換し合いながらユーザ体験を享受することができる。後者の場合、例えば親が上記一のユーザとして選択され、子供が他のユーザとして設定されてもよい。その場合、親は、子供に豊かなユーザ体験を提供することが可能である。他にも、動物園のガイドが上記一のユーザとして選択され、客が他のユーザとして予め設定されてもよい。
　＜＜５．ハードウェア構成例＞＞
　最後に、図２８を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２８は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２８に示す情報処理装置９００は、例えば、図３、図４又は図６にそれぞれ示した表示装置１００、出力装置２００又は観察装置３００を実現し得る。本実施形態に係る表示装置１００、出力装置２００又は観察装置３００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す制御部１５０、図４に示す制御部２５０又は図６に示す制御部３４０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、圧力センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図３に示すセンサ部１１０、図４に示すセンサ部２１０又は図６に示すセンサ部３１０を形成し得る。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図３に示す出力部１２０又は図４に示す出力部２２０を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３に示す記憶部１４０、図４に示す記憶部２４０又は図６に示す記憶部３３０を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図３に示す通信部１３０、図４に示す通信部２３０又は図６に示す通信部３２０を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜６．まとめ＞＞
　以上、図１～図２８を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る表示装置１００は、観察対象物の撮像画像を含む画面を表示させつつ、表示装置１００を装着したユーザの操作を認識する。とりわけ、表示装置１００は、ユーザが操作する認識対象物と基準位置との距離に基づいて、画面における観察対象物の大きさを制御する。ユーザは、認識対象物を操作して基準位置との距離を変えることで、画面内の観察対象物の大きさを容易に変えることが可能である。このようにして、仮想空間における対象物との距離感の円滑な制御が実現される。
　具体的には、表示装置１００は、認識対象物と基準位置との距離が大きいほど画面における観察対象物を大きくし、認識対象物と基準位置との距離が小さいほど画面における観察対象物を小さくしてもよい。このように、認識対象物と基準位置との距離と画面における観察対象物の大きさとが連動するので、ユーザは、直観的に仮想空間における対象物との距離感を制御することが可能である。
　また、認識対象物は、指で輪を形成したユーザの手であってもよい。これにより、ユーザは、簡易なハンドジェスチャにより、仮想空間における対象物との距離感を制御することが可能である。
　また、観察対象物の所定の部位への所定の操作が認識された場合、観察対象物を触れた場合に得られる触覚を模した触覚情報が出力装置２００により出力され得る。これにより、ユーザは、観察対象物から離れていても、あたかも近づいて触れたかのような臨場感のあるユーザ体験を享受ことが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、観察対象物を動物園における動物であるとしたが、本技術はかかる例に限定されない。例えば、観察対象物は、コンサート会場におけるアーティストであってもよいし、演劇舞台における俳優であってもよい。
　例えば、上記実施形態では、表示装置１００は、観察装置３００によりリアルタイムに撮像された撮像画像を含む画面を表示するものと説明したが、本技術はかかる例に限定されない。例えば、表示装置１００は、映画又はゲーム等のコンテンツを表示してもよく、ユーザは、上記説明したハンドジェスチャによりコンテンツの表示倍率を制御してもよい。
　なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図３に示した表示装置１００の機能構成例のうち、記憶部１４０及び制御部１５０が、センサ部１１０、出力部１２０とネットワーク等で接続されたサーバ等の情報処理装置に備えられていても良い。その場合、サーバは、観察装置３００から観察情報を受信し、出力装置２００及び表示装置からセンシング情報を受信し、受信した情報に基づいて観察画面等の画面を生成するための表示制御情報及び触覚情報を生成する。そして、サーバは、表示制御情報を表示装置に送信して出力部１２０により出力させ、触覚情報を出力装置２００に送信して出力させる。出力装置２００及び観察装置３００についても同様である。
　また、本明細書においてシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示装置を装着したユーザの操作を認識する認識部と、
　前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
を備える情報処理装置。
（２）
　前記出力制御部は、前記認識対象物と基準位置との距離が大きいほど前記画面における前記観察対象物を大きくし、認識対象物と基準位置との距離が小さいほど前記画面における前記観察対象物を小さくする、前記（１）に記載の情報処理装置。
（３）
　前記認識対象物と前記基準位置との距離は、前記基準位置と前記認識対象物との基準方向における距離であり、
　前記出力制御部は、前記基準方向に直交する方向における前記認識対象物の位置に基づいて前記画面における前記観察対象物の大きさの制御の中心位置を制御する、前記（１）又は（２）に記載の情報処理装置。
（４）
　前記出力制御部は、前記中心位置を示す情報を表示する、前記（３）に記載の情報処理装置。
（５）
　前記基準位置は、前記ユーザに装着された前記表示装置の位置である、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記認識対象物は、所定の形状となった前記ユーザの手である、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記認識対象物は、指で輪を形成した前記ユーザの手であり、
　前記出力制御部は、前記輪の姿勢にさらに基づいて、前記画面における前記観察対象物の大きさを制御する、前記（６）に記載の情報処理装置。
（８）
　前記出力制御部は、前記撮像画像の撮像倍率を制御することで、前記画面における前記観察対象物の大きさを制御する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記出力制御部は、前記観察対象物の所定の部位への所定の操作が認識された場合、前記観察対象物を触れた場合に得られる触覚を模した触覚情報を出力装置により出力させる、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記出力制御部は、前記観察対象物への前記所定の操作を行う前記ユーザの手を示す画像を前記観察対象物に重畳させて表示させる、前記（９）に記載の情報処理装置。
（１１）
　前記観察対象物は、動物であり、
　前記触覚情報は、前記観察対象物の心拍、体温又は体表面の感触の少なくともいずれかを含む、前記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、前記所定の操作が可能であることを示す情報を、前記所定の部位に関連付けて表示させる、前記（９）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記出力制御部は、前記画面における前記観察対象物の大きさに基づいて、前記所定の操作が可能であることを示す情報の詳細度を制御する、前記（１２）に記載の情報処理装置。
（１４）
　前記出力装置は、ユーザの手に装着され、振動生成装置、熱生成装置又は感触生成装置の少なくともいずれかを含む、前記（９）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記出力制御部は、前記表示装置に表示させる前記撮像画像の提供元となり得る複数の候補の撮像装置に対応する複数の表示オブジェクトを含む画面を表示させ、
　前記認識部は、表示された複数の前記表示オブジェクトのうちひとつの前記表示オブジェクトへの前記ユーザの所定の操作を、前記候補の撮像装置の選択操作として認識する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記出力制御部は、画面内の前記候補の撮像装置の設置位置に対応する位置に当該候補の撮像装置に対応する前記表示オブジェクトを表示させる、前記（１５）に記載の情報処理装置。
（１７）
　前記出力制御部は、候補の撮像装置により撮像された撮像画像を含む前記表示オブジェクトを、前記候補の撮像装置の撮像方向と鉛直方向との角度に対応する高さに並べて表示させる、前記（１５）に記載の情報処理装置。
（１８）
　前記表示装置は、ユーザの目を撮像する第１の画像センサ及び前記認識対象物を撮像する第２の画像センサを含む、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　表示装置を装着したユーザの操作を認識することと、
　前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御することと、
を含む、プロセッサにより実行される情報処理方法。
（２０）
　コンピュータを、
　表示装置を装着したユーザの操作を認識する認識部と、
　前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
として機能させるためのプログラムが記録された記録媒体。
　１　　　　システム
　１０　　　柵
　１００　　表示装置
　１１０　　センサ部
　１１１　　内向きカメラ
　１１２　　外向きカメラ
　１２０　　出力部
　１２１　　表示部
　１３０　　通信部
　１４０　　記憶部
　１５０　　制御部
　１５１　　認識部
　１５３　　出力制御部
　２００　　出力装置
　２１０　　センサ部
　２２０　　出力部
　２３０　　通信部
　２４０　　記憶部
　２５０　　制御部
　３００　　観察装置
　３１０　　センサ部
　３２０　　通信部
　３３０　　記憶部
　３４０　　制御部
　７００　　認識対象物

Claims (20)

  1. 　表示装置を装着したユーザの操作を認識する認識部と、
    　前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
    を備える情報処理装置。
  2. 　前記出力制御部は、前記認識対象物と基準位置との距離が大きいほど前記画面における前記観察対象物を大きくし、前記認識対象物と基準位置との距離が小さいほど前記画面における前記観察対象物を小さくする、請求項１に記載の情報処理装置。
  3. 　前記認識対象物と前記基準位置との距離は、前記基準位置と前記認識対象物との基準方向における距離であり、
    　前記出力制御部は、前記基準方向に直交する方向における前記認識対象物の位置に基づいて前記画面における前記観察対象物の大きさの制御の中心位置を制御する、請求項１に記載の情報処理装置。
  4. 　前記出力制御部は、前記中心位置を示す情報を表示する、請求項３に記載の情報処理装置。
  5. 　前記基準位置は、前記ユーザに装着された前記表示装置の位置である、請求項１に記載の情報処理装置。
  6. 　前記認識対象物は、所定の形状となった前記ユーザの手である、請求項１に記載の情報処理装置。
  7. 　前記認識対象物は、指で輪を形成した前記ユーザの手であり、
    　前記出力制御部は、前記輪の姿勢にさらに基づいて、前記画面における前記観察対象物の大きさを制御する、請求項６に記載の情報処理装置。
  8. 　前記出力制御部は、前記撮像画像の撮像倍率を制御することで、前記画面における前記観察対象物の大きさを制御する、請求項１に記載の情報処理装置。
  9. 　前記出力制御部は、前記観察対象物の所定の部位への所定の操作が認識された場合、前記観察対象物を触れた場合に得られる触覚を模した触覚情報を出力装置により出力させる、請求項１に記載の情報処理装置。
  10. 　前記出力制御部は、前記観察対象物への前記所定の操作を行う前記ユーザの手を示す画像を前記観察対象物に重畳させて表示させる、請求項９に記載の情報処理装置。
  11. 　前記観察対象物は、動物であり、
    　前記触覚情報は、前記観察対象物の心拍、体温又は体表面の感触の少なくともいずれかを含む、請求項９に記載の情報処理装置。
  12. 　前記出力制御部は、前記所定の操作が可能であることを示す情報を、前記所定の部位に関連付けて表示させる、請求項９に記載の情報処理装置。
  13. 　前記出力制御部は、前記画面における前記観察対象物の大きさに基づいて、前記所定の操作が可能であることを示す情報の詳細度を制御する、請求項１２に記載の情報処理装置。
  14. 　前記出力装置は、前記ユーザの手に装着され、振動生成装置、熱生成装置又は感触生成装置の少なくともいずれかを含む、請求項９に記載の情報処理装置。
  15. 　前記出力制御部は、前記表示装置に表示させる前記撮像画像の提供元となり得る複数の候補の撮像装置に対応する複数の表示オブジェクトを含む画面を表示させ、
    　前記認識部は、表示された複数の前記表示オブジェクトのうちひとつの前記表示オブジェクトへの前記ユーザの所定の操作を、前記候補の撮像装置の選択操作として認識する、請求項１に記載の情報処理装置。
  16. 　前記出力制御部は、画面内の前記候補の撮像装置の設置位置に対応する位置に当該候補の撮像装置に対応する前記表示オブジェクトを表示させる、請求項１５に記載の情報処理装置。
  17. 　前記出力制御部は、前記候補の撮像装置により撮像された撮像画像を含む前記表示オブジェクトを、前記候補の撮像装置の撮像方向と鉛直方向との角度に対応する高さに並べて表示させる、請求項１５に記載の情報処理装置。
  18. 　前記表示装置は、前記ユーザの目を撮像する第１の画像センサ及び前記認識対象物を撮像する第２の画像センサを含む、請求項１に記載の情報処理装置。
  19. 　表示装置を装着したユーザの操作を認識することと、
    　前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御することと、
    を含む、プロセッサにより実行される情報処理方法。
  20. 　コンピュータを、
    　表示装置を装着したユーザの操作を認識する認識部と、
    　前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
    として機能させるためのプログラムが記録された記録媒体。
PCT/JP2018/002198 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体 WO2018150831A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/474,407 US11170580B2 (en) 2017-02-16 2018-01-25 Information processing device, information processing method, and recording medium
JP2018568067A JP7095602B2 (ja) 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体
CN201880011754.3A CN110506249B (zh) 2017-02-16 2018-01-25 信息处理设备、信息处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017027238 2017-02-16
JP2017-027238 2017-02-16

Publications (1)

Publication Number Publication Date
WO2018150831A1 true WO2018150831A1 (ja) 2018-08-23

Family

ID=62982701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002198 WO2018150831A1 (ja) 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体

Country Status (5)

Country Link
US (1) US11170580B2 (ja)
JP (1) JP7095602B2 (ja)
CN (1) CN110506249B (ja)
DE (1) DE102018103572A1 (ja)
WO (1) WO2018150831A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110124305A (zh) * 2019-05-15 2019-08-16 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
JP2019184689A (ja) * 2018-04-04 2019-10-24 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JPWO2023276116A1 (ja) * 2021-07-01 2023-01-05
WO2023026137A1 (ja) * 2021-08-26 2023-03-02 株式会社半導体エネルギー研究所 表示装置、及び電子機器
WO2023223933A1 (ja) * 2022-05-18 2023-11-23 ソニーグループ株式会社 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム
WO2024070085A1 (ja) * 2022-09-27 2024-04-04 株式会社Ｊｖｃケンウッド 仮想空間インターフェース装置、クライアント端末、プログラムおよび仮想空間インターフェース制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
USD902221S1 (en) * 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
JP7377615B2 (ja) * 2019-03-27 2023-11-10 株式会社Subaru 車両の非接触操作装置、および車両
US11042746B2 (en) * 2019-06-05 2021-06-22 International Business Machines Corporation Presenting information on object to be observed
US11321927B1 (en) * 2019-09-23 2022-05-03 Apple Inc. Temporal segmentation
EP4172743B1 (de) 2021-02-25 2024-03-27 Dayholi GmbH Verfahren und system zur darstellung einer virtuellen realität
DE202022002753U1 (de) 2021-02-25 2023-03-29 DAYHOLI GmbH System zur Darstellung einer virtuellen Realität
US20230221566A1 (en) * 2022-01-08 2023-07-13 Sony Interactive Entertainment Inc. Vr headset with integrated thermal/motion sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308141A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp 力覚提示装置
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
US20150347080A1 (en) * 2014-05-30 2015-12-03 Samsung Electronics Co., Ltd. Data processing method and electronic device thereof
WO2016029183A1 (en) * 2014-08-22 2016-02-25 Sony Computer Entertainment Inc. Glove interface object
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188869A (ja) * 1997-09-04 1999-03-30 Canon Inc 映像通信システム及び情報表示装置
WO2014119097A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US9411160B2 (en) * 2013-02-12 2016-08-09 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
JP6304242B2 (ja) 2013-04-04 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2014178228A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 クライアント端末、表示制御方法、プログラム、およびシステム
JP6217244B2 (ja) * 2013-08-29 2017-10-25 セイコーエプソン株式会社 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
JP6525617B2 (ja) * 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技（天津）有限公司 在虚拟现实***中获得沉浸感的方法、***及智能手套
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308141A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp 力覚提示装置
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
US20150347080A1 (en) * 2014-05-30 2015-12-03 Samsung Electronics Co., Ltd. Data processing method and electronic device thereof
WO2016029183A1 (en) * 2014-08-22 2016-02-25 Sony Computer Entertainment Inc. Glove interface object
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184689A (ja) * 2018-04-04 2019-10-24 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7210153B2 (ja) 2018-04-04 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN110124305A (zh) * 2019-05-15 2019-08-16 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
JPWO2023276116A1 (ja) * 2021-07-01 2023-01-05
WO2023276116A1 (ja) * 2021-07-01 2023-01-05 三菱電機ビルソリューションズ株式会社 遠隔支援装置および遠隔支援方法
JP7317271B2 (ja) 2021-07-01 2023-07-28 三菱電機ビルソリューションズ株式会社 遠隔支援装置および遠隔支援方法
WO2023026137A1 (ja) * 2021-08-26 2023-03-02 株式会社半導体エネルギー研究所 表示装置、及び電子機器
WO2023223933A1 (ja) * 2022-05-18 2023-11-23 ソニーグループ株式会社 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム
WO2024070085A1 (ja) * 2022-09-27 2024-04-04 株式会社Ｊｖｃケンウッド 仮想空間インターフェース装置、クライアント端末、プログラムおよび仮想空間インターフェース制御方法

Also Published As

Publication number Publication date
DE102018103572A1 (de) 2018-08-16
US11170580B2 (en) 2021-11-09
US20200258314A1 (en) 2020-08-13
CN110506249B (zh) 2022-07-19
JP7095602B2 (ja) 2022-07-05
JPWO2018150831A1 (ja) 2019-12-12
CN110506249A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US11747618B2 (en) Systems and methods for sign language recognition
US11340694B2 (en) Visual aura around field of view
KR102316327B1 (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
KR102184272B1 (ko) 글래스 타입 단말기 및 이의 제어방법
US11481025B2 (en) Display control apparatus, display apparatus, and display control method
JP2017220032A (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
US20220262080A1 (en) Interfaces for presenting avatars in three-dimensional environments
JPWO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113498531A (zh) 头戴式信息处理装置以及头戴式显示***
KR20180094875A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2021061310A1 (en) Displaying representations of environments
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
WO2024064350A1 (en) User interfaces for capturing stereoscopic media
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754891

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018568067

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18754891

Country of ref document: EP

Kind code of ref document: A1