WO2017169272A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2017169272A1
WO2017169272A1 PCT/JP2017/006009 JP2017006009W WO2017169272A1 WO 2017169272 A1 WO2017169272 A1 WO 2017169272A1 JP 2017006009 W JP2017006009 W JP 2017006009W WO 2017169272 A1 WO2017169272 A1 WO 2017169272A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
display
information
information processing
processing apparatus
Prior art date
Application number
PCT/JP2017/006009
Other languages
English (en)
French (fr)
Inventor
遼 深澤
邦在 鳥居
貴広 岡山
近藤 一臣
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/086,785 priority Critical patent/US10650601B2/en
Priority to EP17773820.0A priority patent/EP3438939A4/en
Publication of WO2017169272A1 publication Critical patent/WO2017169272A1/ja
Priority to US16/849,117 priority patent/US11004273B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2024Style variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 An object based on a real space image is displayed by being superimposed on a real space image on a non-transmissive display, or is superimposed on a real space background on a transmissive (see-through) display.
  • a technique for displaying is disclosed.
  • the display size of the display object (displayed object) corresponding to the content depends on the positional relationship between the position of the content and the position of the viewpoint for generating the rendered image of the content. May change. However, depending on the positional relationship, a large part of the user's field of view may be occupied by the display object. As a result, the user may not be able to see the background sufficiently.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of suppressing the occurrence of a situation in which it is difficult for the user to visually recognize the background.
  • the position of the content defined in the virtual space and the position of the viewpoint defined in the virtual space for generating a rendered image of the content are in the first positional relationship.
  • a first virtual object corresponding to the content is displayed in the rendered image, and the position of the content and the position of the viewpoint are determined to be in a second positional relationship.
  • a display control unit that performs display control so that a second virtual object corresponding to the content is included and displayed in the rendered image, and the position of the content and the viewpoint in the first positional relationship The distance between the position of the content and the position of the viewpoint in the second positional relationship is shorter than the distance between the first virtual Than the visibility of objects, the low visibility of the second virtual object, the information processing apparatus is provided.
  • the information processing apparatus performs display control so that the corresponding second virtual object is included and displayed in the rendered image, and the position of the content and the position of the viewpoint in the first positional relationship
  • the distance between the content position and the viewpoint position in the second positional relationship is shorter than the distance between the first virtual object and the first virtual object.
  • the first positional relationship between the position of the content defined in the virtual space and the position of the viewpoint defined in the virtual space for generating a rendering image of the content is provided to the computer system.
  • the first virtual object corresponding to the content is included and displayed in the rendered image, and the position of the content and the position of the viewpoint are in a second positional relationship.
  • the second virtual object corresponding to the content is displayed and included in the rendered image, and the distance between the position of the content and the position of the viewpoint in the first positional relationship.
  • the distance between the position of the content and the position of the viewpoint in the second positional relationship is shorter than the first virtual object.
  • FIG. 4 is an explanatory diagram for describing a specific example of a display object based on a display size by a display control unit according to the embodiment.
  • FIG. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment. It is explanatory drawing for demonstrating the example of the content which concerns on the embodiment.
  • FIG. 5 is a flowchart for explaining an operation example of the information processing apparatus according to the embodiment. It is explanatory drawing which shows typically the outline
  • FIG. 5 is a flowchart for explaining an operation example of the information processing apparatus according to the embodiment.
  • FIG. 10 is a flowchart for explaining another operation example of the information processing apparatus according to the embodiment. It is explanatory drawing which shows an example of the hardware constitutions of the information processing apparatus which concerns on this indication.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • First embodiment >> ⁇ 1-1. Overview of First Embodiment> ⁇ 1-2. Configuration of First Embodiment> ⁇ 1-3. Operation of First Embodiment> ⁇ 1-4. Effect of First Embodiment> ⁇ 2. Second embodiment >> ⁇ 2-1. Outline of Second Embodiment> ⁇ 2-2. Configuration of Second Embodiment> ⁇ 2-3. Operation of Second Embodiment> ⁇ 2-4. Effect of Second Embodiment> ⁇ 3. Hardware configuration example >> ⁇ 4. Conclusion >>
  • FIG. 1 is an explanatory diagram illustrating an appearance of the information processing apparatus according to the first embodiment of the present disclosure.
  • the information processing apparatus 1 is a glasses-type display device including an imaging unit 110 and display units 180A and 180B.
  • the information processing apparatus 1 displays a display object (3D model rendering result, etc.) corresponding to content (text data, 3D model, effect, etc.) based on a captured image obtained by the imaging unit 110 imaging a real space.
  • the content according to the present embodiment may be, for example, information (explanation text data, navigation icons, warning effects, etc. for an object in the real space) that is desired to be presented to the user in correspondence with the real space, or moves dynamically. It may be a 3D model such as a game character or a fixed building. An example of content according to the present embodiment will be described later.
  • the display objects displayed on the display units 180A and 180B may be virtual objects (also referred to as virtual objects).
  • the display units 180A and 180B are transmissive display units (see-through displays), and even when the user wears the information processing apparatus 1, the user can view the real space together with the images displayed on the display units 180A and 180B. Is possible.
  • the display object is a 3D model having a depth or the like
  • the display unit 180A and the display unit 180B cause the user to perceive binocular parallax by displaying images for the right eye and the left eye, respectively.
  • the transmissive display unit refers to display on a display (display unit) and ambient light (or video) in real space (background) incident from a surface opposite to the light emission surface of the display. And means a display that the user can view simultaneously.
  • the visibility of the real space that is the background may be lowered for the user.
  • a display object has a complex texture and is a highly visible object such as a polygon-rendered 3D model
  • a real space overlapping the area (display area) where the display object is displayed is displayed. It is difficult for the user to visually recognize. Therefore, when the display size of the display object is large and the display area of the display object occupies most of the display units 180A and 180B, it is difficult for the user to sufficiently view the real space.
  • the present embodiment has been created with the above circumstances in mind. According to the present embodiment, when the display size of the content is large, display control is performed so that a display object with low visibility is displayed, thereby suppressing the occurrence of a situation where it is difficult for the user to visually recognize the background. Is possible.
  • the configuration of the present embodiment having such effects will be described in detail.
  • FIG. 2 is an explanatory diagram illustrating a configuration example of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes an imaging unit 110, an image recognition unit 120, a display control unit 130, a sensor unit 140, a threshold setting unit 150, a determination unit 160, a storage unit 170, and a display unit 180.
  • the imaging unit 110 is a camera module that acquires an image.
  • the imaging unit 110 acquires a captured image by imaging a real space using an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the imaging unit 110 in the present embodiment may have an angle of view equivalent to the field of view of the user wearing the information processing apparatus 1, and the range captured by the imaging unit 110 is regarded as the field of view of the user. Also good.
  • the captured image acquired by the imaging unit 110 is provided to the image recognition unit 120.
  • the imaging unit 110 may be a stereo camera that has two imaging elements and acquires two images simultaneously.
  • the two image sensors are arranged horizontally, and the image recognition unit 120 (to be described later) analyzes a plurality of images acquired by the stereo matching method or the like, thereby obtaining the three-dimensional shape information (depth information) of the real space. It can be acquired.
  • the image recognition unit 120 analyzes the captured image acquired by the imaging unit 110 and recognizes a three-dimensional shape in real space, an object (real object), a marker, or the like that exists in the real space. For example, the image recognition unit 120 performs a stereo matching method on a plurality of images acquired at the same time, an SfM (Structure from Motion) method on a plurality of images acquired in time series, etc. It may be recognized and three-dimensional shape information may be acquired. Further, the image recognition unit 120 recognizes an object or marker existing in real space by matching feature point information prepared in advance with feature point information detected from the captured image, and the object or marker. Such information may be acquired.
  • the marker recognized by the image recognition unit 120 is a specific pattern of texture information or a set of image feature point information expressed by, for example, a two-dimensional code.
  • the image recognition unit 120 also obtains user information (information about the user, such as user behavior), environment information (information indicating the environment in which the user is located), and the like based on the information obtained by the object recognition. You may get it. For example, when a large number of objects that frequently exist in the user's field of view in dangerous work are detected by object recognition, the image recognition unit 120 may acquire user information that the user is performing dangerous work. . In addition, when an object that is dangerous to the user, such as an automobile (oncoming vehicle) or a pitfall, is detected by object recognition, environmental information that the user is placed in a dangerous place or situation is acquired. May be. Details of the user information and environment information will be described later.
  • the above information acquired by the image recognition unit 120 is provided to the display control unit 130 and the determination unit 160.
  • the display control unit 130 causes the transmissive display unit 180 to display a display object based on the real space three-dimensional information, object information, environment information, and the like provided from the image recognition unit 120.
  • the display control unit 130 specifies the content corresponding to the object based on the object information (information such as the type and position of the object) detected from the captured image, and the display object corresponding to the content May be specified.
  • the display control unit 130 specifies text data for explaining the object as content corresponding to the object, and specifies a result of rendering the text data using a predetermined font as a display object corresponding to the content. May be.
  • the content and display object information may be stored in the storage unit 170, and the display control unit 130 may directly acquire (specify) the content and display object to be specified from the storage unit 170. Further, the display control unit 130 generates (for example, renders) the display object so as to have the characteristics relating to the visibility described later based on the content and display object information stored in the storage unit 170, thereby specifying the display object. May be performed.
  • the display control unit 130 specifies the position of content defined in the virtual space (virtual three-dimensional space) used for calculation when the display control unit 130 performs rendering, and the display position of the content on the display unit 180. To do.
  • the position of the content may be specified in the virtual space based on the position of the object (real object) in the real space corresponding to the content, for example.
  • the position of the real object may be obtained based on the recognition result of the real object by the image recognition unit 120, for example.
  • the position of the content may be dynamically set (specified) in the virtual space by the application.
  • the display control unit 130 defines (specifies) the position of the viewpoint for generating the content rendering image in the virtual space.
  • the position of the viewpoint may be specified in the virtual space based on the position of the user in the real space, may be set by a user operation, or may be dynamically set by an application.
  • the display control unit 130 arranges a virtual camera at the position of the viewpoint and performs content rendering.
  • the display control unit 130 generates (renders) a rendering image that should be displayed by a virtual camera arranged at the viewpoint position based on arithmetic processing such as the shape of the content, the position of the content, and the degree of light hitting. )
  • the line-of-sight direction used for rendering the rendered image may be specified according to the detection result of the position or orientation of the display unit 180 that displays the rendered image.
  • the position or orientation of the display unit 180 may be detected by the sensor unit 140 described later.
  • the position of the content may be expressed as a coordinate value in a coordinate system set in the virtual space.
  • the position of the viewpoint may be set as a coordinate value in the coordinate system in which the position of the content is similarly expressed.
  • the display position of the content may be specified based on the position of the content and the position of the viewpoint. For example, as described above, the display control unit 130 generates a rendering image that should be displayed on a virtual camera arranged at the viewpoint position based on the position of the content, etc.
  • the display position of the content may be specified.
  • the display control unit 130 specifies the display size of the content, and the display object corresponding to the content is displayed on the display unit 180 with the display size.
  • the content size (content size) may be set in advance, and the display size may be specified based on the content size.
  • the display size may be further specified based on the position of the content and the position of the viewpoint.
  • the display size is the position of the real object and the position of the user.
  • a display size may be specified. According to such a configuration, the user can perceive the display object corresponding to the content in association with the real object existing in the real space, and can feel the display object more realistically.
  • the display object corresponding to the content may be specified based on the display size of the content.
  • the display control unit 130 may specify one display object as a display object to be displayed based on the display size of the content among a plurality of display objects corresponding to the content.
  • the display control unit 130 may specify the display object so that the visibility of the display object varies depending on the display size. For example, the visibility of the second display object displayed at the second display size larger than the first display size is lower than the visibility of the first display object displayed at the first display size. As described above, the display object may be specified.
  • the visibility of the first display object described above and the second display object may be different due to, for example, at least one of rendering method, color, texture, transparency, and pattern being different.
  • the display object rendering method is polygon rendering
  • the visibility of the display object is high
  • the display object rendering method is wire frame rendering
  • the visibility of the display object is low.
  • the color of the display object is a color (a color other than white and black is also used)
  • the display object is highly visible and is monochrome (represented only by white and black). If so, the visibility of the display object is low.
  • the visibility of the display object is high if the texture of the display object is present, and the visibility of the display object is low if the texture of the display object is not present.
  • the transparency of a display object is low (for example, if it is non-transparent), the visibility of the display object is high, and if the transparency of the display object is high (for example, if it is semi-transparent), the visibility of the display object is Low. Further, if there is a display object pattern, the visibility of the display object is high, and if there is no display object pattern, the visibility of the display object is low.
  • a display object with low visibility may be generated by reducing the color of the display object according to the color of the background overlapping the display object.
  • a display object with low visibility may be generated by blurring the display object by adjusting the depth of field in the display or the like.
  • a display object with low visibility may be generated by reducing the brightness, color tone, vividness, and the like of the display object.
  • a display object having a higher visibility feature is called a normal object
  • a display object having a lower visibility feature is called a special object.
  • the display control unit 130 acquires a normal object from the storage unit 170, and performs processing so that the normal object has the above-described low-visibility characteristics (performs processing for reducing visibility).
  • a special object may be generated (acquired).
  • the visibility of the display object is high, it is difficult for the user to visually recognize the background that overlaps the display object (the area that overlaps the display object in the background of the real space or the like).
  • the visibility of the display object is low, the user can easily visually recognize the background overlapping the display object, instead of being difficult to visually recognize the display object. Therefore, according to the above-described configuration, for example, when a display object with a small display size and high visibility is displayed, it is difficult for the user to disturb the display object.
  • the display size is large and the majority of the user's field of view is occupied by the display object, a display object with low visibility is displayed, and the user can easily see the background overlapping the display object.
  • FIG. 3 is an explanatory diagram for explaining a specific example of the display object based on the display size by the display control unit 130.
  • D12 and D14 shown in FIG. 3 indicate the field of view of the user wearing the information processing apparatus 1.
  • the display object M1 specified based on the display size in the state of the view D12 is displayed on the display unit 180 and superimposed on the real space background.
  • the display object M1 is a polygon-rendered object, and an area that overlaps the display object M1 in the real space background is difficult for the user to visually recognize.
  • the display object M2 specified based on a display size larger than the display size in the state of the field of view D12 is displayed on the display unit 180 and superimposed on the real space background.
  • the display object M2 is larger than the display object M1 and occupies most of the user's field of view D14.
  • the display object M2 is a wire frame rendered object, and the user can sufficiently view the real space background even in an area overlapping the display object M2.
  • the display control unit 130 may specify the display object as described above based on the determination by the determination unit 160 described later. That is, the display control unit 130 according to the present embodiment may specify one of the first display object and the second display object as a display object to be displayed based on a determination by the determination unit 160 described later. . For example, when the determination unit 160 described later determines that an object with low visibility should be displayed, the display control unit 130 displays a special object (an object with low visibility) as a display object corresponding to the content. It is specified and displayed on the display unit 180.
  • the display control unit 130 may specify the display object corresponding to the content based on the comparison result between the predetermined threshold and the display size performed by the determination unit 160. That is, the display control unit 130 according to the present embodiment specifies one of the first display object and the second display object as a display object to be displayed by comparing the predetermined threshold value and the display size performed by the determination unit 160. May be. For example, when the display size is larger than the threshold value, a special object is specified as a display object corresponding to the content. When the display size is equal to or smaller than the threshold value, a normal object is specified as the display object corresponding to the content. May be.
  • the sensor unit 140 illustrated in FIG. 2 performs sensing regarding the user and the environment in which the user is placed, and acquires sensor information.
  • the sensor unit 140 includes a microphone, a GPS (Global Positioning System) sensor, an acceleration sensor, a visual (line of sight, gaze point, focus, blink, etc.) sensor, a biological information (heart rate, body temperature, blood pressure, brain wave, etc.) sensor, gyro Various sensors such as a sensor and an illuminance sensor may be included.
  • the sensor unit 140 provides the acquired information to the threshold setting unit 150 and the determination unit 160.
  • the threshold setting unit 150 sets a predetermined threshold for determination by the determination unit 160 described later. For example, the predetermined threshold set by the threshold setting unit 150 is compared with the display size by the determination unit 160 described later. In addition, as described above, based on the comparison result, the display control unit 130 specifies a display object corresponding to the content. Therefore, the display object corresponding to the content is specified by comparing the predetermined threshold with the display size.
  • the predetermined threshold is set based on at least one of user information about the user, content information about the content, environment information indicating the environment where the user is placed, and device information about the device that displays the display object, for example. May be.
  • the user information may include, for example, behavior information indicating the user's behavior, motion information indicating the user's movement, biological information, gaze information, and the like.
  • the behavior information is information indicating a user's current behavior, for example, at rest, walking, running, driving a car, and climbing stairs, and is recognized and acquired from sensor information such as acceleration acquired by the sensor unit 140. May be.
  • the movement information is information such as a moving speed, a moving direction, a moving acceleration, an approach to the position of the content, a position of the user's viewpoint, etc. From the acceleration acquired by the sensor unit 140, sensor information such as GPS data, etc. It may be recognized and acquired.
  • the biological information is information such as a user's heartbeat, body temperature sweating, blood pressure, pulse, breathing, blink, eye movement, brain wave, and the like, and may be acquired by the sensor unit 140.
  • the gaze information is information related to the user's gaze such as a line of sight, a gaze point, a focal point, and binocular convergence, and may be acquired by the sensor unit 140.
  • the content information may include information such as content position, content display position, color, animation characteristics, content attributes, content resolution, content size, and the like.
  • the display position may be a position on the display unit 180 where a display object corresponding to the content is to be displayed.
  • the color information may be color information of a normal object corresponding to the content.
  • the information on the animation characteristics may be information such as the moving speed, moving direction, trajectory, and update frequency (movement frequency) of the content.
  • the content attribute information may be information such as content type (text data, image, game character, effect, etc.), importance, priority, and the like.
  • the content resolution information may be resolution information of the content.
  • the content size information may be information on the size of the content itself set for each content (independent of the position of the content, the position of the viewpoint, etc.).
  • the content information described above may be stored in the storage unit 170 and provided to the threshold setting unit 150 via the display control unit 130, or may be calculated by the display control unit 130 and provided to the threshold setting unit 150. May be.
  • the environment information may include information such as background, surrounding situation, location, illuminance, altitude, temperature, wind direction, air volume, time, and the like.
  • the background information is, for example, information such as a color (background color) existing in the background such as a real space, the type and importance of the information existing in the background, and may be acquired by the imaging unit 110, or Recognition and acquisition may be performed by the image recognition unit 120.
  • the information on the surrounding situation may be information on whether or not a person other than the user or a vehicle exists in the vicinity, information on the degree of congestion, and the like is recognized and acquired by the image recognition unit 120. Also good.
  • the location information may be information indicating the characteristics of the location where the user is located, for example, indoor, outdoor, underwater, dangerous location, etc., or the user of the location such as home, company, familiar location, first-time location, etc. It may be information indicating the meaning for the person.
  • the location information may be acquired by the sensor unit 140, or may be recognized and acquired by the image recognition unit 120. Further, information on illuminance, altitude, temperature, wind direction, air volume, and time (for example, GPS time) may be acquired by the sensor unit 140.
  • the device information is information related to a device (the information processing apparatus 1 in the present embodiment) that displays the first display object and the second display object.
  • the display size, display resolution, battery, 3D Information such as a display function and a device position may be included.
  • the display size is the size of the display unit 180 (display) in real space, and the display resolution is the resolution that the display unit 180 has.
  • the battery information is information indicating the battery state (charging, battery in use) of the information processing apparatus 1, the remaining battery level, the battery capacity, and the like.
  • the information on the 3D display function is information indicating the presence or absence of the 3D display function of the information processing apparatus 1 and the appropriate amount of parallax in 3D display (the amount of parallax that the user can comfortably stereoscopically view), the type of 3D display method, and the like. is there.
  • the device position is information indicating, for example, a mounting position or an installation position of the information processing apparatus 1.
  • threshold setting by the threshold setting unit 150 based on the user information, content information, environment information, and device information described above will be described.
  • the threshold value setting unit 150 decreases the distance between the gaze point position included in the user information and the content display position. You may set a threshold value so that a threshold value may become small. For example, if the coordinates of the gazing point are (P 1 x, P 1 y) and the coordinates of the display position are (P 2 x, P 2 y), the threshold value S th depends on the minimum value S min of the threshold value and the distance. Using the coefficient a for changing the threshold, the following equation is obtained.
  • the threshold setting unit 150 when accurate position information of the gazing point cannot be obtained (for example, a sensor that can acquire the gazing point cannot be used), the position of the screen center as the position of the gazing point. May be used.
  • the threshold setting unit 150 sets the threshold so that the threshold decreases as the user moves faster. It may be set. For example, a predetermined threshold value may be set according to behavior information related to movement such as stationary, walking, running, and the like included in the user information. Further, when the magnitude of the moving speed included in the user information is v, the threshold S th is expressed by the following equation using a coefficient a ′ that changes the threshold according to the speed (the magnitude of the moving speed). Desired.
  • the threshold setting unit 150 sets the threshold so that the threshold is reduced as the update frequency included in the content information is more frequent. May be.
  • the threshold setting unit 150 is configured so that the moving speed of the content included in the content information is smaller. You may set a threshold value so that a threshold value may become small.
  • the threshold setting unit 150 adds background information included in the environment information because a highly visible display object easily disturbs the user when the important information overlaps with the important information.
  • a threshold may be set based on this. For example, the threshold setting unit 150 may set the threshold such that the threshold becomes smaller as the importance of the information included in the background is higher. In addition, the threshold setting unit 150 may set the threshold so that the threshold becomes smaller as the area of highly important information included in the background increases.
  • a threshold value may be set based on the information.
  • the threshold setting unit 150 may set the threshold such that the threshold decreases as the illuminance decreases (the user's surroundings are dark).
  • the threshold setting unit 150 may change the threshold based on a change in the distance between the user's viewpoint position and the content position. For example, the threshold setting unit 150 increases the threshold when the viewpoint position moves and the viewpoint position approaches the content position (the viewpoint position moves toward the content position).
  • the threshold value may be set so that the threshold value is decreased when the position moves and the position of the viewpoint approaches the position of the content (the position of the content moves toward the position of the viewpoint).
  • the threshold setting unit 150 sets the threshold so that the threshold is increased based on the information such as the color of the content included in the content information when the normal object corresponding to the content is not highly visible. Also good. For example, when the content color includes only white and black, the visibility of the normal object corresponding to the content is not high and does not disturb the user, so a large threshold value may be set.
  • threshold setting by the threshold setting unit 150 has been described above, but the threshold setting method by the threshold setting unit 150 is not limited to the above example.
  • the threshold setting unit 150 is not limited to the method described above, and for example, the threshold may be set so that the threshold is small when the content tends to be an obstacle to the user. According to such a configuration, in a situation where the content is likely to be in the way of the user, a display object (special object) that has low visibility and does not easily disturb the user is likely to be displayed.
  • the determination unit 160 compares the predetermined threshold set by the threshold setting unit 150 with the display size of the content, and provides the comparison result to the display control unit 130.
  • the display size used by the determination unit 160 for the comparison may be, for example, an area, a height or a width, or a ratio of a region occupied by a display object corresponding to the content in the display unit 180. It may be a value calculated by a combination of
  • the determination unit 160 should display (specify) a display object with low visibility based on the above-described user information, content information, environment information, device information, and the like (forcibly switch display regardless of display size). Or not).
  • the determination hereinafter, sometimes referred to as forced switching determination
  • the determining unit 160 determines that a display object with low visibility should be displayed when the image recognizing unit 120 recognizes that the user is performing a dangerous task or a highly urgent task. May be.
  • the determination unit 160 may determine that a display object with low visibility should be displayed when the image recognition unit 120 recognizes that the user is placed in a dangerous place or situation.
  • the determination unit 160 may perform forced switching determination based on background information included in the environment information. For example, the determination unit 160 may determine that a display object with low visibility should be displayed when the importance of the information included in the background is greater than or equal to a predetermined value.
  • the determination unit 160 displays a display object with low visibility when a plurality of display objects are displayed and a parallax generated in the display unit 180 due to a depth difference between the objects is equal to or greater than a predetermined value (for example, an appropriate amount of parallax). May be determined to be displayed.
  • a predetermined value for example, an appropriate amount of parallax
  • the determination unit 160 may determine that a display object with low visibility should be displayed when there is a contradiction in the depth relationship between the real object in the real space and the content. For example, if the content is located at a deeper position than the real object in the real space, the display object corresponding to the content should be hidden by the real object, but the display unit 180 is not included in the content because of its mechanism. The corresponding display object is displayed in front of the real object. Therefore, when the content exists at a position deeper than the real object in the real space, the determination unit 160 may determine that a display object with low visibility should be displayed.
  • the determination unit 160 may determine that a display object with low visibility should be displayed based on gaze information (information regarding a gaze point, focus, congestion, etc.) included in the user information. For example, the determination unit 160 determines whether the user is gazing at the display object or the background of the real space using the gaze information, and is visually recognized when the user is gazing at the background. It may be determined that a display object with low characteristics should be displayed. Note that it is possible to determine which of the display object displayed on the display unit 180 and the background of the real space the user is gazing using, for example, information on the user's focal length and convergence distance. is there.
  • gaze information information regarding a gaze point, focus, congestion, etc.
  • the determination unit 160 may determine that a display object with low visibility should be displayed based on the biological information included in the user information. For example, the determination unit 160 may determine that a display object with low visibility should be displayed when it is determined that the user is nervous or impatient using the biological information. . According to this configuration, it is possible to perform display control corresponding to the user's situation.
  • the example of forced switching determination by the determination unit 160 has been described above, but the method of forced switching determination by the determination unit 160 is not limited to the above example.
  • the determination unit 160 determines that a display object with low visibility (a display object that does not easily disturb the user) should be displayed when the content is easily disturbed by the user, not limited to the above method. Also good.
  • the storage unit 170 stores content information (content information) and display object information.
  • the storage unit 170 may store a display object with high visibility (normal object) and a display object with low visibility (special object) as display objects corresponding to one content, and provide the display control unit with the display object.
  • the storage unit 170 stores only a normal object as a display object corresponding to one content, and the display control unit 130 performs a specific process on the normal object provided from the storage unit 170 to thereby display a special object. You may acquire (generate).
  • the content related to the content information stored in the storage unit 170 may include, for example, text data, images, 3D models, effects, markings, silhouettes, and the like.
  • contents and display objects corresponding to the contents will be described with reference to FIGS. 4 to 8 are explanatory diagrams for explaining examples of content according to the present embodiment.
  • the display objects illustrated in FIGS. 4 to 8 referred to below are all examples of normal objects (objects with high visibility).
  • the storage unit 170 may store special objects (objects with lower visibility) corresponding to each content in addition to the normal objects illustrated in FIGS.
  • the content according to the present embodiment may be an effect or the like having an effect of enhancing or directing the movement of a real object or another display object (hereinafter sometimes referred to as an object collectively).
  • the display object N1 illustrated in FIG. 4A is a display object corresponding to content called a trail effect indicating the trajectory of the object B1.
  • a display object N2 illustrated in FIG. 4A is a display object corresponding to content called an effect that emphasizes the falling point of the object B1.
  • a display object N3 shown in FIG. 4B is a display object corresponding to content called an effect indicating an effect in which the object B3 is moving at high speed.
  • the content according to the present embodiment may be a marking associated with an object in real space or virtual space.
  • the content according to the present embodiment may be a marking for performing a warning regarding the object or emphasizing the position or attribute of the object when a specific object is detected.
  • the display object N4 illustrated in FIG. 5 is a display object corresponding to content called marking that warns that the object B4 in the user's field of view is dangerous or is moving at high speed.
  • the display objects N5 to N7 shown in FIG. 6A are display objects corresponding to content called markings that emphasize the positions of the objects (persons) B5 to B7 existing in the user's field of view.
  • 6B are display objects corresponding to contents called markings indicating the attributes of the objects (persons) B8 to B10 existing in the user's field of view.
  • the display object N8 and the display objects N9 and N10 are displayed in different colors, respectively, indicating that the object (person) B8 and the objects (persons) B9 and B10 have different attributes.
  • the attribute indicated by the marking may be, for example, a game or sports team, a relationship with a user (self) in SNS, age, sex, or the like.
  • the content according to the present embodiment may be navigation indicating a course in a real space or a virtual space, or a model of action.
  • the display object N11 shown in FIG. 7 is a display object corresponding to content called navigation indicating the direction in which the user should proceed.
  • the display object N12 shown in FIG. 7 is a display object corresponding to content called navigation indicating a route to be followed (travel route).
  • An example of navigation is not limited to the above, and may be navigation indicating a model in sports (a line in golf or a path trajectory in soccer), for example.
  • the content according to the present embodiment may be a silhouette superimposed on an object or a sensing result related to the object.
  • a display object N13 illustrated in FIG. 8 is a display object corresponding to a content called a sensing result (thermography) regarding the heat distribution of the object (person) B11.
  • the display object N14 illustrated in FIG. 8 is a display object including characters and images indicating auxiliary information (legend) related to the sensing result.
  • the content according to the present embodiment has been described above with reference to FIGS. 4 to 8.
  • the content according to the present embodiment is not limited to the above example.
  • the content according to the present embodiment may be a 3D model or image indicating a game character, an item in a game, a building, or the like.
  • the content according to the present embodiment may be a 3D model or an image (for example, a so-called ghost car in a racing game) that shows a past history in a game or navigation.
  • the content according to the present embodiment may be an object such as a surrounding person, a manual related to the object, or text data indicating property information (name, speed, attribute, etc.).
  • the display position of such content may be a position superimposed on the object or a position near the object so as not to overlap the object.
  • the content according to the present embodiment may be a virtual advertisement, a banner, or the like whose display position is an arbitrary position in the space.
  • the display unit 180 is an optical see-through display (an example of a transmissive display unit) that displays a display object.
  • the display unit 180 may be a display device used by being worn on the user's head.
  • the display unit 180 may be a display device that allows a user to view an image of the real space and a virtual object (for example, at least one of the first display object and the second display object) simultaneously.
  • a virtual object for example, at least one of the first display object and the second display object
  • the display unit 180 includes a reflective spatial light modulator 182, a collimating optical system 184 including a finder lens and the like, and a hologram light guide plate (waveguide) 186.
  • the light guide plate 186 is provided on the optical surfaces 1862 and 1864 opposite to the user's pupil 22 in the depth direction, and on the optical surface 1864, and has a reflection volume hologram grating having a uniform interference fringe pitch on the hologram surface regardless of the position. 1866 and 1868.
  • the light emitted from the spatial light modulator 182 after modulating the image is made into parallel light flux groups having different angles of view by the collimating optical system 184, and enters the light guide plate 186 from the optical surface 1862.
  • the light incident on the light guide plate 186 enters the reflective volume hologram grating 1866 and is diffracted and reflected by the reflective volume hologram grating 1866.
  • the light diffracted and reflected by the reflective volume hologram grating 1866 is guided inside the light guide plate 186 while repeating total reflection between the optical surfaces 1862 and 1864 and travels toward the reflective volume hologram grating 1868.
  • the light that has entered the reflective volume hologram grating 1868 deviates from the total reflection condition by diffraction reflection, is emitted from the light guide plate 186, and enters the user's pupil 22.
  • the configuration of the transmissive display unit 180 is not limited to the above example.
  • the display unit 180 may be configured to display an image reflected using a half mirror or the like, or may be configured to display an image by irradiating light on the user's retina.
  • FIG. 10 is a flowchart for explaining an operation example of the information processing apparatus 1 according to the present embodiment.
  • the threshold setting unit 150 sets a threshold based on user information, content information, environment information, device information, and the like (S102). Subsequently, the determination unit 160 determines (forced switching determination) whether or not a display object with low visibility should be displayed regardless of the display size (S104).
  • the display control unit 130 identifies the special object as a display object to be displayed, and displays the display unit 180. (S112).
  • the display control unit 130 calculates the display size of the content (S106).
  • the determination unit 160 compares the threshold set by the threshold setting unit 150 with the display size (S108).
  • the display control unit 130 identifies the normal object as a display object to be displayed and displays the normal object on the display unit 180 (S110).
  • the display control unit 130 identifies the special object as a display object to be displayed and causes the display unit 180 to display the special object (S112).
  • the series of processes described above may be repeatedly executed as soon as the series of processes is completed or periodically.
  • the first embodiment according to the present disclosure has been described above. According to the present embodiment, by specifying a display object based on the display size of content, it is possible to suppress the occurrence of a situation in which it is difficult for the user to visually recognize the background. For example, when the display size is larger than a predetermined threshold value, a display object with low visibility (for example, a semi-transparent display object) is displayed, and the user can visually recognize the background even if the display object overlaps the background. Is possible.
  • a display object with low visibility for example, a semi-transparent display object
  • Second embodiment >> ⁇ 2-1. Outline of Second Embodiment>
  • the example in which the display object specified based on the display size of the content is displayed has been described.
  • an example of an information processing apparatus that displays a display object specified based on a positional relationship between a content position and a viewpoint position will be described below as a second embodiment.
  • the display control is performed so that the display object with low visibility is displayed. Suppresses the occurrence of situations where it is difficult to see the background.
  • plays said effect are demonstrated in detail sequentially.
  • the information processing apparatus 1 according to the second embodiment of the present disclosure is a glasses-type display device having a transmissive display unit. Since the information processing apparatus 1 according to the present embodiment has a part of the same configuration as the information processing apparatus 1 according to the first embodiment, description will be made while omitting appropriately.
  • the appearance of the information processing apparatus 1 according to the present embodiment is the same as the appearance of the information processing apparatus 1 according to the first embodiment described with reference to FIG. Further, the information processing apparatus 1 according to the present embodiment is similar to the information processing apparatus 1 according to the first embodiment illustrated in FIG. 2, the imaging unit 110, the image recognition unit 120, the display control unit 130, and the sensor unit 140. , A threshold setting unit 150, a determination unit 160, a storage unit 170, and a display unit 180.
  • the configurations of the imaging unit 110, the image recognition unit 120, and the display unit 180 according to the present embodiment are substantially the same as the configurations of the imaging unit 110, the image recognition unit 120, the sensor unit 140, and the display unit 180 according to the first embodiment.
  • the display control unit 130, the threshold setting unit 150, the determination unit 160, and the storage unit 170 according to the present embodiment will be described with respect to the display control unit 130, the threshold setting unit 150, the determination unit 160, and the storage unit according to the first embodiment. The description will focus on the parts different from 170.
  • the display control unit 130 according to the present embodiment is based on three-dimensional information, object information, environment information, and the like of the real space provided from the image recognition unit 120.
  • the display object is displayed on the transmissive display unit 180.
  • the display control unit 130 is based on the positional relationship between the position of the content defined in the virtual space and the position of the viewpoint defined in the virtual space in order to generate a rendering image of the content.
  • the display object to be displayed on the display unit 180 is specified. For example, when it is determined that the position of the content and the position of the viewpoint are in the first positional relationship, the display control unit 130 displays the first object corresponding to the content included in the rendered image, When it is determined that the content position and the viewpoint position are in the second positional relationship, display control is performed so that the second object corresponding to the content is included and displayed in the rendered image.
  • the display control unit 130 may specify the display object so that the visibility of the second display object is lower than the visibility of the first display object.
  • the viewpoint position may be specified based on the position of the user in the real space. Further, as described in the first embodiment, the position of the content and the position of the viewpoint may be expressed as coordinate values in a coordinate system set in the virtual space.
  • the display control unit 130 specifies the display object corresponding to the content based on the distance between the content position and the viewpoint position (hereinafter, sometimes simply referred to as a distance), thereby Such display control may be performed. With this configuration, the display control unit 130 can display an appropriate display object according to the distance between the content position and the viewpoint position.
  • the first display object and the second display object according to this embodiment described above are at least one of a rendering method, a color, a texture, a transparency, and a pattern.
  • the visibility may be different because one is different. Since the relationship between the above characteristics and the level of visibility is as described in the first embodiment, description thereof is omitted here.
  • the first display object according to the present embodiment described above and the second display object may have different visibility due to different display sizes.
  • the first display object is displayed in a first size (for example, a display size specified from the position of the content, the position of the viewpoint, etc.), and the second display object is a second smaller than the first size. May be displayed in the size.
  • the second display object may be an object obtained by omitting a part of the first display object.
  • the visibility of the first display object and the second display object may be different because the first display object includes an icon and an explanatory text, and the second display object includes only the icon. .
  • the display control unit 130 may perform display control so that a display object with higher transparency is displayed as the content position and the viewpoint position are closer to each other.
  • FIG. 11 is an explanatory diagram schematically showing an overview of display control by the display control unit 130 according to the present embodiment.
  • the display control unit 130 may identify the non-transparent normal object M26 and display it on the display unit 180.
  • the display control unit 130 specifies the semi-transparent special object M24 with low visibility and displays the display unit. 180 may be displayed. Also, as shown in FIG.
  • the display control unit 130 specifies the totally transparent special object M24 that is further less visible, You may display on the display part 180 (it is good also as non-display). That is, in the state where the user U1 and the display object corresponding to the content are not in contact with each other, the visibility of the display object corresponding to the content may be reduced as the distance from the user U1 to the content is shorter.
  • the display control unit 130 may specify the display object as described above based on the determination by the determination unit 160 described later. For example, when the determination unit 160 described later determines that an object with low visibility should be displayed, the display control unit 130 displays a special object (an object with low visibility) as a display object corresponding to the content. It is specified and displayed on the display unit 180.
  • a special object an object with low visibility
  • the display control unit 130 may specify the display object corresponding to the content based on the comparison result between the predetermined threshold and the distance performed by the determination unit 160. For example, when the distance is larger than the threshold value, a normal object is specified as the display object corresponding to the content, and when the display size is equal to or smaller than the threshold value, the special object is specified as the display object corresponding to the content. Also good.
  • the threshold setting unit 150 sets a predetermined threshold for determination by the determination unit 160 described later. For example, the predetermined threshold set by the threshold setting unit 150 is compared with the distance between the content position and the viewpoint position by the determination unit 160 described later. In addition, as described above, based on the comparison result, the display control unit 130 specifies a display object corresponding to the content. Therefore, the display object corresponding to the content is specified by comparing the predetermined threshold and the distance.
  • the predetermined threshold is set based on at least one of user information about the user, content information about the content, environment information indicating the environment where the user is placed, and device information about the device that displays the display object, for example. May be. Since the user information, content information, environment information, and device information are as described in the first embodiment, description thereof is omitted here.
  • threshold setting by the threshold setting unit 150 based on user information, content information, environment information, and device information will be described.
  • FIG. 12 is an explanatory diagram schematically illustrating an example of threshold setting based on the content size. For example, assuming that the content size (height or width) is S and the display field angle (height direction or width direction) of the display device (display unit 180) is ⁇ , a display object having the content size is within the field angle. The distance d that falls within the range is obtained as follows.
  • the display object M28 having the content size S can be displayed within the display field angle of the display unit 180. It is. Therefore, for example, d may be set as a threshold, or a value obtained by adding a predetermined value to d or a value obtained by multiplying d by a predetermined value may be set as the threshold.
  • the threshold value setting method based on the content size is not limited to the above example.
  • the threshold value setting unit 150 calculates the distance that the display object occupies a predetermined ratio in the display unit 180 based on the content size. The distance may be set as a threshold value.
  • the threshold setting unit 150 may set the threshold based on the motion information included in the user information so that the threshold differs depending on whether the content position and the viewpoint position are close to each other or away from each other.
  • the threshold value may be set so that the threshold value decreases when the user approaches the content, and the threshold value increases when the user moves away from the content. According to such a configuration, when the distance between the position of the content and the position of the viewpoint frequently changes, it is possible to suppress the display object from being frequently switched (seen flickering). .
  • threshold setting by the threshold setting unit 150 has been described above, but the threshold setting method by the threshold setting unit 150 is not limited to the above example.
  • the threshold setting unit 150 is not limited to the above method, and may set the threshold so that the threshold is increased when the content tends to be an obstacle to the user. That is, the threshold setting unit 150 according to the present embodiment can perform threshold setting by the same method as the threshold setting example described in the first embodiment.
  • the threshold value setting unit 150 according to this embodiment has a large distance threshold value according to this embodiment in the same case as the threshold value setting example so that the display size threshold value according to the first embodiment is small.
  • a threshold may be set so that According to such a configuration, in a situation where the content is likely to be in the way of the user, a display object (special object) that has low visibility and does not easily disturb the user is likely to be displayed.
  • the threshold setting unit 150 may set a plurality of thresholds.
  • display objects having different visibility may be prepared in a plurality of stages according to the number of thresholds (may be stored in the storage unit 170 or generated by the display control unit 130). For example, when two threshold values are set, as described with reference to FIG. 11, three display objects (a normal object and two special objects) are prepared, and more detailed depending on the distance. Display control can be performed.
  • the determination unit 160 compares the predetermined threshold set by the threshold setting unit 150 with the distance between the content position and the viewpoint position, and provides the comparison result to the display control unit 130.
  • the determination unit 160 should display (specify) a display object with low visibility based on the above-described user information, content information, environment information, device information, and the like (the display is forcibly switched regardless of the distance). It may be determined whether or not.
  • the determination by the determination unit 160 according to the present embodiment (hereinafter sometimes referred to as forced switching determination) may be performed in the same manner as the example of forced switching determination described in the first embodiment.
  • the storage unit 170 stores content information (content information) and display object information in the same manner as the storage unit 170 according to the first embodiment.
  • the storage unit 170 may store a display object with high visibility (normal object) and a display object with low visibility (special object) as display objects corresponding to one content, and provide the display control unit with the display object.
  • the storage unit 170 according to the present embodiment may store a display object including an icon and explanatory text as a normal object corresponding to a certain content, and store a display object including only an icon as a special object. .
  • the storage unit 170 stores only a normal object as a display object corresponding to one content, and the display control unit 130 performs a specific process on the normal object provided from the storage unit 170 to thereby display a special object. You may acquire (generate).
  • the content related to the content information stored in the storage unit 170 is the same as the content example described with reference to FIGS. 4 to 8 in the first embodiment.
  • text data, images, 3D models, effects, Markings, silhouettes, etc. may be included.
  • Second Embodiment> the configuration example of the information processing apparatus 1 according to the second embodiment of the present disclosure has been described. Subsequently, with reference to FIGS. 13 and 14, for the two operation examples of the information processing apparatus 1 according to the present embodiment, display object specification and display control by the display control unit 130, the threshold setting unit 150, and the determination unit 160 in particular A description will be given focusing on the operation.
  • FIG. 13 is a flowchart for explaining an operation example (operation example 1) of the information processing apparatus 1 according to the present embodiment.
  • the threshold setting unit 150 sets a threshold based on user information, content information, environment information, device information, and the like (S202).
  • the determination unit 160 determines (forced switching determination) whether or not a display object with low visibility should be displayed regardless of the distance (S204).
  • the display control unit 130 identifies the special object as a display object to be displayed, and displays the display unit 180. (S212).
  • the display control unit 130 determines the distance between the content position and the viewpoint position. Is calculated (S206).
  • the determination unit 160 compares the threshold set by the threshold setting unit 150 with the distance (S208). If the distance is larger than the threshold (YES in S208), the display control unit 130 identifies the normal object as a display object to be displayed and causes the display unit 180 to display the normal object (S210). On the other hand, when the distance is equal to or smaller than the threshold (NO in S208), the display control unit 130 specifies the special object as a display object to be displayed and causes the display unit 180 to display the special object (S212).
  • the threshold value a is larger than the threshold value b
  • the special object A is a display object that is lower in visibility than the normal object and higher in visibility than the special object B.
  • the normal object may be a non-transparent display object
  • the special object A may be a semi-transparent display object
  • the special object B may be a display object having a higher transparency than that of the special object A.
  • FIG. 14 is a flowchart for explaining another operation example (operation example 2) of the information processing apparatus 1 according to the present embodiment.
  • the threshold value setting unit 150 sets two threshold values (threshold value a and threshold value b) based on user information, content information, environment information, device information, and the like (S252). Subsequently, the determination unit 160 determines whether or not a display object with low visibility should be displayed regardless of the distance (S254).
  • the display control unit 130 identifies the special object B as a display object to be displayed, and displays the display unit. 180 is displayed (S266).
  • the display control unit 130 determines the distance between the content position and the viewpoint position. Is calculated (S256).
  • the determination unit 160 compares the distance with the threshold value a set by the threshold value setting unit 150 (S258).
  • the display control unit 130 identifies the normal object as a display object to be displayed and displays it on the display unit 180 (S260).
  • the determination unit 160 compares the distance with the threshold value b set by the threshold setting unit 150 (S262).
  • the display control unit 130 specifies the special object A as a display object to be displayed and displays it on the display unit 180 (S264).
  • the display control unit 130 specifies the special object B as a display object to be displayed and displays it on the display unit 180 (S266).
  • FIG. 15 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 1.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, an input device 14, an output device 15, and the like.
  • the CPU 11 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 1 according to various programs.
  • the CPU 11 may be a microprocessor.
  • the ROM 12 stores a program used by the CPU 11, calculation parameters, and the like.
  • the RAM 13 temporarily stores programs used in the execution of the CPU 11, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus composed of a CPU bus or the like. Mainly, the functions of the image recognition unit 120, the display control unit 130, the threshold setting unit 150, and the determination unit 160 are realized by the cooperation of the CPU 11, the ROM 12, the RAM 13, and the software.
  • the input device 14 includes an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 11. Etc.
  • a user of the information processing apparatus 1 can input various data or instruct a processing operation to the information processing apparatus 1 by operating the input device 14.
  • the output device 15 includes a display device such as a liquid crystal display (LCD) device, an OLED device, and a lamp. Further, the output device 15 includes an audio output device such as a speaker and headphones. For example, the display device displays a captured image, a generated image, and the like. On the other hand, the audio output device converts audio data or the like into audio and outputs it.
  • the output device 15 corresponds to the display unit 180 described with reference to FIG.
  • the storage device 16 is a device for storing data.
  • the storage device 16 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 16 stores programs executed by the CPU 11 and various data.
  • the storage device 16 corresponds to the storage unit 170 described with reference to FIG.
  • the imaging device 17 includes an imaging optical system such as a photographing lens that collects light and a zoom lens, and a signal conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging optical system collects light emitted from the subject and forms a subject image in the signal conversion unit, and the signal conversion element converts the formed subject image into an electrical image signal.
  • the imaging device 17 corresponds to the imaging unit 110 described with reference to FIG.
  • the communication device 18 is a communication interface configured with, for example, a communication device for connecting to a communication network. Further, the communication device 18 may include a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, a wire communication device that performs wired communication, or a Bluetooth (registered trademark) communication device.
  • a wireless LAN Local Area Network
  • LTE Long Term Evolution
  • wire communication device that performs wired communication
  • Bluetooth registered trademark
  • the display size or distance is compared with the threshold value, the display object to be displayed is specified according to the comparison result, and the display object is switched.
  • the present technology is limited to this example. Not.
  • display object switching occurs, the display object before switching and the display object after switching may be displayed while being alpha-blended.
  • display control may be performed so that the display object after switching fades in after the display object before switching fades out.
  • the operations of alpha blending, fading out, and fading in may be performed according to changes in display size and distance, or may be performed according to changes in time.
  • the display control unit may generate (specify) a display object by changing visibility parameters (transparency, brightness, color, and the like) in accordance with changes in display size and distance.
  • the display control based on the display size or distance regarding one content has been described, but the present technology is not limited to such an example.
  • the comparison determination regarding the display size or the distance may be performed independently for each content, or the total of the plurality of display sizes or distances, the maximum value, the minimum value, the average The comparison determination may be performed using a value or the like.
  • the present technology is not limited to such an example.
  • the present technology is applied to an information processing apparatus (such as a video see-through type head mounted display) that displays an image generated by superimposing a display object on an image in a real space (background) acquired by an imaging unit on a display unit.
  • an information processing apparatus such as a video see-through type head mounted display
  • the present technology may be applied to a head-up display that displays an image on a windshield of an automobile or the like, and the present technology may be applied to a stationary display device.
  • the present technology may be applied to an information processing apparatus that renders an image in which a display object is arranged in a virtual space and displays the image on a non-transmissive display unit with the virtual space as a background.
  • an example in which a display object is displayed with a real space as a background has been described.
  • a virtual space is displayed.
  • a display object may be displayed as a background.
  • an information processing apparatus that performs display control has a display unit
  • the present technology is not limited to such an example.
  • the information processing apparatus that performs display control and the display device that includes the display unit may be different apparatuses.
  • an information processing apparatus that performs display control includes an imaging unit, an image recognition unit, a threshold setting unit, a storage unit, and the like.
  • the present technology is not limited to such an example.
  • an information processing apparatus that performs display control directly captures information such as a captured image, an image recognition result, a display size, a distance between a content position and a viewpoint position, a threshold value, content, and a display object directly from another apparatus.
  • display control may be performed by receiving via a network or the like.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • a computer program for causing hardware such as a CPU, ROM, and RAM incorporated in the information processing apparatus 1 to exhibit the functions of the information processing apparatus 1 described above.
  • a storage medium storing the computer program is also provided.
  • the number of computers that execute the computer program is not particularly limited.
  • the computer program may be executed by a plurality of computers (for example, a plurality of servers) in cooperation with each other.
  • a single computer or a combination of a plurality of computers is also referred to as a “computer system”.
  • the display control unit performs the display control by specifying a virtual object corresponding to the content based on a distance between the position of the content and the position of the viewpoint.
  • Information processing device (3) The information processing apparatus according to (2), wherein the first virtual object and the second virtual object are different from each other in at least one of a rendering method, a color, a texture, a transparency, and a pattern.
  • the virtual object corresponding to the content is further specified based on user information.
  • the user information includes at least one of behavior information indicating user behavior, motion information indicating user movement, biological information, and gaze information.
  • the information processing apparatus according to any one of (2) to (5), wherein the virtual object corresponding to the content is further specified based on content information related to the content.
  • the content information includes at least one of a display position, a color, an animation characteristic, a content attribute, a content resolution, and a content size.
  • the virtual object corresponding to the content is further specified based on environment information indicating an environment in which a user is placed.
  • the environmental information includes at least one of background, illuminance, and place.
  • the information processing apparatus according to any one of (2) to (9), wherein the virtual object corresponding to the content is further specified based on device information regarding a device that displays the virtual object.
  • the device information includes at least one of display size, display resolution, battery, 3D display function, and device position.
  • the virtual object corresponding to the content is specified by comparing a predetermined threshold value and the distance.
  • a plurality of the predetermined threshold values are set.
  • the predetermined threshold is set based on at least one of user information, content information, environment information, and device information.
  • the information processing apparatus includes at least one of text data, an image, a 3D model, an effect, a marking, and a silhouette.
  • the position of the content is specified based on a sensing result of a real object.
  • the line-of-sight direction used for rendering the rendered image is specified according to a detection result of a position or orientation of a display unit that displays the rendered image.
  • the display control unit displays the first virtual object or the second virtual object on a transmissive display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、表示制御を行う表示制御部を備え、前記第一の位置関係における前記コンテンツの位置と前記視点の位置との距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 背景(実空間、または仮想空間)にオブジェクトを重畳させて、ユーザに提示する技術が存在する。例えば特許文献1には、実空間の画像に基づくオブジェクトを、非透過型のディスプレイにおいて実空間の画像に重畳させて表示させる、または透過型(シースルー型)のディスプレイにおいて実空間背景に重畳させて表示させる、技術が開示されている。
特開2014-106681号公報
 上記のような技術では、コンテンツの位置と、当該コンテンツのレンダリング画像を生成するための視点の位置との間の位置関係によって、当該コンテンツに対応する表示オブジェクト(表示されるオブジェクト)の表示サイズが変化することがある。しかし、当該位置関係によっては、ユーザの視界の大部分が当該表示オブジェクトで占められてしまう場合があった。そのため、ユーザが背景を十分に視認できなくなってしまう恐れがあった。
 そこで、本開示では、ユーザが背景を視認し難い状況の発生を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムを提案する。
 本開示によれば、仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、表示制御を行う表示制御部を備え、前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理装置が提供される。
 また、仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、情報処理装置が表示制御を行うことを含み、前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理方法が提供される。
 また、本開示によれば、コンピュータシステムに、仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低いように表示制御を行う表示制御機能を実現させるための、プログラムが提供される。
 以上説明したように本開示によれば、ユーザが背景を視認し難い状況の発生を抑制することが可能である。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第一の実施形態に係る情報処理装置の外観を示す説明図である。 同実施形態に係る情報処理装置の構成例を示す説明図である。 同実施形態に係る表示制御部による表示サイズに基づく表示オブジェクトの特定例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係るコンテンツの例を説明するための説明図である。 同実施形態に係る表示部の構成例を説明するための説明図である。 同実施形態に係る情報処理装置の動作例を説明するためのフローチャート図である。 本開示の第二の実施形態に係る表示制御部による表示制御の概要を模式的に示す説明図である。 同実施形態に係る表示制御部によるコンテンツサイズに基づく閾値設定の例を模式的に示す説明図である。 同実施形態に係る情報処理装置の動作例を説明するためのフローチャート図である。 同実施形態に係る情報処理装置の他の動作例を説明するためのフローチャート図である。 本開示に係る情報処理装置のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
 <<1.第一の実施形態>>
  <1-1.第一の実施形態の概要>
  <1-2.第一の実施形態の構成>
  <1-3.第一の実施形態の動作>
  <1-4.第一の実施形態の効果>
 <<2.第二の実施形態>>
  <2-1.第二の実施形態の概要>
  <2-2.第二の実施形態の構成>
  <2-3.第二の実施形態の動作>
  <2-4.第二の実施形態の効果>
 <<3.ハードウェア構成例>>
 <<4.むすび>>
 <<1.第一の実施形態>>
  <1-1.第一の実施形態の概要>
 まず、図1を参照しながら本開示の第一の実施形態に係る情報処理装置の概要を説明する。図1は、本開示の第一の実施形態に係る情報処理装置の外観を示す説明図である。
 図1に示すように、本開示の第一の実施形態に係る情報処理装置1は、撮像部110と表示部180A,180Bを備える眼鏡型の表示デバイスである。
 情報処理装置1は、撮像部110が実空間を撮像することにより得られた撮像画像に基づき、コンテンツ(テキストデータ、3Dモデル、エフェクト等)に対応する表示オブジェクト(3Dモデルのレンダリング結果等)を表示部180A、180Bに表示する。本実施形態にかかるコンテンツは、例えば、実空間に対応してユーザに提示したい情報(実空間の物体に対する説明テキストデータ、ナビゲーションアイコン、警告エフェクト等)であってもよいし、動的に移動するゲームキャラクタや固定された建物等の3Dモデルであってもよい。本実施形態に係るコンテンツの例に関しては後述する。また、表示部180A、180Bに表示される表示オブジェクトは、仮想的なオブジェクト(仮想オブジェクトとも呼ぶ)であってもよい。
 表示部180A、180Bは透過型の表示部(シースルーディスプレイ)であり、ユーザは情報処理装置1を装着している場合であっても、表示部180A、180Bに表示される画像と共に実空間を視認することが可能である。また、表示オブジェクトが奥行きを有する3Dモデル等である場合、表示部180A、及び表示部180Bは、それぞれ、右目用、及び左目用の画像を表示することで、ユーザに両眼視差を知覚させることが可能である。なお、本開示において、透過型の表示部とは、ディスプレイ(表示部)による表示と、ディスプレイによる光の射出面とは反対側の面から入射する実空間(背景)の環境光(また映像)と、をユーザが同時に視認可能なディスプレイを意味する。
 表示オブジェクトの種類や表示サイズ(表示部180A、180Bにおいて表示される大きさ)によっては、ユーザにとって背景である実空間の視認性が低下する恐れがあった。例えば、表示オブジェクトが複雑なテクスチャを有し、ポリゴンレンダリングされた3Dモデルのような視認性の高いオブジェクトである場合には、当該表示オブジェクトが表示されている領域(表示領域)と重なる実空間をユーザは視認することが困難である。したがって、当該表示オブジェクトの表示サイズが大きく、表示オブジェクトの表示領域が表示部180A、180Bの大半を占める場合には、ユーザは十分に実空間を視認することが困難であった。
 特に、ユーザが危険な作業や重要な作業を行っている等、ユーザが実空間を十分に視認したい場合に、視認性の高い表示オブジェクトが大きく表示されてしまうと、当該表示オブジェクトがユーザの作業を妨げてしまう恐れがあった。
 そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、コンテンツの表示サイズが大きい場合に、視認性の低い表示オブジェクトが表示されるように表示制御を行うことで、ユーザが背景を視認し難い状況の発生を抑制することが可能である。以下、このような効果を有する本実施形態の構成について詳細に説明する。
  <1-2.第一の実施形態の構成>
 以上、本開示の第一の実施形態に係る情報処理装置1の概要を説明した。続いて、本実施形態による情報処理装置1の構成について図2~図9を参照して説明する。
 図2は、本実施形態に係る情報処理装置1の構成例を示す説明図である。図2に示すように、情報処理装置1は、撮像部110、画像認識部120、表示制御部130、センサ部140、閾値設定部150、判定部160、記憶部170、表示部180を備える。
 (撮像部)
 撮像部110は、画像を取得するカメラモジュールである。撮像部110は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて実空間を撮像することにより撮像画像を取得する。例えば、本実施形態における撮像部110は、情報処理装置1を装着するユーザの視界と同等の画角を有してもよく、撮像部110により撮像される範囲は当該ユーザの視界と見なされてもよい。なお、撮像部110により取得された撮像画像は、画像認識部120に提供される。
 また、撮像部110は撮像素子を二つ有し、二つの画像を同時に取得するステレオカメラであってもよい。かかる場合、当該二つの撮像素子は水平に並べられ、後述する画像認識部120が取得された複数の画像をステレオマッチング法等により解析することで、実空間の三次元形状情報(深度情報)を取得することが可能となる。
 (画像認識部)
 画像認識部120は、撮像部110により取得された撮像画像を解析し、実空間の三次元形状や実空間に存在する物体(実物体)やマーカ等の認識を行う。例えば、画像認識部120は、同時に取得された複数画像に対するステレオマッチング法や、時系列的に取得された複数画像に対するSfM(Structure from Motion)法等を行うことで、実空間の三次元形状を認識し、三次元形状情報を取得してもよい。また、画像認識部120は、予め用意された特徴点情報と、撮像画像から検出された特徴点情報のマッチングを行うことで、実空間に存在する物体やマーカ等を認識し、当該物体やマーカ等の情報を取得してもよい。なお、画像認識部120が認識するマーカは、例えば二次元コード等で表現される、特定パターンのテクスチャ情報、または画像特徴点情報の集合である。
 また、画像認識部120は、上記の物体認識により得られた情報に基づいて、ユーザ情報(ユーザの行動等、ユーザに関する情報)や環境情報(ユーザの置かれている環境を示す情報)等を取得してもよい。例えば、危険な作業においてユーザの視界に頻繁に存在する物体が、物体認識により多数検出された場合、画像認識部120は、ユーザが危険な作業を行っているというユーザ情報を取得してもよい。また、ユーザに向かってくる自動車(対向車)や、落とし穴等、ユーザにとって危険な物体が物体認識により検出された場合には、ユーザが危険な場所や状況に置かれているという環境情報を取得してもよい。なお、ユーザ情報、及び環境情報の詳細については後述する。
 なお、画像認識部120により取得された上記の情報は、表示制御部130、及び判定部160に提供される。
 (表示制御部)
 表示制御部130は、画像認識部120から提供される実空間の三次元情報や物体情報、及び環境情報等に基づいて、表示オブジェクトを透過型の表示部180に表示させる。例えば、表示制御部130は、撮像画像から検出された物体の物体情報(当該物体の種類や位置等の情報)に基づいて、当該物体に対応するコンテンツを特定し、当該コンテンツに対応する表示オブジェクトを特定してもよい。例えば、表示制御部130は、当該物体に関する説明を行うテキストデータを当該物体に対応するコンテンツとして特定し、当該テキストデータを所定のフォントを用いてレンダリングした結果を当該コンテンツに対応する表示オブジェクトとして特定してもよい。なお、上記のコンテンツや表示オブジェクトの情報は、記憶部170に記憶されていてもよく、表示制御部130は記憶部170から特定すべきコンテンツや表示オブジェクトを直接取得(特定)してもよい。また、表示制御部130は、記憶部170に記憶されたコンテンツや表示オブジェクトの情報に基づき、後述する視認性に関する特徴を有するように表示オブジェクトを生成(例えばレンダリング)することで、表示オブジェクトの特定を行ってもよい。
 また、表示制御部130は、表示制御部130がレンダリングを行う際に演算に用いる仮想空間(仮想的な三次元空間)に定義されるコンテンツの位置と、表示部180におけるコンテンツの表示位置を特定する。
 コンテンツの位置は、例えば当該コンテンツに対応する実空間における物体(実物体)の位置に基づいて仮想空間内で特定されてもよい。実物体の位置は、例えば、画像認識部120による実物体の認識結果に基づいて得られてもよい。また、コンテンツが自由に移動可能なゲームキャラクタ等のように、実物体によって固定されない場合、コンテンツの位置はアプリケーションによって仮想空間内で動的に設定(特定)されてもよい。
 また、表示制御部130は、コンテンツのレンダリング画像を生成するための視点の位置を仮想空間において定義(特定)する。視点の位置は、実空間におけるユーザの位置に基づいて仮想空間において特定されてもよいし、ユーザの操作により設定されてもよいしアプリケーションによって動的に設定されてもよい。表示制御部130は、例えば、当該視点の位置に仮想的なカメラを配置して、コンテンツのレンダリングを行う。表示制御部130は、視点の位置に配置された仮想的なカメラに映されるはずのレンダリング画像を、コンテンツの形状や、コンテンツの位置、光のあたり具合等の演算処理に基づいて生成(レンダリング)する。なお、レンダリング画像のレンダリングに用いられる視線方向は、レンダリング画像を表示する表示部180の位置、または姿勢の検出結果に応じて特定されてもよい。また、表示部180の位置、または姿勢は、後述するセンサ部140により検出されてもよい。
 なお、コンテンツの位置は、仮想空間で設定される座標系における座標値として表現されてもよい。また、かかる場合、視点の位置も同様にコンテンツの位置が表現される座標系における座標値として設定されてもよい。
 また、コンテンツの表示位置は、コンテンツの位置と視点の位置に基づいて特定されてもよい。例えば、上述したように、表示制御部130が、コンテンツの位置等に基づいて、視点の位置に配置された仮想的なカメラに映されるはずのレンダリング画像を生成することで、表示部180におけるコンテンツの表示位置が特定されてもよい。
 また、表示制御部130はコンテンツの表示サイズを特定し、当該コンテンツに対応する表示オブジェクトは当該表示サイズで表示部180に表示される。例えば、コンテンツはコンテンツのサイズ(コンテンツサイズ)が予め設定されており、当該コンテンツサイズに基づいて表示サイズが特定されてもよい。また、表示サイズは、さらにコンテンツの位置と視点の位置に基づいて特定されてもよい。また、コンテンツの位置が上述したように実物体の位置に基づいて特定され、視点の位置が上述したようにユーザの位置に基づいて特定される場合、表示サイズは実物体の位置とユーザの位置に基づいて特定されてもよい。例えば、ユーザが実物体に近づくと、当該実物体に対応するコンテンツの表示サイズは大きくなり、ユーザが実物体から遠ざかると、当該実物体に対応するコンテンツの表示サイズは小さくなるように、コンテンツの表示サイズが特定されてもよい。かかる構成によれば、ユーザは当該コンテンツに対応する表示オブジェクトを実空間に存在する実物体と対応付けて知覚することが可能であり、当該表示オブジェクトをより現実的に感じることが可能である。
 また、コンテンツに対応する表示オブジェクトは当該コンテンツの表示サイズに基づいて特定されてもよい。例えば、表示制御部130は、当該コンテンツに対応する複数の表示オブジェクトのうち、コンテンツの表示サイズに基づいて、一の表示オブジェクトを表示すべき表示オブジェクトとして特定してもよい。
 例えば、表示制御部130は、表示サイズに応じて、表示オブジェクトの視認性が異なるように表示オブジェクトを特定してもよい。例えば、第一の表示サイズで表示される第一の表示オブジェクトの視認性よりも、第一の表示サイズより大きい第二の表示サイズで表示される第二の表示オブジェクトの視認性の方が低いように、表示オブジェクトの特定が行われてもよい。
 上記で説明した第一の表示オブジェクトと、第二の表示オブジェクトは、例えば、レンダリング方法、色、テクスチャ、透過度、模様のうち少なくともいずれか一つが異なることで、視認性が異なってもよい。例えば、本実施形態において、表示オブジェクトのレンダリング方法が、ポリゴンレンダリングであれば当該表示オブジェクトの視認性は高く、ワイヤフレームレンダリングであれば当該表示オブジェクトの視認性は低い。また、表示オブジェクトの色が、カラー(白と黒以外の色も利用されて表現されている)であれば当該表示オブジェクトの視認性は高く、モノクロ(白と黒だけで表現されている)であれば当該表示オブジェクトの視認性は低い。また、表示オブジェクトのテクスチャが有れば当該表示オブジェクトの視認性は高く、表示オブジェクトのテクスチャが無ければ当該表示オブジェクトの視認性は低い。また、表示オブジェクトの透過度が低ければ(例えば無透過であれば)当該表示オブジェクトの視認性は高く、表示オブジェクトの透過度が高ければ(例えば半透過であれば)当該表示オブジェクトの視認性は低い。また、表示オブジェクトの模様が有れば当該表示オブジェクトの視認性は高く、表示オブジェクトの模様が無ければ当該表示オブジェクトの視認性は低い。
 なお、視認性を異ならせる方法は上記に限られない。例えば、表示オブジェクトと重なる背景の色に応じて表示オブジェクトの色を減殺させることで、視認性の低い表示オブジェクトが生成されてもよい。また、表示における被写界深度の調整等により、表示オブジェクトをぼけさせることで、視認性の低い表示オブジェクトが生成されてもよい。また、表示オブジェクトの明度、色のトーン、鮮やかさ等を低下させることで、視認性の低い表示オブジェクトが生成されてもよい。
 また、以下では、上記で説明したような視認性に関する特徴のうち、より視認性の高い特徴を有する表示オブジェクトを通常オブジェクトと呼び、より視認性の低い特徴を有する表示オブジェクトを特殊オブジェクト呼ぶ場合がある。例えば、表示制御部130は、記憶部170から、通常オブジェクトを取得し、当該通常オブジェクトに対して上述した視認性の低い特徴を有するように処理を施す(視認性を低下させる処理を施す)ことで、特殊オブジェクトを生成(取得)してもよい。
 表示オブジェクトの視認性が高い場合、ユーザは当該表示オブジェクトを視認し易い代わりに、当該表示オブジェクトと重なる背景(実空間等の背景のうち、当該表示オブジェクトと重なる領域)を視認し難くなる。一方、表示オブジェクトの視認性が低い場合、ユーザは当該表示オブジェクトを視認し難い代わりに、当該表示オブジェクトと重なる背景を視認し易くなる。したがって、上述した構成によれば、例えば、表示サイズが小さく、視認性の高い表示オブジェクトが表示されてもユーザにとって妨げとなり難い場合には、視認性の高い表示オブジェクトが表示される。一方、表示サイズが大きくユーザの視界の大部分が表示オブジェクトで占められてしまう場合には、視認性の低い表示オブジェクトが表示され、当該表示オブジェクトと重なる背景をユーザは視認し易くなる。
 図3は、表示制御部130による表示サイズに基づく表示オブジェクトの特定例を説明するための説明図である。図3に示すD12、及びD14は情報処理装置1を装着したユーザの視界を示している。
 視界D12には、視界D12の状態における表示サイズに基づいて特定された表示オブジェクトM1が、表示部180に表示され、実空間背景に重畳されている。ここで、表示オブジェクトM1は、ポリゴンレンダリングされたオブジェクトであり、実空間背景のうち表示オブジェクトM1と重なった領域はユーザに視認され難い。
 一方、視界D14には、視界D12の状態における表示サイズよりも大きい表示サイズに基づいて特定された表示オブジェクトM2が、表示部180に表示され、実空間背景に重畳されている。ここで、表示オブジェクトM2は、表示オブジェクトM1よりも大きく、ユーザの視界D14の大部分を占めている。しかし、表示オブジェクトM2はワイヤフレームレンダリングされたオブジェクトであり、ユーザは表示オブジェクトM2と重なった領域であっても実空間背景を十分に視認することが可能である。
 なお、本実施形態に係る表示制御部130は、後述する判定部160による判定に基づいて、上記で説明したような表示オブジェクトの特定を行ってもよい。すなわち、本実施形態に係る表示制御部130は、後述する判定部160による判定に基づいて、第一の表示オブジェクトおよび第二の表示オブジェクトの一方を、表示すべき表示オブジェクトとして特定してもよい。例えば、後述する判定部160が視認性の低いオブジェクトを表示すべきであると判定した場合には、表示制御部130は、コンテンツに対応する表示オブジェクトとして、特殊オブジェクト(視認性の低いオブジェクト)を特定し、表示部180に表示させる。
 また、表示制御部130は、判定部160が行う所定の閾値と表示サイズの比較結果に基づいて、コンテンツに対応する表示オブジェクトの特定を行ってもよい。すなわち、本実施形態に係る表示制御部130は、判定部160が行う所定の閾値と表示サイズの比較により、第一の表示オブジェクトおよび第二の表示オブジェクトの一方を、表示すべき表示オブジェクトとして特定してもよい。例えば、表示サイズが当該閾値よりも大きい場合には、コンテンツに対応する表示オブジェクトとして特殊オブジェクトが特定され、表示サイズが当該閾値以下の場合には、コンテンツに対応する表示オブジェクトとして通常オブジェクトが特定されてもよい。
 (センサ部)
 図2に示すセンサ部140は、ユーザやユーザの置かれた環境に関するセンシングを行い、センサ情報を取得する。例えば、センサ部140は、マイク、GPS(Global Positioning System)センサ、加速度センサ、視覚(視線、注視点、焦点、瞬目等)センサ、生体情報(心拍、体温、血圧、脳波等)センサ、ジャイロセンサ、照度センサ等の各種センサを含んでもよい。また、センサ部140は、取得した情報を閾値設定部150、及び判定部160に提供する。
 (閾値設定部)
 閾値設定部150は、後述する判定部160による判定のための所定の閾値を設定する。例えば、閾値設定部150が設定する所定の閾値は、後述する判定部160により、表示サイズと比較される。また、上述したように、当該比較結果に基づいて、表示制御部130がコンテンツに対応する表示オブジェクトを特定する。したがって、コンテンツに対応する表示オブジェクトは、所定の閾値と、表示サイズの比較により特定される。
 上記所定の閾値は、例えば、ユーザに関するユーザ情報、コンテンツに関するコンテンツ情報、ユーザの置かれた環境を示す環境情報、表示オブジェクトを表示するデバイスに関するデバイス情報のうち、少なくともいずれか一つに基づいて設定されてもよい。
 ここで、ユーザ情報は、例えば、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報等を含んでもよい。行動情報は、例えば、静止中、歩行中、走行中、自動車運転中、階段昇降中等ユーザの現在の行動を示す情報であり、センサ部140により取得された加速度等のセンサ情報等から認識・取得されてもよい。また、動き情報は、移動速度、移動方向、移動加速度、コンテンツの位置への接近、ユーザの視点の位置等の情報であり、センサ部140により取得された加速度、GPSデータ等のセンサ情報等から認識・取得されてもよい。また、生体情報は、ユーザの心拍、体温発汗、血圧、脈拍、呼吸、瞬目、眼球運動、脳波等の情報であり、センサ部140により取得されてもよい。また、注視情報は、視線、注視点、焦点、両眼の輻輳等のユーザの注視に関する情報であり、センサ部140により取得されてもよい。
 また、コンテンツ情報は、例えば、コンテンツの位置、コンテンツの表示位置、色、アニメーション特性、コンテンツ属性、コンテンツ解像度、コンテンツサイズ等の情報を含んでもよい。表示位置は、表示部180において、コンテンツに対応する表示オブジェクトが表示されるべき位置であってもよい。また、色の情報は、コンテンツに対応する通常オブジェクトが有する色の情報であってもよい。また、アニメーション特性の情報は、例えば、コンテンツの移動速度、移動方向、軌道、更新頻度(動きの頻度)等の情報であってもよい。コンテンツ属性の情報は、例えば、コンテンツの種類(テキストデータ、画像、ゲームキャラクタ、エフェクト等)、重要度、優先度等の情報であってもよい。また、コンテンツ解像度の情報は、コンテンツが有する解像度の情報であってもよい。また、コンテンツサイズの情報は、コンテンツごとに設定されたコンテンツそのものの(コンテンツの位置、視点の位置等に依存しない)サイズの情報であってもよい。上述したコンテンツ情報は、例えば、記憶部170に記憶され、表示制御部130を介して閾値設定部150に提供されてもよいし、表示制御部130により算出されて、閾値設定部150に提供されてもよい。
 また、環境情報は、例えば、背景、周辺状況、場所、照度、高度、気温、風向き、風量、時刻等の情報を含んでもよい。背景の情報は、例えば、実空間等の背景に存在する色(背景色)や、背景に存在する情報の種類や重要度等の情報であり、撮像部110によって取得されてもよいし、または画像認識部120によって認識、及び取得が行われてもよい。また、周辺状況の情報は、ユーザ以外の人物や自動車が周辺に存在するか否かという情報や、混雑度等の情報であってもよく、画像認識部120によって認識、及び取得が行われてもよい。また、場所の情報は、例えば、屋内、屋外、水中、危険な場所等、ユーザがいる場所の特性を示す情報でもよいし、自宅、会社、慣れた場所、初めて訪れる場所等、当該場所のユーザにとっての意味を示す情報でもよい。場所の情報は、センサ部140により取得されてもよいし、画像認識部120によって認識、及び取得が行われてもよい。また、照度、高度、気温、風向き、風量、時刻(例えばGPS時刻)の情報は、センサ部140により取得されてもよい。
 また、デバイス情報は、第一の表示オブジェクトおよび第二の表示オブジェクトの表示等を行うデバイス(本実施形態においては情報処理装置1)に関する情報であり、例えば、ディスプレイサイズ、ディスプレイ解像度、バッテリ、3D表示機能、デバイス位置等の情報を含んでもよい。ディスプレイサイズは実空間における表示部180(ディスプレイ)の大きさであり、ディスプレイ解像度は、表示部180が有する解像度である。また、バッテリの情報は、情報処理装置1のバッテリ状態(充電中、バッテリ使用中)や、バッテリ残量、バッテリ容量等を示す情報である。また、3D表示機能の情報は、情報処理装置1が有する3D表示機能の有無、3D表示における適正視差量(ユーザが快適に立体視可能な視差量)、3D表示方式の種別等を示す情報である。また、デバイス位置は、例えば情報処理装置1の装着位置や設置位置等を示す情報である。
 以下では、上記で説明したユーザ情報、コンテンツ情報、環境情報、及びデバイス情報に基づく、閾値設定部150による閾値設定の例をいくつか説明する。
 例えば、表示オブジェクトがユーザの注視点に近いと、ユーザにとって邪魔になりやすいため、閾値設定部150は、ユーザ情報に含まれる注視点の位置とコンテンツの表示位置との間の距離が小さい程、閾値が小さくなるように閾値を設定してもよい。例えば、注視点の座標を(Px,Py)、表示位置の座標を(Px,Py)とすると、閾値Sthは、閾値の最小値Sminと距離に応じて閾値を変化させる係数aを用いて、次式のように求められる。
Figure JPOXMLDOC01-appb-M000001
 なお、閾値設定部150は、正確な注視点の位置の情報が得られない(例えば、注視点を取得可能なセンサを利用できない)場合には、上記の注視点の位置として、画面中心の位置を用いてもよい。
 また、ユーザの移動が速くなる程、ユーザの視野が狭くなり、表示オブジェクトがユーザの邪魔になりやすいため、閾値設定部150は、ユーザの移動が速くなる程、閾値が小さくなるように閾値を設定してもよい。例えば、ユーザ情報に含まれる静止中、歩行中、走行中等の、移動に関する行動情報に応じて所定の閾値が設定されてもよい。また、ユーザ情報に含まれる移動速度の大きさをvとすると、閾値Sthは、速さ(移動速度の大きさ)に応じて閾値を変化させる係数a’を用いて、次式のように求められる。
Figure JPOXMLDOC01-appb-M000002
 また、頻繁に動きが更新される表示オブジェクトは、ユーザの邪魔になりやすいため、閾値設定部150は、コンテンツ情報に含まれる更新頻度が頻繁である程、閾値が小さくなるように閾値を設定してもよい。
 また、動きの速度が遅く、ユーザの視界内にいる時間が長い表示オブジェクトはユーザの邪魔になりやすいため、閾値設定部150は、コンテンツ情報に含まれるコンテンツの移動速度の大きさが小さい程、閾値が小さくなるように閾値を設定してもよい。
 また、背景に重要な情報が存在する場合に、視認性の高い表示オブジェクトが当該重要な情報に重なるとユーザの邪魔になりやすいため、閾値設定部150は、環境情報に含まれる背景の情報に基づいて閾値を設定してもよい。例えば、閾値設定部150は、背景に含まれる情報の重要度が高い程、閾値が小さくなるように閾値を設定してもよい。また、閾値設定部150は、背景に含まれる重要度が高い情報の面積が大きい程、閾値が小さくなるように閾値を設定してもよい。
 また、暗い環境で視認性の高い表示オブジェクトが表示されると、ユーザの注意が表示オブジェクトに集中し、作業等の邪魔となる恐れがあるため、閾値設定部150は、環境情報に含まれる照度の情報に基づいて閾値を設定してもよい。例えば、閾値設定部150は、照度が低い(ユーザの周囲が暗い)程、閾値が小さくなるように閾値を設定してもよい。
 また、ユーザの移動やユーザ操作により、視点の位置がコンテンツの位置に接近した場合には、ユーザがコンテンツに対応する表示オブジェクトを視認したいという意図があると考えられる。さらに、アプリケーションにおける仕組み(例えばコンテンツであるキャラクタのランダムな移動)等により、コンテンツの位置が移動して視点の位置に接近した場合には、ユーザの意図に反して表示オブジェクトが大きく表示される恐れがある。そこで、閾値設定部150は、ユーザの視点の位置とコンテンツの位置の間の距離の変化に基づいて、閾値を変化させてもよい。例えば、閾値設定部150は、視点の位置が移動することで視点の位置とコンテンツの位置が近づいた(視点の位置がコンテンツの位置に向かって移動した)場合には閾値を増加させ、コンテンツの位置が移動することで視点の位置とコンテンツの位置が近づいた(コンテンツの位置が視点の位置に向かって移動した)場合には閾値を減少させるように、閾値を設定してもよい。
 また、閾値設定部150は、コンテンツ情報に含まれるコンテンツの色等の情報に基づき、当該コンテンツに対応する通常オブジェクトの視認性が高くない場合には、閾値が大きくなるように閾値を設定してもよい。例えば、コンテンツの色に白と黒しか含まれない場合には、当該コンテンツに対応する通常オブジェクトの視認性が高くなく、ユーザの邪魔になりにくいため、大きな閾値が設定されてもよい。
 以上、閾値設定部150による閾値設定の例について説明したが、閾値設定部150による閾値設定の方法は上記の例に限定されない。閾値設定部150は、上記の方法に限らず、例えば、コンテンツがユーザにとって邪魔になりやすい場合に閾値が小さくなるように、閾値を設定してもよい。かかる構成によれば、コンテンツがユーザにとって邪魔になりやすい状況では、視認性が低く、ユーザの邪魔になりにくい表示オブジェクト(特殊オブジェクト)が表示されやすくなる。
 (判定部)
 判定部160は、閾値設定部150により設定された所定の閾値と、コンテンツの表示サイズを比較し、比較結果を表示制御部130に提供する。判定部160が当該比較に用いる表示サイズは、例えば面積であってもよいし、高さや横幅、表示部180において当該コンテンツに対応する表示オブジェクトが占める領域の割合であってもよく、また、上記の組み合わせにより算出される値であってもよい。
 また、判定部160は上述のユーザ情報、コンテンツ情報、環境情報、デバイス情報等に基づいて、視認性の低い表示オブジェクトが表示(特定)されるべき(表示サイズによらず強制的に表示が切り替えられるべき)であるか否かを判定してもよい。以下、判定部160による当該判定(以下、強制切り替え判定と呼ぶ場合がある。)の例をいくつか説明する。
 例えば、判定部160は、画像認識部120によりユーザが危険な作業や緊急度の高い作業を行っていると認識された場合に、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。
 判定部160は、画像認識部120によりユーザが危険な場所や状況に置かれていると認識された場合に、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。
 また、判定部160は、環境情報に含まれる背景の情報に基づいて、強制切り替え判定を行ってもよい。例えば、判定部160は、背景に含まれる情報の重要度が所定値以上である場合に、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。
 また、判定部160は、複数の表示オブジェクトが表示され、かつ当該オブジェクト間の奥行き差により表示部180において生じる視差が所定値(例えば適正視差量)以上である場合に、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。かかる場合、複数の表示オブジェクトの全てが、視認性の低い表示オブジェクトに切り替えられてもよいし、一部の表示オブジェクト(例えばユーザの注視点に近い表示オブジェクト等)のみが視認性の低い表示オブジェクトに切り替えられてもよい。
 また、判定部160は、実空間の実物体とコンテンツの奥行き関係に矛盾が生じる場合に、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。例えば、実空間の実物体よりも、コンテンツの方が奥の位置に存在する場合、コンテンツに対応する表示オブジェクトは実物体に隠されるべきであるが、表示部180はその仕組み上、当該コンテンツに対応する表示オブジェクトを実物体より手前に表示してしまう。したがって、実空間の実物体よりも、コンテンツの方が奥の位置の位置に存在する場合、判定部160は、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。
 また、判定部160は、ユーザ情報に含まれる注視情報(注視点、焦点、輻輳等に関する情報)に基づいて、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。例えば、判定部160は、注視情報を用いて、ユーザが表示オブジェクトを注視しているのか、実空間の背景を注視しているのかを判定し、ユーザが背景を注視している場合には視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。なお、ユーザが表示部180に表示された表示オブジェクトと実空間の背景のいずれを注視しているのか、という判定は、例えば、ユーザの焦点距離や輻輳距離の情報を用いて行うことが可能である。
 また、判定部160は、ユーザ情報に含まれる生体情報に基づいて、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。例えば、判定部160は、生体情報を用いて、ユーザが緊張している、または焦っている等と判定した場合に、視認性の低い表示オブジェクトが表示されるべきであると判定してもよい。かかる構成によれば、よりユーザの状況に対応した表示制御を行うことが可能である。
 以上、判定部160による強制切り替え判定の例について説明したが、判定部160による強制切り替え判定の方法は上記の例に限定されない。判定部160は、上記の方法に限らず、コンテンツがユーザにとって邪魔になりやすい場合に、視認性の低い表示オブジェクト(ユーザの邪魔になりにくい表示オブジェクト)が表示されるべきであると判定してもよい。
 (記憶部)
 記憶部170は、コンテンツの情報(コンテンツ情報)と表示オブジェクトの情報を記憶する。記憶部170は、一のコンテンツ対応する表示オブジェクトとして、視認性の高い表示オブジェクト(通常オブジェクト)と、視認性の低い表示オブジェクト(特殊オブジェクト)を記憶し、表示制御部130に提供してもよい。また、記憶部170は、一のコンテンツ対応する表示オブジェクトとして通常オブジェクトのみを記憶し、表示制御部130は、記憶部170から提供された当該通常オブジェクトに特定の処理を施すことで、特殊オブジェクトを取得(生成)してもよい。
 記憶部170に記憶されるコンテンツ情報に係るコンテンツは、例えば、テキストデータ、画像、3Dモデル、エフェクト、マーキング、シルエット等を含んでもよい。以下、図4~8を参照しながら、コンテンツとそれに対応する表示オブジェクトの例についていくつか説明する。図4~8は、本実施形態に係るコンテンツの例を説明するための説明図である。なお、以下で参照される図4~8で図示される表示オブジェクトは、全て通常オブジェクト(視認性の高いオブジェクト)の例である。記憶部170は図4~8で図示される通常オブジェクトに加え、各コンテンツに対応する特殊オブジェクト(より視認性の低いオブジェクト)を記憶してもよい。
 例えば、本実施形態に係るコンテンツは、実物体や他の表示オブジェクト(以下、まとめて物体と呼ぶ場合がある)の動きを強調、または演出する効果を有するエフェクト等であってもよい。例えば、図4Aに示す表示オブジェクトN1は、物体B1の軌跡を示すトレイルエフェクトというコンテンツに対応する表示オブジェクトである。また、図4Aに示す表示オブジェクトN2は、物体B1の落下地点を強調するエフェクトというコンテンツに対応する表示オブジェクトである。また、図4Bに示す表示オブジェクトN3は、物体B3が高速に動いている演出を示すエフェクトというコンテンツに対応する表示オブジェクトである。
 また、本実施形態に係るコンテンツは、実空間、または仮想空間の物体に対応付けられたマーキングであってもよい。特に、本実施形態に係るコンテンツは、特定の物体が検出された場合に当該物体に関する警告、または当該物体の位置や属性等の強調、を行うマーキングであってもよい。例えば、図5に示す表示オブジェクトN4は、ユーザの視界内の物体B4が危険であることや高速に移動していることを警告するマーキングというコンテンツに対応する表示オブジェクトである。また、図6Aに示す表示オブジェクトN5~N7は、それぞれ、ユーザの視界内に存在する物体(人物)B5~B7の位置を強調するマーキングというコンテンツに対応する表示オブジェクトである。また、図6Bに示す表示オブジェクトN8~10は、それぞれユーザの視界内に存在する物体(人物)B8~B10の属性を示すマーキングというコンテンツに対応する表示オブジェクトである。図6Bにおいて、表示オブジェクトN8と表示オブジェクトN9,N10とはそれぞれ異なる色で表示され、物体(人物)B8と物体(人物)B9,B10とが異なる属性を有することを示している。なお、マーキングにより示される属性は、例えば、ゲームやスポーツのチーム、SNSにおけるユーザ(自分)との関係性、年齢、性別等であってもよい。
 また、本実施形態に係るコンテンツは、実空間、または仮想空間内での進路や、行動のお手本を示すナビゲーションであってもよい。例えば、図7に示す表示オブジェクトN11は、ユーザが進むべき方向を示すナビゲーションというコンテンツに対応する表示オブジェクトである。また、図7に示す表示オブジェクトN12は、進むべきルート(進行ルート)を示すナビゲーションというコンテンツに対応する表示オブジェクトである。なお、ナビゲーションの例は上記に限定されず、例えばスポーツにおけるお手本(ゴルフにおけるラインや、サッカーにおけるパス軌道)を示すナビゲーションであってもよい。
 また、本実施形態に係るコンテンツは、物体に重畳されるシルエットや当該物体に関するセンシング結果であってもよい。図8に示す表示オブジェクトN13は、物体(人物)B11の熱分布に関するセンシング結果(サーモグラフィ)というコンテンツに対応する表示オブジェクトである。なお、図8に示す表示オブジェクトN14は、当該センシング結果に関する補助情報(凡例)を示す文字と画像を含む表示オブジェクトである。
 以上、図4~8を参照して本実施形態に係るコンテンツの例を説明したが、本実施形態に係るコンテンツは上記の例に限定されない。例えば、本実施形態に係るコンテンツはゲームキャラクタやゲームにおけるアイテム、建物等を示す3Dモデルや画像であってもよい。また、本実施形態に係るコンテンツはゲームやナビゲーションにおける過去の履歴を示す3Dモデルや画像(例えばレースゲームにおける所謂ゴーストカー)であってもよい。また、本実施形態に係るコンテンツは周囲の人物等の物体、当該物体に関するマニュアル、プロパティ情報(名前、速度、属性等)を示すテキストデータであってもよい。なお、かかるコンテンツの表示位置は、当該物体に重畳される位置であってもよいし、当該物体に重ならないような当該物体付近の位置であってもよい。また、本実施形態に係るコンテンツは空間の任意の位置を表示位置とする仮想の広告や垂れ幕等であってもよい。
 (表示部)
 表示部180は、表示オブジェクトを表示する、光学シースルー型ディスプレイ(透過型の表示部の一例)である。例えば、表示部180は、ユーザの頭部に装着されて使用される表示装置であってもよい。また、表示部180は、現実空間の像と、仮想オブジェクト(例えば、第一の表示オブジェクおよび第二の表示オブジェクトの少なくとも一方)とを同時にユーザに視認可能とする表示装置であってもよい。以下では、表示部180の構成例について図9を参照して説明する。図9は、表示部180の構成例を示す説明図である。
 図9に示すように本実施形態に係る表示部180は、反射型の空間光変調部182、ファインダーレンズ等より成るコリメート光学系184、ホログラム型の導光板(導波路)186を有する。導光板186は、ユーザの瞳22に対し奥行き方向に相対向する光学面1862及び1864と、光学面1864に設けられ、位置に係らず均等なホログラム表面の干渉縞ピッチを有する反射型体積ホログラムグレーティング1866及び1868と、を有する。
 図9に示すように、空間光変調部182が画像を変調して射出した光は、コリメート光学系184によって画角が互いに異なる平行光束群とされ、導光板186に光学面1862から入射する。導光板186に入射された光は、反射型体積ホログラムグレーティング1866に入射し、反射型体積ホログラムグレーティング1866により回折反射される。反射型体積ホログラムグレーティング1866により回折反射された光は、導光板186内部において、光学面1862及び1864の間で全反射を繰り返しながら導光し、反射型体積ホログラムグレーティング1868に向けて進行する。反射型体積ホログラムグレーティング1868に入射した光は、回折反射により全反射条件から外れ、導光板186から射出されてユーザの瞳22に入射する。
 なお、透過型の表示部180の構成は上記の例に限定されない。例えば、表示部180は、ハーフミラー等を用いて反射させた画像を表示させる構成であってもよいし、ユーザの網膜に光を照射することで画像を表示させる構成であってもよい。
  <1-3.第一の実施形態の動作>
 以上、本開示の第一の実施形態に係る情報処理装置1の構成例について説明した。続いて、図10を参照して、本実施形態に係る情報処理装置1の動作例について、特に表示制御部130、閾値設定部150、判定部160による表示オブジェクトの特定に関する動作に着目して説明する。図10は、本実施形態に係る情報処理装置1の動作例を説明するためのフローチャート図である。
 まず、閾値設定部150が、ユーザ情報、コンテンツ情報、環境情報、デバイス情報等に基づき、閾値の設定を行う(S102)。続いて、判定部160が、表示サイズによらず視認性の低い表示オブジェクトが表示されるべきであるか否か、判定(強制切り替え判定)を行う(S104)。
 強制切り替え判定において、視認性の低い表示オブジェクトが表示されるべきであると判定された場合(S104においてYES)、表示制御部130は、特殊オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S112)。
 一方、強制切り替え判定において、視認性の低い表示オブジェクトが表示されるべきであると判定されなかった場合(S104においてNO)、表示制御部130は、コンテンツの表示サイズを計算する(S106)。
 続いて、判定部160は、閾値設定部150により設定された閾値と表示サイズの比較を行う(S108)。表示サイズが閾値以下である場合(S108においてNO)、表示制御部130は、通常オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S110)。一方、表示サイズが閾値より大きい場合(S108においてYES)、表示制御部130は、特殊オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S112)。
 なお、現状の表示サイズに応じた表示オブジェクトを表示するため、上述した一連の処理は、当該一連の処理が終了次第、または定期的に、繰り返し実行されてもよい。
  <1-4.第一の実施形態の効果>
 以上、本開示に係る第一の実施形態について説明した。本実施形態によれば、コンテンツの表示サイズに基づいて表示オブジェクトを特定することで、ユーザが背景を視認し難い状況の発生を抑制することが可能である。例えば、表示サイズが所定の閾値より大きい場合には、視認性の低い表示オブジェクト(例えば半透過の表示オブジェクト)が表示され、背景と当該表示オブジェクト重なる領域であってもユーザは背景を視認することが可能である。
 <<2.第二の実施形態>>
  <2-1.第二の実施形態の概要>
 上述した第一の実施形態では、コンテンツの表示サイズに基づいて特定される表示オブジェクトが表示される例を説明した。これに対し、以下では、第二の実施形態として、コンテンツの位置と、視点の位置との間の位置関係に基づいて特定される表示オブジェクトを表示させる情報処理装置の例について説明する。
 第二の実施形態に係る情報処理装置では、コンテンツの位置と視点の位置と、が近い位置関係にある場合に、視認性の低い表示オブジェクトが表示されるように表示制御を行うことで、ユーザが背景を視認し難い状況の発生を抑制する。以下では、上記の効果を奏する第二の実施形態の構成と動作を順次詳細に説明する。
  <2-2.第二の実施形態の構成>
 本開示の第二の実施形態に係る情報処理装置1は第一の実施形態に係る情報処理装置1と同様に、透過型の表示部を有する眼鏡型の表示デバイスである。本実施形態に係る情報処理装置1は、第一の実施形態に係る情報処理装置1と一部において同様の構成を有するため、適宜省略しながら説明を行う。
 本実施形態に係る情報処理装置1の外観は、図1を参照して説明した第一の実施形態に係る情報処理装置1の外観と同様である。また、本実施形態に係る情報処理装置1は、図2に示した第一の実施形態に係る情報処理装置1と同様に、撮像部110、画像認識部120、表示制御部130、センサ部140、閾値設定部150、判定部160、記憶部170、表示部180を備える。本実施形態に係る撮像部110、画像認識部120、表示部180の構成は、第一の実施形態に係る撮像部110、画像認識部120、センサ部140、表示部180の構成と実質的に同一であるため、説明を省略する。以下では、本実施形態に係る表示制御部130、閾値設定部150、判定部160、記憶部170について、第一の実施形態に係る表示制御部130、閾値設定部150、判定部160、記憶部170と異なる部分を中心に説明を行う。
 (表示制御部)
 本実施形態に係る表示制御部130は、第一の実施形態に係る表示制御部130と同様に、画像認識部120から提供される実空間の三次元情報や物体情報、及び環境情報等に基づいて、表示オブジェクトを透過型の表示部180に表示させる。
 本実施形態に係る表示制御部130は、仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置との間の位置関係に基づいて、表示部180に表示させる表示オブジェクトを特定する。例えば、表示制御部130は、コンテンツの位置と視点の位置が第一の位置関係にあると判断される場合に、当該コンテンツに対応する第一のオブジェクトがレンダリング画像中に含まれて表示され、コンテンツの位置と視点の位置が第二の位置関係にあると判断される場合に、当該コンテンツに対応する第二のオブジェクトがレンダリング画像中に含まれて表示されるように、表示制御を行う。また、ここで、第一の位置関係におけるコンテンツの位置と視点の位置との間の距離よりも、第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短い場合、本実施形態に係る表示制御部130は、第一の表示オブジェクトの視認性より、第二の表示オブジェクトの視認性が低いように、表示オブジェクトの特定を行ってもよい。
 なお、コンテンツの位置が実空間における物体と対応付けて仮想空間において設定されている場合には、視点の位置は実空間におけるユーザの位置に基づいて特定されてもよい。また、第一の実施形態において説明したように、コンテンツの位置と視点の位置は仮想空間で設定される座標系における座標値として表現されてもよい。
 例えば、表示制御部130は、コンテンツの位置と視点の位置との間の距離(以下、単に距離と呼ぶ場合がある)に基づいて、当該コンテンツに対応する表示オブジェクトを特定することで、上記のような表示制御を行ってもよい。かかる構成によれば、表示制御部130は、コンテンツの位置と視点の位置との間の距離に応じて適切な表示オブジェクトを表示させることが可能となる。
 また、第一の実施形態と同様に、上記で説明した本実施形態に係る第一の表示オブジェクトと、第二の表示オブジェクトは、レンダリング方法、色、テクスチャ、透過度、模様のうち少なくともいずれか一つが異なることで、視認性が異なってもよい。上記の特徴と、視認性の高低の関係は第一の実施形態において説明した通りであるため、ここでの説明は省略する。
 また、本実施形態においては、上記で説明した本実施形態に係る第一の表示オブジェクトと、第二の表示オブジェクトは、表示されるサイズが異なることで、視認性が異なってもよい。例えば、第一の表示オブジェクトは、第一のサイズ(例えば、コンテンツの位置や視点の位置等から特定される表示サイズ)で表示され、第二の表示オブジェクトは、第一のサイズより小さい第二のサイズで表示されてもよい。また、第一の表示オブジェクトから、一部を省いたオブジェクトが第二の表示オブジェクトであってもよい。例えば、第一の表示オブジェクトはアイコンと説明文章が含まれ、第二の表示オブジェクトにはアイコンのみが含まれることで、第一の表示オブジェクトと第二の表示オブジェクトの視認性が異なってもよい。
 例えば、本実施形態に係る表示制御部130は、コンテンツの位置と視点の位置とが近づく程、透過度の高い表示オブジェクトが表示されるように、表示制御を行ってもよい。
 図11は、本実施形態に係る表示制御部130による表示制御の概要を模式的に示す説明図である。例えば、図11に示すように、ユーザU1からのコンテンツまでの距離が、距離D3である場合、表示制御部130は無透過の通常オブジェクトM26を特定し、表示部180に表示させてもよい。また、図11に示すように、ユーザU1からのコンテンツまでの距離が、距離D3より短い距離D2である場合、表示制御部130は視認性の低い半透過の特殊オブジェクトM24を特定し、表示部180に表示させてもよい。また、図11に示すように、ユーザU1からのコンテンツまでの距離が、距離D2よりさらに短い距離D1である場合、表示制御部130はさらに視認性の低い全透過の特殊オブジェクトM24を特定し、表示部180に表示させてもよい(非表示としてもよい)。すなわち、ユーザU1とコンテンツに対応する表示オブジェクトが非接触の状態において、ユーザU1からコンテンツまでの距離が近いほど、コンテンツに対応する表示オブジェクトの視認性を低下させてもよい。
 なお、本実施形態に係る表示制御部130は、後述する判定部160による判定に基づいて、上記で説明したような表示オブジェクトの特定を行ってもよい。例えば、後述する判定部160が視認性の低いオブジェクトを表示すべきであると判定した場合には、表示制御部130は、コンテンツに対応する表示オブジェクトとして、特殊オブジェクト(視認性の低いオブジェクト)を特定し、表示部180に表示させる。
 また、本実施形態に係る表示制御部130は、判定部160が行う所定の閾値と距離の比較結果に基づいて、コンテンツに対応する表示オブジェクトの特定を行ってもよい。例えば、距離が当該閾値よりも大きい場合には、コンテンツに対応する表示オブジェクトとして通常オブジェクトが特定され、表示サイズが当該閾値以下の場合には、コンテンツに対応する表示オブジェクトとして特殊オブジェクトが特定されてもよい。
 (閾値設定部)
 本実施形態に係る閾値設定部150は、後述する判定部160による判定のための所定の閾値を設定する。例えば、閾値設定部150が設定する所定の閾値は、後述する判定部160により、コンテンツの位置と視点の位置との間の距離と比較される。また、上述したように、当該比較結果に基づいて、表示制御部130がコンテンツに対応する表示オブジェクトを特定する。したがって、コンテンツに対応する表示オブジェクトは、所定の閾値と、距離の比較により特定される。
 上記所定の閾値は、例えば、ユーザに関するユーザ情報、コンテンツに関するコンテンツ情報、ユーザの置かれた環境を示す環境情報、表示オブジェクトを表示するデバイスに関するデバイス情報のうち、少なくともいずれか一つに基づいて設定されてもよい。ユーザ情報、コンテンツ情報、環境情報、デバイス情報については、第一の実施形態において説明した通りであるため、ここでの説明は省略する。以下では、ユーザ情報、コンテンツ情報、環境情報、及びデバイス情報に基づく、閾値設定部150による閾値設定の例をいくつか説明する。
 例えば、コンテンツサイズが大きいと、距離が大きくてもユーザの視界を妨げやすいため、閾値設定部150は、例えばコンテンツ情報に含まれるコンテンツサイズが大きい程閾値が大きくなるように、閾値を設定してもよい。図12は、コンテンツサイズに基づく閾値設定の例を模式的に示す説明図である。例えば、コンテンツサイズ(高さ、または横幅)をS、表示デバイス(表示部180)の表示画角(高さ方向、または横幅方向)をθとすると、当該コンテンツサイズを有する表示オブジェクトが画角内に収まる距離dは次式のように求められる。
Figure JPOXMLDOC01-appb-M000003
 図12に示すように、ユーザU2とコンテンツとの距離が式(3)で得られたd以上であれば、コンテンツサイズSの表示オブジェクトM28は、表示部180の表示画角内に全て表示可能である。したがって、例えば、上記dを閾値として設定してもよいし、上記dに所定値を加えた値や、上記dに所定値を乗算した値を閾値として設定してもよい。なお、コンテンツサイズに基づく閾値の設定方法は上記の例に限定されず、例えば、閾値設定部150は、コンテンツサイズに基づいて、表示オブジェクトが表示部180のうち所定の割合を占める距離を算出し、当該距離を閾値として設定してもよい。
 また、閾値設定部150は、ユーザ情報に含まれる動き情報に基づき、コンテンツの位置と視点の位置とが近づく場合と、遠ざかる場合とで、閾値が異なるように、閾値を設定してもよい。例えば、ユーザがコンテンツに近づく場合には閾値が小さくなり、ユーザがコンテンツから遠ざかる場合には閾値が大きくなるように、閾値を設定してもよい。かかる構成によれば、コンテンツの位置と視点の位置との間の距離が頻繁に変わる場合に、表示オブジェクトが頻繁に切り替えられてしまう(チラついて見えてしまう)ことを抑制することが可能である。
 以上、本実施形態に係る閾値設定部150による閾値設定の例について説明したが、閾値設定部150による閾値設定の方法は上記の例に限定されない。閾値設定部150は、上記の方法に限らず、コンテンツがユーザにとって邪魔になりやすい場合に閾値が大きくなるように、閾値を設定してもよい。すなわち、本実施形態に係る閾値設定部150は、第一の実施形態において説明した閾値設定の例と同様の方法で閾値設定を行うことが可能である。例えば、本実施形態に係る閾値設定部150は、第一の実施形態に係る表示サイズの閾値が小さくなるように閾値設定される例と同様の場合において、本実施形態に係る距離の閾値が大きくなるように、閾値を設定してもよい。かかる構成によれば、コンテンツがユーザにとって邪魔になりやすい状況では、視認性が低く、ユーザの邪魔になりにくい表示オブジェクト(特殊オブジェクト)が表示されやすくなる。
 なお、本実施形態に係る閾値設定部150は、複数の閾値を設定してもよい。かかる場合、閾値の数に応じて、複数段階に視認性の異なる表示オブジェクトが用意されてもよい(記憶部170に記憶されてもよいし、表示制御部130によって生成されてもよい)。例えば、閾値が2つ設定された場合には、図11を参照して説明したように、3つの表示オブジェクト(通常オブジェクトと、2つの特殊オブジェクト)が用意され、距離に応じて、より細かな表示制御を行うことが可能である。
 (判定部)
 本実施形態に係る判定部160は、閾値設定部150により設定された所定の閾値と、コンテンツの位置と視点の位置との間の距離を比較し、比較結果を表示制御部130に提供する。
 また、判定部160は上述のユーザ情報、コンテンツ情報、環境情報、デバイス情報等に基づいて、視認性の低い表示オブジェクトが表示(特定)されるべき(距離によらず強制的に表示が切り替えられるべき)であるか否かを判定してもよい。本実施形態に係る判定部160による当該判定(以下、強制切り替え判定と呼ぶ場合がある。)は、第一の実施形態で説明した強制切り替え判定の例と同様に行われてもよい。
 (記憶部)
 本実施形態に係る記憶部170は、第一の実施形態に係る記憶部170と同様にコンテンツの情報(コンテンツ情報)と表示オブジェクトの情報を記憶する。記憶部170は、一のコンテンツ対応する表示オブジェクトとして、視認性の高い表示オブジェクト(通常オブジェクト)と、視認性の低い表示オブジェクト(特殊オブジェクト)を記憶し、表示制御部130に提供してもよい。例えば、本実施形態に係る記憶部170は、あるコンテンツに対応する通常オブジェクトとして、アイコンと説明文章が含まれる表示オブジェクトを記憶し、特殊オブジェクトとして、アイコンのみからなる表示オブジェクトを記憶してもよい。
 また、記憶部170は、一のコンテンツ対応する表示オブジェクトとして通常オブジェクトのみを記憶し、表示制御部130は、記憶部170から提供された当該通常オブジェクトに特定の処理を施すことで、特殊オブジェクトを取得(生成)してもよい。
 記憶部170に記憶されるコンテンツ情報に係るコンテンツは、第一の実施形態において図4~8を参照して説明したコンテンツの例と同様であり、例えば、テキストデータ、画像、3Dモデル、エフェクト、マーキング、シルエット等を含んでもよい。
  <2-3.第二の実施形態の動作>
 以上、本開示の第二の実施形態に係る情報処理装置1の構成例について説明した。続いて、図13、14を参照して、本実施形態に係る情報処理装置1の二つの動作例について、特に表示制御部130、閾値設定部150、判定部160による表示オブジェクトの特定と表示制御に関する動作に着目して説明する。
 (動作例1)
 図13は、本実施形態に係る情報処理装置1の動作例(動作例1)を説明するためのフローチャート図である。まず、閾値設定部150が、ユーザ情報、コンテンツ情報、環境情報、デバイス情報等に基づき、閾値の設定を行う(S202)。続いて、判定部160が、距離によらず視認性の低い表示オブジェクトが表示されるべきであるか否か、判定(強制切り替え判定)を行う(S204)。
 強制切り替え判定において、視認性の低い表示オブジェクトが表示されるべきであると判定された場合(S204においてYES)、表示制御部130は、特殊オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S212)。
 一方、強制切り替え判定において、視認性の低い表示オブジェクトが表示されるべきであると判定されなかった場合(S204においてNO)、表示制御部130は、コンテンツの位置と視点の位置との間の距離を計算する(S206)。
 続いて、判定部160は、閾値設定部150により設定された閾値と距離の比較を行う(S208)。距離が閾値より大きい場合(S208においてYES)、表示制御部130は、通常オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S210)。一方、距離が閾値以下である場合(S208においてNO)、表示制御部130は、特殊オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S212)。
 なお、現状のコンテンツの位置と視点の位置との間の位置関係に応じた表示オブジェクトを表示するため、上述した一連の処理は、当該一連の処理が終了次第、または定期的に、繰り返し実行されてもよい。
 (動作例2)
 上記において図13を参照して説明した動作例1では、所定の閾値が1つ設定された例を説明した。以下では、動作例2として、所定の閾値が複数設定される場合の動作例について説明する。上述したように、閾値が複数設定される場合、閾値の数に応じて、複数段階に視認性の異なる表示オブジェクトが用意される。本動作例では、2つの閾値(閾値a、及び閾値b)が設定され、視認性の異なる3つの表示オブジェクト(通常オブジェクト、特殊オブジェクトA、特殊オブジェクトB)を用いた表示制御が行われる例を説明する。なお、閾値aは閾値bよりも大きく、また、特殊オブジェクトAは通常オブジェクトよりも視認性が低く特殊オブジェクトBよりも視認性が高い表示オブジェクトであるとする。例えば、通常オブジェクトが無透過の表示オブジェクト、特殊オブジェクトAが半透過の表示オブジェクト、特殊オブジェクトBが特殊オブジェクトAの透過度よりも透過度の高い表示オブジェクトであってもよい。図14は、本実施形態に係る情報処理装置1の他の動作例(動作例2)を説明するためのフローチャート図である。
 まず、閾値設定部150が、ユーザ情報、コンテンツ情報、環境情報、デバイス情報等に基づき、二つの閾値(閾値a、及び閾値b)の設定を行う(S252)。続いて、判定部160が、距離によらず視認性の低い表示オブジェクトが表示されるべきであるか否か、判定(強制切り替え判定)を行う(S254)。
 強制切り替え判定において、視認性の低い表示オブジェクトが表示されるべきであると判定された場合(S254においてYES)、表示制御部130は、特殊オブジェクトBを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S266)。
 一方、強制切り替え判定において、視認性の低い表示オブジェクトが表示されるべきであると判定されなかった場合(S254においてNO)、表示制御部130は、コンテンツの位置と視点の位置との間の距離を計算する(S256)。
 続いて、判定部160は、閾値設定部150により設定された閾値aと距離の比較を行う(S258)。距離が閾値aより大きい場合(S258においてYES)、表示制御部130は、通常オブジェクトを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S260)。一方、距離が閾値a以下である場合(S258においてNO)、判定部160は、閾値設定部150により設定された閾値bと距離の比較を行う(S262)。距離が閾値bより大きい場合(S262においてYES)、表示制御部130は、特殊オブジェクトAを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S264)。一方、距離が閾値b以下である場合(S262においてNO)、表示制御部130は、特殊オブジェクトBを表示すべき表示オブジェクトとして特定し、表示部180に表示させる(S266)。
 なお、現状のコンテンツの位置と視点の位置との間の位置関係に応じた表示オブジェクトを表示するため、上述した一連の処理は、当該一連の処理が終了次第、または定期的に、繰り返し実行されてもよい。
  <2-4.第二の実施形態の効果>
 以上、本開示に係る第一の実施形態について説明した。本実施形態によれば、コンテンツの位置と視点の位置との位置関係に基づいて、表示オブジェクトを特定することで、ユーザが背景を視認し難い状況の発生を抑制することが可能である。
 <<3.ハードウェア構成例>>
 以上、本開示の各実施形態を説明した。上述した表示制御処理、閾値設定処理、判定処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置1のハードウェアとの協働により実現される。
 図15は、情報処理装置1のハードウェア構成の一例を示す説明図である。図15に示したように、情報処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入力装置14と、出力装置15と、ストレージ装置16と、撮像装置17と、通信装置18とを備える。
 CPU11は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。また、CPU11は、マイクロプロセッサであってもよい。ROM12は、CPU11が使用するプログラムや演算パラメータ等を記憶する。RAM13は、CPU11の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバスにより相互に接続されている。主に、CPU11、ROM12及びRAM13とソフトウェアとの協働により、画像認識部120、表示制御部130、閾値設定部150、判定部160の機能が実現される。
 入力装置14は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU11に出力する入力制御回路等から構成されている。情報処理装置1のユーザは、該入力装置14を操作することにより、情報処理装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置15は、例えば、液晶ディスプレイ(LCD)装置、OLED装置及びランプ等の表示装置を含む。さらに、出力装置15は、スピーカー及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置15は、図2を参照して説明した表示部180に対応する。
 ストレージ装置16は、データ格納用の装置である。ストレージ装置16は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置16は、CPU11が実行するプログラムや各種データを格納する。ストレージ装置16は、図2を参照して説明した記憶部170に対応する。
 撮像装置17は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置17は、図2を参照して説明した撮像部110に対応する。
 通信装置18は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置18は、無線LAN(Local Area Network)対応通信装置、LTE(Long Term Evolution)対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース(登録商標)通信装置を含んでもよい。
 <<4.むすび>>
 以上説明したように、本開示の各実施形態によれば、ユーザが背景を視認し難い状況の発生を抑制することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記実施形態では、表示サイズ、または距離が閾値と比較され、比較結果に応じて表示される表示オブジェクトが特定され、表示オブジェクトが切り替えられる例を説明したが、本技術はかかる例に限定されない。例えば、表示オブジェクトの切り替えが発生する際、切り替え前の表示オブジェクトと切り替え後の表示オブジェクトがアルファブレンドされながら表示されてもよい。また、切り替え前の表示オブジェクトがフェードアウトした後に切り替え後の表示オブジェクトがフェードインするように表示制御が行われてもよい。上記のアルファブレンドや、フェードアウト、フェードインの動作は、表示サイズや距離の変化に応じて行われてもよいし、時間変化に応じて行われてもよい。また、表示制御部は、表示サイズや距離の変化に応じて視認性に関するパラメータ(透過度、明度、色等)を変化させて、表示オブジェクトを生成(特定)してもよい。
 また、上記実施形態では、一のコンテンツに関する表示サイズ、または距離に基づく表示制御について説明したが、本技術はかかる例に限定されない。例えば、複数のコンテンツが存在する場合、表示サイズ、または距離に関する比較判定等はコンテンツごと独立に行われてもよいし、複数の表示サイズ、または距離を合計した値や最大値、最小値、平均値等を用いて比較判定が行われてもよい。
 また、上記実施形態では、表示オブジェクトが光学シースルー型の表示部を有する眼鏡型の表示デバイスに表示される例を説明したが、本技術はかかる例に限定されない。例えば、撮像部により取得された実空間(背景)の画像に表示オブジェクトを重畳して生成した画像を、表示部に表示させる情報処理装置(ビデオシースルー型のヘッドマウントディスプレイ等)に本技術が適用されてもよい。また、自動車のフロントガラス等に画像を表示させるヘッドアップディスプレイに本技術が適用されてもよいし、設置型の表示デバイスに本技術が適用されてもよい。また、仮想空間を背景として、仮想空間内に表示オブジェクトが配置された画像をレンダリングして非透過型の表示部に表示させる情報処理装置に本技術が適用されてもよい。なお、上記実施形態では、実空間を背景として表示オブジェクトが表示される例を説明したが、非透過型の表示部に表示させる情報処理装置に本技術が適用される場合には、仮想空間を背景として表示オブジェクトが表示されてもよい。
 また、上記実施形態では、表示制御を行う情報処理装置が表示部を有する例を説明したが、本技術はかかる例に限定されない。例えば、表示制御を行う情報処理装置と、表示部を有する表示デバイスは異なる装置であってもよい。
 また、上記実施形態では、表示制御を行う情報処理装置が撮像部や画像認識部、閾値設定部、記憶部等を備える例を説明したが、本技術はかかる例に限定されない。例えば、表示制御を行う情報処理装置は、撮像画像や画像認識結果、表示サイズ、コンテンツの位置と視点の位置との間の距離、閾値、コンテンツ、表示オブジェクト等の情報を他の装置から直接、またはネットワーク等を介して受け取って表示制御を行ってもよい。
 また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、情報処理装置1に内蔵されるCPU、ROM及びRAM等のハードウェアに、上述した情報処理装置1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、表示制御を行う表示制御部を備え、
 前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理装置。
(2)
 前記表示制御部は、前記コンテンツの位置と前記視点の位置との間の距離に基づいて、前記コンテンツに対応する仮想オブジェクトを特定することで、前記表示制御を行う、前記(1)に記載の情報処理装置。
(3)
 前記第一の仮想オブジェクトと、前記第二の仮想オブジェクトは、レンダリング方法、色、テクスチャ、透過度、模様、のうち少なくともいずれか一つが異なる、前記(2)に記載の情報処理装置。
(4)
 前記コンテンツに対応する前記仮想オブジェクトは、さらにユーザ情報に基づいて特定される、前記(2)または(3)に記載の情報処理装置。
(5)
 前記ユーザ情報は、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報、のうち少なくともいずれか一つを含む、前記(4)に記載の情報処理装置。
(6)
 前記コンテンツに対応する前記仮想オブジェクトは、さらに前記コンテンツに関するコンテンツ情報に基づいて特定される、前記(2)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記コンテンツ情報は、表示位置、色、アニメーション特性、コンテンツ属性、コンテンツ解像度、コンテンツサイズのうち少なくともいずれか一つの情報を含む、前記(6)に記載の情報処理装置。
(8)
 前記コンテンツに対応する前記仮想オブジェクトは、さらにユーザの置かれた環境を示す環境情報に基づいて特定される、前記(2)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記環境情報は、背景、照度、場所のうち少なくともいずれか一つを含む、前記(8)に記載の情報処理装置。
(10)
 前記コンテンツに対応する前記仮想オブジェクトは、さらに前記仮想オブジェクトを表示するデバイスに関するデバイス情報に基づいて特定される、前記(2)~(9)のいずれか一項に記載の情報処理装置。
(11)
 前記デバイス情報は、ディスプレイサイズ、ディスプレイ解像度、バッテリ、3D表示機能、デバイス位置、のうち少なくともいずれか一つの情報を含む、前記(10)に記載の情報処理装置。
(12)
 前記コンテンツに対応する前記仮想オブジェクトは、所定の閾値と、前記距離の比較により特定される、前記(2)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記所定の閾値は、複数設定される、前記(12)に記載の情報処理装置。
(14)
 前記所定の閾値は、ユーザ情報、コンテンツ情報、環境情報、デバイス情報、のうち少なくともいずれか一つに基づいて設定される、前記(12)に記載の情報処理装置。
(15)
 前記コンテンツは、テキストデータ、画像、3Dモデル、エフェクト、マーキング、シルエット、のうち少なくともいずれか一つを含む、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記コンテンツの位置は、実物体のセンシング結果に基づいて特定される、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
 前記レンダリング画像のレンダリングに用いられる視線方向は、前記レンダリング画像を表示する表示部の位置または姿勢の検出結果に応じて特定される、前記(16)に記載の情報処理装置。
(18)
 前記表示制御部は、前記第一の仮想オブジェクトまたは前記第二の仮想オブジェクトを透過型の表示部に表示させる、前記(17)に記載の情報処理装置。
(19)
 仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、情報処理装置が表示制御を行うことを含み、
 前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理方法。
(20)
 コンピュータシステムに、仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低いように表示制御を行う表示制御機能を実現させるための、プログラム。
 1 情報処理装置
 110 撮像部
 120 画像認識部
 130 表示制御部
 140 センサ部
 150 閾値設定部
 160 判定部
 170 記憶部
 180 表示部
 182 空間光変調部
 184 コリメート光学系
 186 導光板

Claims (20)

  1.  仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、表示制御を行う表示制御部を備え、
     前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理装置。
  2.  前記表示制御部は、前記コンテンツの位置と前記視点の位置との間の距離に基づいて、前記コンテンツに対応する仮想オブジェクトを特定することで、前記表示制御を行う、請求項1に記載の情報処理装置。
  3.  前記第一の仮想オブジェクトと、前記第二の仮想オブジェクトは、レンダリング方法、色、テクスチャ、透過度、模様、のうち少なくともいずれか一つが異なる、請求項2に記載の情報処理装置。
  4.  前記コンテンツに対応する前記仮想オブジェクトは、さらにユーザ情報に基づいて特定される、請求項2に記載の情報処理装置。
  5.  前記ユーザ情報は、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報、のうち少なくともいずれか一つを含む、請求項4に記載の情報処理装置。
  6.  前記コンテンツに対応する前記仮想オブジェクトは、さらに前記コンテンツに関するコンテンツ情報に基づいて特定される、請求項2に記載の情報処理装置。
  7.  前記コンテンツ情報は、表示位置、色、アニメーション特性、コンテンツ属性、コンテンツ解像度、コンテンツサイズのうち少なくともいずれか一つの情報を含む、請求項6に記載の情報処理装置。
  8.  前記コンテンツに対応する前記仮想オブジェクトは、さらにユーザの置かれた環境を示す環境情報に基づいて特定される、請求項2に記載の情報処理装置。
  9.  前記環境情報は、背景、照度、場所のうち少なくともいずれか一つを含む、請求項8に記載の情報処理装置。
  10.  前記コンテンツに対応する前記仮想オブジェクトは、さらに前記仮想オブジェクトを表示するデバイスに関するデバイス情報に基づいて特定される、請求項2に記載の情報処理装置。
  11.  前記デバイス情報は、ディスプレイサイズ、ディスプレイ解像度、バッテリ、3D表示機能、デバイス位置、のうち少なくともいずれか一つの情報を含む、請求項10に記載の情報処理装置。
  12.  前記コンテンツに対応する前記仮想オブジェクトは、所定の閾値と、前記距離の比較により特定される、請求項2に記載の情報処理装置。
  13.  前記所定の閾値は、複数設定される、請求項12に記載の情報処理装置。
  14.  前記所定の閾値は、ユーザ情報、コンテンツ情報、環境情報、デバイス情報、のうち少なくともいずれか一つに基づいて設定される、請求項12に記載の情報処理装置。
  15.  前記コンテンツは、テキストデータ、画像、3Dモデル、エフェクト、マーキング、シルエット、のうち少なくともいずれか一つを含む、請求項1に記載の情報処理装置。
  16.  前記コンテンツの位置は、実物体のセンシング結果に基づいて特定される、請求項1に記載の情報処理装置。
  17.  前記レンダリング画像のレンダリングに用いられる視線方向は、前記レンダリング画像を表示する表示部の位置または姿勢の検出結果に応じて特定される、請求項16に記載の情報処理装置。
  18.  前記表示制御部は、前記第一の仮想オブジェクトまたは前記第二の仮想オブジェクトを透過型の表示部に表示させる、請求項17に記載の情報処理装置。
  19.  仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示されるように、情報処理装置が表示制御を行うことを含み、
     前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低い、情報処理方法。
  20.  コンピュータシステムに、
     仮想空間に定義されるコンテンツの位置と、当該コンテンツのレンダリング画像を生成するために前記仮想空間に定義される視点の位置とが第一の位置関係にあると判断される場合に、前記コンテンツに対応する第一の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記コンテンツの位置と、前記視点の位置とが第二の位置関係にあると判断される場合に、前記コンテンツに対応する第二の仮想オブジェクトが前記レンダリング画像中に含まれて表示され、前記第一の位置関係における前記コンテンツの位置と前記視点の位置との間の距離よりも、前記第二の位置関係における前記コンテンツの位置と前記視点の位置との間の距離が短く、前記第一の仮想オブジェクトの視認性よりも、前記第二の仮想オブジェクトの視認性が低いように表示制御を行う表示制御機能を実現させるための、プログラム。
PCT/JP2017/006009 2016-03-29 2017-02-17 情報処理装置、情報処理方法、及びプログラム WO2017169272A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/086,785 US10650601B2 (en) 2016-03-29 2017-02-17 Information processing device and information processing method
EP17773820.0A EP3438939A4 (en) 2016-03-29 2017-02-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US16/849,117 US11004273B2 (en) 2016-03-29 2020-04-15 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016066632 2016-03-29
JP2016-066632 2016-03-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/086,785 A-371-Of-International US10650601B2 (en) 2016-03-29 2017-02-17 Information processing device and information processing method
US16/849,117 Continuation US11004273B2 (en) 2016-03-29 2020-04-15 Information processing device and information processing method

Publications (1)

Publication Number Publication Date
WO2017169272A1 true WO2017169272A1 (ja) 2017-10-05

Family

ID=59964232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006009 WO2017169272A1 (ja) 2016-03-29 2017-02-17 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (2) US10650601B2 (ja)
EP (1) EP3438939A4 (ja)
WO (1) WO2017169272A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033380B2 (en) 2018-08-07 2024-07-09 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP7293991B2 (ja) * 2019-08-28 2023-06-20 大日本印刷株式会社 サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1142370A (ja) * 1997-07-25 1999-02-16 Konami Co Ltd ゲーム装置、ゲーム画像処理方法および可読記録媒体
JP2005108108A (ja) * 2003-10-01 2005-04-21 Canon Inc 三次元cg操作装置および方法、並びに位置姿勢センサのキャリブレーション装置
WO2012114639A1 (ja) * 2011-02-23 2012-08-30 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2015084150A (ja) * 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6056178B2 (ja) 1979-02-02 1985-12-09 東ソー株式会社 ポリエチレン又はエチレン共重合体の塗装成型物
DE19952572A1 (de) 1999-11-02 2001-06-07 Brose Fahrzeugteile Motorische Antriebseinheit mit einer elektronischen Steuerungseinrichtung für Verstelleinrichtungen in Kraftfahrzeugen sowie Verfahren zur Steuerung der Antriebseinheit
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP3943975B2 (ja) * 2002-03-29 2007-07-11 キヤノン株式会社 情報処理方法および装置
JP3949674B2 (ja) 2004-05-11 2007-07-25 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
JP5056178B2 (ja) 2007-06-06 2012-10-24 日産自動車株式会社 電着塗膜の乾燥方法及び電着乾燥炉
US8797360B2 (en) * 2008-04-18 2014-08-05 Sony Corporation Image display device, method for controlling image display device, and information storage medium
JP2012174237A (ja) * 2011-02-24 2012-09-10 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP5989315B2 (ja) * 2011-09-22 2016-09-07 任天堂株式会社 表示制御プログラム、表示制御システム、表示制御装置、および、表示制御方法
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP6064544B2 (ja) * 2012-11-27 2017-01-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び端末装置
WO2014156033A1 (en) 2013-03-26 2014-10-02 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
JP5845211B2 (ja) * 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法
JP5824537B2 (ja) * 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
US10019831B2 (en) * 2016-10-20 2018-07-10 Zspace, Inc. Integrating real world conditions into virtual imagery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1142370A (ja) * 1997-07-25 1999-02-16 Konami Co Ltd ゲーム装置、ゲーム画像処理方法および可読記録媒体
JP2005108108A (ja) * 2003-10-01 2005-04-21 Canon Inc 三次元cg操作装置および方法、並びに位置姿勢センサのキャリブレーション装置
WO2012114639A1 (ja) * 2011-02-23 2012-08-30 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2015084150A (ja) * 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3438939A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033380B2 (en) 2018-08-07 2024-07-09 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
US11004273B2 (en) 2021-05-11
EP3438939A1 (en) 2019-02-06
US20190088020A1 (en) 2019-03-21
EP3438939A4 (en) 2019-03-27
US20200242847A1 (en) 2020-07-30
US10650601B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US9405977B2 (en) Using visual layers to aid in initiating a visual search
US20150161762A1 (en) Information processing apparatus, information processing method, and program
US11004273B2 (en) Information processing device and information processing method
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
US20180190019A1 (en) Augmented reality user interface visibility
CN111294586B (zh) 图像显示方法、装置、头戴显示设备及计算机可读介质
CN108885497B (zh) 信息处理装置、信息处理方法和计算机可读介质
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US10853681B2 (en) Information processing device, information processing method, and program
US20200135150A1 (en) Information processing device, information processing method, and program
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN112578983B (zh) 手指取向触摸检测
WO2020184029A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017773820

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017773820

Country of ref document: EP

Effective date: 20181029

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773820

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP