WO2023277020A1 - 画像表示システム及び画像表示方法 - Google Patents

画像表示システム及び画像表示方法 Download PDF

Info

Publication number
WO2023277020A1
WO2023277020A1 PCT/JP2022/025782 JP2022025782W WO2023277020A1 WO 2023277020 A1 WO2023277020 A1 WO 2023277020A1 JP 2022025782 W JP2022025782 W JP 2022025782W WO 2023277020 A1 WO2023277020 A1 WO 2023277020A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
image
viewpoint position
space
Prior art date
Application number
PCT/JP2022/025782
Other languages
English (en)
French (fr)
Inventor
塁 佐藤
Original Assignee
株式会社バーチャルウインドウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社バーチャルウインドウ filed Critical 株式会社バーチャルウインドウ
Priority to EP22830371.5A priority Critical patent/EP4365887A1/en
Priority to CN202280046923.3A priority patent/CN117716419A/zh
Publication of WO2023277020A1 publication Critical patent/WO2023277020A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Definitions

  • the present invention relates to an image display system and an image display method for displaying on a display an image seen when viewing a three-dimensional object in a virtual three-dimensional space from the user's position.
  • ELFD Eye-sensing Light Field Display
  • ELFD is a technology for stereoscopically displaying an image that can be seen when viewing a three-dimensional object in a virtual three-dimensional space from the user's position.
  • This technology calculates in real time the positions of the left and right eyes in the horizontal, vertical, and depth directions through line-of-sight recognition using face recognition technology.
  • image based on the positional information of the user, assuming that the subject is placed in the display device, an image of the subject being actually viewed by the user with both eyes is obtained and displayed on the display surface.
  • image combined with micro-optical lens technology, it is generated as a light source image emitted from a display panel, and a viewpoint image is presented to both eyes. This allows the user to feel as if the subject is actually there.
  • An object of the present invention is to create a virtual three-dimensional space that does not actually exist in a three-dimensional space that spreads beyond or in front of the display without discomfort to everyone viewing the display when multiple people view the display with the naked eye at the same time. To realize an effect that gives an illusion as if the world or a three-dimensional object exists.
  • An image display system as an example of an aspect of the present invention includes a display having a screen capable of simultaneously displaying different images in a plurality of display directions, and the position, orientation, and shape of the screen in a virtually set reference coordinate space.
  • one or more storage units holding screen layout data, three-dimensional data representing a three-dimensional object on the reference coordinate space, and user viewpoint position data indicating one or more user viewpoint positions on the reference coordinate space; based on the screen arrangement data and the three-dimensional data for each user viewpoint position, the three-dimensional object looks as if the three-dimensional object on the reference coordinate space were viewed from the user viewpoint position through the screen.
  • an image generating unit for generating a display image of each of one or more user viewpoint positions, and for each of one or more user viewpoint positions, the display image generated corresponding to the user viewpoint position is generated from the display toward the user viewpoint position and an image display unit for displaying in a direction.
  • a virtual three-dimensional space that does not actually exist in a three-dimensional space that spreads beyond or in front of the display without discomfort to all viewing the display when multiple people view the display with the naked eye at the same time. It is possible to realize an effect as if the object of
  • FIG. 1 is a block diagram of an image display system of one embodiment; FIG. It is a figure showing an appearance example of one embodiment.
  • FIG. 4 is an explanatory diagram of an image generator in one embodiment;
  • FIG. 2 is an explanatory diagram (Part 1) of an image display unit and a display;
  • FIG. 2 is an explanatory diagram (part 2) of an image display unit and a display; It is a figure which shows the example of a data structure memorize
  • FIG. 4 is a flowchart showing an example of overall processing of the image display system of one embodiment; 9 is a flowchart showing a detailed example of viewpoint position calculation processing; 9 is a flowchart showing a detailed example of image display processing; 8 is a flowchart showing a detailed example of gesture processing; It is a figure which shows the structural example of other embodiment.
  • FIG. 11 is a diagram showing a configuration example of still another embodiment;
  • FIG. 1 is a block diagram of an image display system 100 according to one embodiment.
  • FIG. 2 is a diagram illustrating an appearance example of an embodiment.
  • the image display system 100 includes a display 104, a viewpoint position calculation unit 101, an image generation unit 102, and an image display unit 103. Also, in FIG. 2, a user space imaging unit 202 is provided.
  • the display 104 is, for example, a light field display of the type in which a lenticular lens is attached to the surface of a liquid crystal display, having a screen 201 (FIG. 2) capable of simultaneously displaying different images in a plurality of display directions.
  • the display method of the display is not particularly limited, but may be a liquid crystal display, plasma display, organic EL display, FED (Field Emission Display), mini LED display, micro LED display, or large LED array. It may be a sheet on which an image is projected from the back by a rear projection method.
  • a spherical lens that controls the direction of light, or a large lens or sheet that matches the size of the large LED array may be used.
  • a parallax barrier or the like in which a plurality of slits are arranged may be used instead of the lens element.
  • the method for displaying images in a plurality of display directions is not limited to the lens array method, and may be a method in which a plurality of displays are stacked. A tensor display may also be used.
  • the viewpoint position calculation unit 101 calculates a predetermined reference coordinate space of one or more users 203 existing in the user space ahead of the screen 201 where the user viewing the image displayed on the screen 201 of the display 104 may exist (FIG. 2). Detect each user viewpoint position 204 at the same time.
  • user space imaging units 202-1 and 202-2 (these are the same, and both or either of them may be simply referred to as “user space imaging unit 202”), for example, in the upper part of the display 104.) is installed.
  • the user space imaging unit 202 captures a user space in front of the screen 201 in which the user 203 viewing the image displayed on the screen 201 of the display 104 may exist, and acquires a user space image.
  • the viewpoint position calculation unit 101 executes, for example, face recognition processing based on the user space image captured by the user space imaging unit 202 to detect the user viewpoint position 204 of each user 203 .
  • the use of the image display system 100 is not particularly limited, but in addition to the use of improving the indoor scenery by using the screen 201 of the display 104 as a pseudo window, it can be used in amusement facilities such as game centers and theme parks, and stationary entertainment devices in homes. It can be used as a device that allows the user 203 to experience virtual reality or augmented reality, or as an eye-catching object displayed indoors or outdoors as a work of art or an advertisement.
  • the display 104 of the image display system 100 can be used as a display device in virtual reality or augmented reality technology, and can allow the user 203 to experience realistic virtual reality or augmented reality in the same way as an HMD (head mounted display). Moreover, the user 203 does not have to worry about wearing the device on the head.
  • the installation location of the image display system 100 is not particularly limited.
  • the room in which the display 104 is installed is the user space.
  • the user When used in an entertainment facility, the user is the user 203, and the user is the space used and the range in which the user can move (in this case, the user can take various postures such as sitting, lying on his back, or lying down). Space.
  • one user 203 may be used, but it is assumed that a plurality of users 203 are supported.
  • the storage unit 105 is either or both of a volatile memory and a non-volatile memory.
  • the storage unit 105 stores screen layout data indicating the position, orientation and shape of the screen 201 in a predetermined reference coordinate space, and imaging unit layout indicating the positions and orientations of the user space imaging units 202-1 and 202-2 in the reference coordinate space. It holds data, 3D data representing a virtual 3D object on the reference coordinate space, and one or more pieces of user viewpoint position data.
  • the reference coordinate space is a space represented by a coordinate system (reference coordinate system) having a predetermined origin O that serves as a reference for calculation in this embodiment.
  • the reference coordinate space shown in FIG. 2 and its origin O can be set in any way.
  • the reference coordinate space may be fixed with respect to the screen 201, may be fixed with respect to the user space imaging unit 202, or may be fixed with both the screen 201 and the user space imaging unit 202. , do not need to be fixed.
  • the reference coordinate space is a space of an orthogonal coordinate system having three axes of xyz.
  • the position (x s , y s , z s ) and orientation (Yaw s , Pitch s , Roll s ) 206 of the user space imaging unit 202 and the position (x m , y m , z m ) and orientation (Yaw m , Pitch m , Roll m ) and shape (Height m , Width m ) 205 are set on this reference coordinate space.
  • the screen 201 is rectangular, and its shape is represented by height and width.
  • the position (x h , y h , zh ) of the center of the head of the user 203 on the reference space is set as the user viewpoint position 204 .
  • the user viewpoint position 204 may be the position of the viewpoint of the user 203 or the position of a point that can be regarded as the viewpoint of the user 203 . It is not limited to the example of this embodiment.
  • the center of both eyes of the user 203 may be the user viewpoint position 204 of the user 203 .
  • the user viewpoint position 204 may be the center of the face area recognized by face recognition processing or person recognition processing, or the center of the recognized both eyes.
  • the center of the lens of the user space imaging unit 202 is set to the position 206 (x s , y s , z s ) of the user space imaging unit 202 .
  • the center of the screen 201 is the position 205 (x m , y m , z m ) of the screen 201 .
  • the above-described viewpoint position calculation unit 101 is, for example, a processor that executes a viewpoint position calculation processing program (see step S701 in FIG. 7, which will be described later). Based on the position 206 of the user space imaging unit 202 stored in the storage unit 105 and the user space images acquired by the two user space imaging units 202-1 and 202-2, the viewpoint position calculation unit 101 calculates a reference position. Identify user viewpoint positions 204 of one or more users 203 on the coordinate space.
  • the image generation unit 102 may be the same processor as the viewpoint position calculation unit 101 that executes a display image generation processing program (see step S702 in FIG. 7 described later) for each user. Based on the user viewpoint position 204 calculated by the viewpoint position calculation unit 101 and the screen layout data and the three-dimensional data stored in the storage unit 105, the image generation unit 102 generates images in the virtual space from the user viewpoint position 204 through the screen 201. to generate a display image of a three-dimensional object that looks like the three-dimensional object of .
  • the image display unit 103 may be the same processor as the viewpoint position calculation unit 101 that executes a display control processing program (see step S703 in FIG. 7 described later) for each user. For each user viewpoint position 204 of the user 203 , the image display unit 103 displays the display image generated by the image generation unit 102 corresponding to the user viewpoint position 204 on the screen 201 of the display 104 . is displayed in the direction of the user's viewpoint position corresponding to .
  • each user 203 can see through the screen 201 of the display 104 as if a three-dimensional object exists in the virtual space.
  • the viewpoint position calculation unit 101 when specifying the user viewpoint position 204 of the user 203, the viewpoint position calculation unit 101, for example, extracts a human ( The user 203) is specified, the position where the head of the user 203 is shown in the captured image is specified, and based on the imaging unit arrangement data and the parallax of the head of the user 203 in the two user space images, the user space The distance from the imaging units 202-1 and 202-2 to the head of the user 203 may be calculated.
  • An accurate user viewpoint position 204 can be identified with a simple configuration using the principle of triangulation.
  • the configuration and method for specifying the user viewpoint position 204 are not limited to those using the stereo sensor shown here, and any method can be adopted.
  • the user space imaging unit 202 irradiates a dot pattern infrared laser having a large number of dots, and from the image of the portion hit by each infrared laser in the captured image, the portion hit by each infrared laser is obtained.
  • a method of calculating the distance from the spatial imaging unit 202 may be used.
  • the infrared laser and/or its dot pattern has a predetermined spread angle, and in the portion hit by the infrared laser dot, the farther from the user space imaging unit 202, the larger the dot size and/or the dot interval becomes. .
  • the distance from the user-space imaging unit 202 to the portion irradiated with the infrared laser can be calculated from the dot size and/or the dot interval.
  • the infrared light modulated by the user space imaging unit 202 is irradiated, the infrared light that is reflected by the object and returned is projected onto the array sensor for each pixel, and the irradiated infrared light and the infrared light are received by each pixel.
  • a method of calculating the distance from the user space imaging unit 202 of the object reflecting the infrared laser from the phase difference of the infrared light may be used.
  • there is a technique of calculating the depth of an object in an image from an image captured by a monocular imaging device and this technique may be employed in the user space imaging unit 202 .
  • a physical marker having a predetermined shape and/or size that is easy for a sensor to detect, or a predetermined light such as an infrared LED is emitted to an object that the user or the user 203 is holding or wearing.
  • a method of attaching a light-emitting marker and identifying the user viewpoint position 204 from the position of the marker may be employed in the user space imaging unit 202 .
  • the display 104 and the user space imaging unit 202 may be configured as devices having separate housings as illustrated in FIG. 2, or may be configured integrally with one housing.
  • the display 104 and the user space imaging unit 202 are configured as separate devices, either one of them may be provided with both the viewpoint position calculation unit 101 and the image generation unit 102, or both may be shared by each device. good. In that case, the display 104 and the user space imaging unit 202 communicate by wire or wirelessly.
  • FIG. 3 is an explanatory diagram of the image generator 102 in one embodiment.
  • the user space in front of the screen 201 of the display 104 is real space.
  • the virtual space defined behind the screen 201 is a user viewpoint position 204 (A, B and C) are displayed on the screen 201 as display images.
  • a three-dimensional object in virtual space is defined by three-dimensional data. In the example of FIG. 3, six trees are arranged side by side as three-dimensional objects.
  • the virtual space is defined behind the screen 201 for the sake of explanation. Space may be defined as virtual space.
  • the field of view 301A of the virtual space seen through the pseudo window of the screen 201 is wide, and the screen appears as if all six trees are within the field of view 301A.
  • 201 (display 302A).
  • the virtual space view 301B seen through the pseudo window of the screen 201 becomes narrower, and the field of view 301B has three lines. The entire tree and a portion of the trees on either side of it are displayed as if they were only included (display 302B).
  • the visual field 301C of the virtual space seen through the pseudo window of the screen 201 changes in the x direction. Only the three trees on the right end are included in the field of view 301C.
  • the screen 201 is viewed not from the front but from an oblique direction. display 302C'). For this reason, when displaying a tree on the screen 201, an image that has undergone appropriate expansion/contraction processing is displayed so that it looks like 302C' from the user 203 (display 302C).
  • a process to give the user 203 the illusion that a three-dimensional object in the virtual space exists there looks plausible and natural.
  • a process projective transformation
  • each point of the three-dimensional data in the reference coordinate space may be projected at a point where a straight line connecting the point and the user viewpoint position 204 intersects the screen 201 .
  • a specific matrix or numerical arithmetic processing according to empirical rules is performed on an image or a three-dimensional parameter possessed by the image.
  • the user space imaging unit 202 A common design can be easily applied to systems that differ in the relative positions and/or orientations of the display 104 and the display 104 .
  • the user space imaging unit 202 and the display 104 are separate devices, and in addition to the type of system in which the position to place them can be freely selected, the user space imaging unit 202 and the display 104 are integrally configured and relative to each other. Even in a system with a fixed position and orientation, if there are multiple types with different screen sizes and shapes, the relative positions and orientations of the user space imaging unit 202 and the display 104 will differ for each type.
  • a common design can be applied to those different types.
  • the screens 201 of the plurality of displays 104 are placed on the same reference coordinate space regardless of the positions and angles of the displays 104, and the reference A display image on the screen 104 on the coordinate space can be calculated by a common calculation method.
  • images on multiple displays 104 in the same room can be made continuous with high accuracy. This exhibits a high visual effect in improving the interior scenery of hotels, residences, offices, and the like.
  • FIG. 4 and 5 are explanatory diagrams of the image display unit 103 and the display 104.
  • the display 104 in this embodiment has a screen 201 capable of simultaneously displaying different images in a plurality of display directions.
  • the screen 201 is configured as a set of units of 45 pixels.
  • This unit is hereinafter referred to as an element image 401 . That is, one elemental image 401 consists of 45 pixels, and the RGB display element 500 is arranged in each pixel.
  • the RGB display element 500 is composed of three sub-pixel display elements that display three colors of R (red), G (green), and B (blue). A display element for four colors may be used.
  • An elemental image 401 consisting of 45 pixels corresponds to one pixel of a general display.
  • each elemental image 401 indicates the direction of each optical path of 45 RGB lights displayed on the RGB display element 500 for 45 pixels in the elemental image 401, for example, 0 to 44 shown in FIG.
  • a lens element 402 which is a semicylindrical cylindrical lens called a lenticular lens, is provided for refracting in 45 display directions (hereinafter referred to as “display direction 501”).
  • the above-described image display unit 103 displays the display image (302A in FIG. 3) generated by the image generation unit 102 corresponding to each of the user viewpoint positions 204A, 204B, 204C, and 204D. , 302B, 302C, etc.), for example, from a predetermined origin O (for example, the center position of the screen 201) in the reference coordinate space (FIG. 2) toward each user viewpoint position 204A, 204B, 204C, 204D.
  • Input to the RGB display elements 500 of the pixel numbers corresponding to 502B, 502C, and 502D are described as user viewpoint position directions 502A, 502B, 502C, and 502D.
  • these directions are collectively described as the user viewpoint position direction 502 .
  • the image generation unit 102 calculates, for example, a fixed distance left and right from the user viewpoint position.
  • a right-eye display image and a left-eye display image may be generated that look like a three-dimensional object in a virtual reference space viewed through the screen 201 from the right eye and left eye of the remote user, respectively.
  • the image display unit 103 displays the right-eye display image and the left-eye display image generated corresponding to each user viewpoint position for each of the user viewpoint positions 204A, B, C, and D of the users 203A, 203B, 203C, and 203D.
  • the display image data for the left eye and the RGB display elements 500 with pixel numbers corresponding to the display direction for the right eye and located on both sides of each user viewpoint position direction 502A, 502B, 502C, and 502D corresponding to each user viewpoint position, respectively. is displayed on the RGB display element 500 of the pixel number corresponding to the display direction of .
  • the images in which the display state in the virtual space is controlled for each user 203 are displayed by a plurality of users 203A, 203B, 203C, 203D at various positions with respect to the display 104. can be displayed at the same time.
  • each of the users 203A, 203B, 203C, and 203D can experience realistic stereoscopic vision with naked eyes because images having binocular parallax are incident on the respective right and left eyes.
  • FIG. 6 is a diagram showing a data configuration example recorded in the storage unit 105 in one embodiment.
  • the storage unit 105 stores screen position data 601 , screen orientation data 602 , screen shape data 603 , imaging position data 604 , imaging orientation data 605 , three-dimensional data 606 , one or more users corresponding to the user 203 .
  • Viewpoint position data 607 and display image data 608 corresponding to one or more users 203 are recorded.
  • the screen layout data described above includes screen position data 601, screen orientation data 602, and screen shape data 603 referred to herein.
  • the imaging unit arrangement data described above includes the imaging position data 604 and the imaging attitude data 605 referred to here.
  • the screen position data 601 is data representing the position (x m , y m , z m ) of the screen 201 (see FIG. 2).
  • the position (x m , y m , z m ) of the screen 201 may be determined and set when the display 104 is installed, or may be freely moved after the display 104 is installed and the numerical value of the position information recorded in the storage unit 105 is may be constantly updated as it moves.
  • respective positions ( xm , ym , zm ) are set.
  • the screen orientation data 602 is data representing the orientation (Yaw m , Pitch m , Roll m ) of the screen 201 (see FIG. 2).
  • the orientation (Yaw m , Pitch m , Roll m ) of the screen 201 may be determined and set when the display 104 is installed, or may be set as a fixed value in advance along with the installation conditions of the display 104 at the time of design or shipment. good too.
  • the installation condition may be such that the display 104 is horizontal and fixed to the wall surface, and the postures (Yaw m , Pitch m , Roll m ) when installed according to the installation condition may be set in advance.
  • the display 104 may rotate freely after being installed, and the numerical value of the posture information recorded in the storage unit 105 may be constantly updated according to the rotation.
  • respective postures (Yaw m , Pitch m , Roll m ) are set.
  • the screen shape data 603 is data representing the shape (Height m , Width m ) of the screen 201 .
  • the shape (Height m , Width m ) of the screen 201 may be set to a fixed value for the display 104 in advance at the time of design or shipment, or may be freely deformed after the display 104 is installed and recorded in the storage unit 105.
  • the numerical value of the shape information may be constantly updated according to deformation. When using a plurality of displays 104, each shape ( Heightm , Widthm ) is set.
  • the shape of the screen 201 is assumed to be rectangular, where Height m is the length in the height direction and Width m is the length in the width direction, but the shape of the screen 201 is not limited to a rectangle.
  • the screen 201 may be an isosceles triangle, and its shape may be represented by the length and height of the base.
  • the screen 201 may be trapezoidal, and its shape may be represented by an upper base, a lower base, and a height. It is also possible to use a curved screen as the screen 201 . If the screen has a shape in which a rectangular plane is curved with a specific curvature, the shape can be represented by the height and width of the rectangle and the curvature or radius.
  • screens of various shapes such as spheres, prolate spheres, oblate spheres, and bodies of revolution, may be represented by parameters that characterize the respective shapes. It is possible to define the shape of any screen including those exemplified here on the reference coordinate space and calculate the image to be displayed.
  • the imaging position data 604 is data representing the respective positions (x s , y s , z s ) (see FIG. 2) of the user space imaging units 202-1 and 202-2 described above.
  • the position (x s , y s , z s ) of the imaging position data 604 is determined and set when the user space imaging unit 202 is installed.
  • the imaging attitude data 605 is data representing the attitudes (Yaw s , Pitch s , Roll s ) (see FIG. 2) of the user space imaging units 202-1 and 202-2 described above.
  • the orientation (Yaw s , Pitch s , Roll s ) of the imaging orientation data 605 may be determined and set when the user space imaging unit 202 is installed, or may be determined together with the installation conditions of the user space imaging unit 202 and set as a fixed value in advance. You can keep it.
  • the three-dimensional data 606 is three-dimensional data from which an image to be displayed on the display 104 is generated, and is three-dimensional data representing a three-dimensional object in the virtual space as illustrated in FIG.
  • the three-dimensional data 606 referred to here may be data representing a three-dimensional object in a three-dimensional space, and the specific method is not particularly limited.
  • the data may be data having three-dimensional information created by computer graphics, or may be data obtained by pasting a photographed still image or moving image onto a flat three-dimensional object with no thickness.
  • a still image or a moving image captured by a camera with a wide viewing angle lens with a field of view of 180° or near 360° or a 360° imaging camera, etc. is pasted on the surface of a spherical object with no thickness.
  • the user viewpoint position data 607 is data representing the user viewpoint position 204 described above. Since the user viewpoint position 204 is repeatedly updated by the viewpoint position calculation unit 101, the user viewpoint position data 607 is also updated each time. For example, if the frame rate of the display 104 is 30 fps (frames/second) and the user viewpoint position 204 is updated at the same cycle, the user viewpoint position data 607 will be updated 30 times per second. The user viewpoint position data 607 accumulates time-series data of the user viewpoint positions 204 .
  • a plurality of pieces of user viewpoint position data 607 can also be stored.
  • the display image data 608 is image data obtained by projecting the three-dimensional data 606 so that the three-dimensional object appears to exist in the space beyond the pseudo window of the screen 201 from the user viewpoint position 204 described above.
  • 102 is data of a display image displayed on the screen 201 . Since the data of the display image displayed on the screen 201 is repeatedly updated by the image generation unit 102, the display image data 608 is also updated each time. For example, if the frame rate of the display 104 is 30 fps, the display image data 608 will be updated 30 times per second. When there are a plurality of displays 104 , data to be displayed on the screen 201 of each display 104 is recorded as display image data 608 .
  • the display image data 608 can also be stored for a plurality of images.
  • FIG. 7 is a flowchart of overall processing of the image display system 100 of FIG. 1 according to one embodiment.
  • Each process in FIG. 7 is executed by a processor that implements the viewpoint position calculation unit 101, the image generation unit 102, and the image display unit 103 in FIG.
  • This processor periodically repeats the processing of FIG. 7, so that the image displayed on the display 104 changes with the lapse of time and is recognized by the user 203 as a moving image. For example, if the frame rate of the image displayed on the display 104 is 30 fps, the processor repeats the processing shown in FIG. 7 30 times per second.
  • the viewpoint position calculation unit 101 implemented as a function of a processor executing a viewpoint position calculation processing program or a function of dedicated hardware first executes viewpoint position calculation processing (step S701).
  • This process is a process of calculating the above-described user viewpoint position 204 and recording it in the storage unit 105 as user viewpoint position data 607 . The details of this process will be described later with reference to FIG.
  • the image generation unit 102 implemented as a function of executing an image generation processing program by the same processor as or different from the viewpoint position calculation unit 101 or a function of dedicated hardware executes image generation processing (step S702). .
  • This process is a process of generating an image of a three-dimensional object seen through the screen 201 from the user viewpoint position 204 indicated by the user viewpoint position data 607 recorded in the storage unit 105 and recording the data in the storage unit 105 .
  • the image generator 102 When there are a plurality of displays 104 , the image generator 102 generates images to be displayed on the screens 201 of the respective displays 104 and records the data as display image data 608 .
  • multiple user viewpoint position images are generated for each of the screens 201 of multiple displays 104 , and these data are recorded as multiple display image data 608 .
  • the image display unit 103 implemented as a function of executing an image display processing program by a processor that is the same as or different from that of the viewpoint position calculation unit 101 or a function by dedicated hardware executes image display processing (step S703).
  • This processing is based on the display image data 608 for each user 203 recorded in the storage unit 105, and displays the image of the three-dimensional object seen through the screen 201 for each user at the viewpoint position 204 via the screen 201 of the display 104. This is processing for displaying to the user 203 .
  • the image display unit 103 causes each display 104 to display image data of the three-dimensional object seen through the screen 201 of each display 104 .
  • step S701 is The stereo sensor may share, and the display 104 may share steps S702 and S703.
  • the image generating unit 102 may generate a display image of a three-dimensional object seen through the screen 201 from each user viewpoint position 204 by applying projective transformation to the three-dimensional data 606 .
  • projective transformation the three-dimensional object of the three-dimensional data 606 is mathematically projected onto the screen 201 in consideration of the user viewpoint position 204. Therefore, even when each user 203 views the screen 201 from an oblique direction, the three-dimensional The object is displayed as a probable and natural image according to the user viewpoint position 204 of each user 203 .
  • the viewpoint position calculation unit 101 calculates noise contained in the user viewpoint position 204 based on the time-series user space images up to the present obtained by the user space imaging unit 202, the user viewpoint position 204, or both. You may decide to perform the process of removing.
  • a user viewpoint position 204 is calculated using the results of image processing of the most recent captured user space image as it is, and an image of a three-dimensional object seen from the user viewpoint position 204 is generated. Due to the noise element, the user viewpoint position 204 may be calculated as a position that has suddenly shifted greatly, and as a result, the displayed image may blur for each frame.
  • noise in the user viewpoint position 204 is removed based on the past user space image and the user viewpoint position 204, and then the current user viewpoint position 204 is determined, so blurring of the displayed image can be suppressed. can be done.
  • a method of removing noise there is a method of performing noise determination based on the data of the past user space image and performing noise elimination of the current space image based on the determination result.
  • FIG. 8 is a flowchart showing a detailed example of viewpoint position calculation processing in step S701 of FIG.
  • the viewpoint position calculation unit 101 first executes a feature amount search in the user space image (step S801). This process detects the head of a human (user 203) from within the image captured by either the user space imaging unit 202-1 or 202-2. Processing for detecting a human head from an image can be performed by using face recognition technology, for example. At this time, a method of recognizing a face pattern based on the difference in brightness due to the Haar-like feature may be used. Also, a method of recognizing the face position using a learning device (learned artificial intelligence program) that directly recognizes the user 203 from images trained by deep learning or machine learning, or recognizing the center position of the head directly from the body skeleton. It's okay. At this time, it is possible to simultaneously detect a plurality of heads corresponding to users 203 that may exist in plurality.
  • a learning device learned artificial intelligence program
  • the viewpoint position calculation unit 101 executes image matching processing (step S802). This process compares the user space images captured by the user space imaging units 202-1 and 202-2, and determines the characteristic parts recognized as one or more users 203 searched in one of the user space images in step S801, This is a process of specifying a location in the other user space image in which the same object is captured.
  • the viewpoint position calculation unit 101 identifies pixel coordinates of characteristic regions in both user space images (step 803).
  • the viewpoint position calculation unit 101 calculates the user space image for each of the characteristic part in the user space image captured by the user space imaging unit 202-1 and the characteristic part in the user space image captured by the user space imaging unit 202-2. Get the pixel coordinates in the image.
  • the viewpoint position calculation unit 101 identifies the user viewpoint position 204 by associating each pixel with the three-dimensional coordinates based on the result of the image matching process (step S804). If the pixel coordinates of the location where the same object appears in the two images are identified by the processing in step S803, the three-dimensional coordinates of that location can be identified using the principle of triangulation.
  • each three-dimensional coordinate is specified as each user's viewpoint position 204 .
  • the viewpoint position calculation unit 101 may, for example, set the position of the center of the head as the head position (x h , y h , zh ) (see FIG. 2).
  • the radius of the head is estimated from the user space image, and the three-dimensional coordinates of the position within the radius from the central surface of the head in the depth direction are the head position.
  • the radius may be added to the z value of the three-dimensional coordinates of the central surface of the head.
  • the viewpoint position calculation unit 101 may set the position of the central surface of the head in the user space image as the head position (x h , y h , zh ) (FIG. 2). In that case, the three-dimensional coordinates corresponding to the pixel where the center of the head is displayed will be the head position.
  • the viewpoint position calculation unit 101 detects a region having a person-like feature in an image, and uses the user space imaging units 202-1, 202-2 to After obtaining the distance to the region, the pixel coordinates ( XV , YV ) are obtained, where XV is the center position in the horizontal direction of the feature region and YV is the position about 10 cm below the vertex of the feature region in the vertical direction.
  • a method of simply estimating the user viewpoint position 204 based on the distance to the characteristic region may be adopted. This assumes that the user's viewpoint position 204 is 10 cm below the top of the head.
  • the head of the user 203 is not necessarily captured in both of the user space images captured by the two user space imaging units 202-1 and 202-2.
  • One of the user space images captured by the two user space imaging units 202-1 and 202-2 may be captured due to the difference in position between the user space imaging units 202-1 and 202-2, the influence of obstacles, etc. Only the head of the user 203 may not be shown. In that case, the user viewpoint position 204 may be estimated. As a result, the user viewpoint position 204 can be specified in a wide range and used for generating a display image.
  • the viewpoint position calculation unit 101 records at least one of the data of the images acquired by the user space imaging units 202-1 and 202-2 and the information of the user viewpoint position 204 calculated from the images,
  • the user space image captured by the space imaging unit 202 includes a predetermined user part (here, the head) related to the user viewpoint position 204
  • the user viewpoint position 204 is calculated based on the parallax of a plurality of user space images.
  • the user viewpoint position 204 is estimated based on the data of the one user space image and the past user space image or the past user viewpoint position 204. You may decide to
  • the viewpoint position calculation unit 101 cannot detect the feature amount when the user 203 moves violently or due to the brightness of the room. There may be a case where the user viewpoint position 204 of the user 203 cannot be calculated temporarily from the captured image. In this case, the viewpoint position calculation unit 101 estimates the current user viewpoint position 204 based on the past time-series user viewpoint positions 204 accumulated as the user viewpoint position data 607 in the storage unit 105. good too. Specifically, from the history of the user viewpoint position 204 in the past, three-dimensional vector data indicating the movement speed and movement acceleration of the user 203 and their directions are recorded, and the current user viewpoint position 204 is estimated from these data.
  • the viewpoint position calculation unit 101 corrects the user viewpoint position 204, and the image generation unit 102 generates an image of a three-dimensional object that can be seen through the screen 201 based on the corrected user viewpoint position 204. You can decide. Thereby, the accuracy of the user viewpoint position 204 can be improved.
  • a plurality of stereo sensors having user space imaging units 202-1 and 202-2 are provided, and the user viewpoint position 204 is estimated based on the least squares criterion from the plurality of user viewpoint positions acquired by the stereo sensors.
  • the user viewpoint position 204 may be estimated based on the least-squares criterion from two or more user viewpoint positions obtained by combination. Further, without using the viewpoint position calculation unit 101, the user viewpoint position may be defined in advance as a spatial coordinate value fixed and stored in the storage unit. At a plurality of user viewpoint positions, some of them may be fixed values, or all of them may be fixed.
  • FIG. 9 is a flowchart showing a detailed example of image display processing in step S703 of FIG. This processing will be described below with reference to the explanatory diagram of FIG. 5 mentioned above.
  • the image display unit 103 which is a function of the processor, first displays the 0th display direction 501 among the 45 display directions 501 from the 0th to the 44th shown in FIG. Between the user viewpoint position directions 502 (eg, 502A in FIG. 5) passing through the first viewpoint position 204 (eg, 204A in FIG. 5) among the three or more viewpoint positions 204, for example, each of the 0th to 3rd in FIG. Left-eye display image data generated corresponding to the left-eye display direction of the first viewpoint position 204 (for example, 204A in FIG.
  • step S901 is set in the RGB display elements 500 of each pixel number corresponding to the display direction 501 (step S901). This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • the image display unit 103 increments the variable value indicating the user viewpoint position 204 stored in, for example, a RAM or register (not shown) by +1 (step S905).
  • the image display unit 103 determines whether or not the variable value indicating the user viewpoint position 204 exceeds the last user viewpoint position 204 calculated in step S701 of FIG. 7 (step S906).
  • step S906 the image display unit 103 shifts control to the process of step S902 and executes the processes from steps S902 to S904.
  • the image display unit 103 displays a midpoint direction 503 (eg, 503AB in FIG. 5) passing through the midpoint between the previous user viewpoint position 204 (eg, 204A in FIG. 5) and the current user viewpoint position 204 (eg, 204B in FIG. 5). ) is calculated (step S902).
  • a midpoint direction 503 eg, 503AB in FIG. 5 passing through the midpoint between the previous user viewpoint position 204 (eg, 204A in FIG. 5) and the current user viewpoint position 204 (eg, 204B in FIG. 5).
  • the image display unit 103 displays the user viewpoint position direction 502 (for example, 502A in FIG. 5) passing through the previous user viewpoint position 204 (for example, 204A in FIG. 5) and the currently calculated midpoint direction 503 (for example, 204A in FIG. 503AB), for example, on the RGB display elements 500 of each pixel number corresponding to each display direction 501 from 4th to 10th in FIG.
  • the display image data for the right eye generated corresponding to the direction is set (step S903). This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • the image display unit 103 displays the user viewpoint position direction 502 (for example, 502B in FIG. 5), for example, on the RGB display elements 500 of each pixel number corresponding to each display direction 501 from 11th to 16th in FIG.
  • Left-eye display image data generated corresponding to the left-eye display direction is set (step S904). This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • the image display unit 103 increments the variable value indicating the user viewpoint position 204 by 1 (step S905), and the variable value becomes the last user viewpoint position 204 calculated in step S701 of FIG. It is determined whether or not it has exceeded (step S906).
  • step S906 the image display unit 103 executes the above-described steps S902 to S904 again.
  • step S902 similar to that described above, for example, in FIG. 5, a midpoint direction 503BC passing through the midpoint between the previous user viewpoint position 204B and the current user viewpoint position 204C is calculated.
  • step S903 Similar to that described above, for example in FIG.
  • Right-eye display image data generated corresponding to the display direction of the right eye at the previous user viewpoint position 204B is set to the RGB display elements 500 of each pixel number corresponding to each display direction 501 up to .
  • This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • step S904 similar to that described above, for example, in FIG. 5, for example, the direction 22 in FIG. Left-eye display image data generated corresponding to the left-eye display direction of the current user viewpoint position 204C is set to the RGB display elements 500 of each pixel number corresponding to each display direction 501 from 1 to 26. This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • the image display unit 103 increments the variable value indicating the user viewpoint position 204 by 1 (step S905), and the variable value becomes the last user viewpoint position 204 calculated in step S701 of FIG. It is determined whether or not it has exceeded (step S906).
  • step S906 the image display unit 103 executes the above-described steps S902 to S904 again.
  • step S902 similar to that described above, for example, in FIG. 5, a midpoint direction 503CD passing through the midpoint between the previous user view point position 204C and the current user view point position 204D is calculated.
  • step S903 similar to that described above, for example, in FIG. 5, the direction 502C between the user viewpoint position direction 502C passing through the previous user viewpoint position 204C and the midpoint direction 503CD calculated this time, for example, 27th to 30th directions in FIG.
  • Right-eye display image data generated corresponding to the right-eye display direction of the previous user viewpoint position 204C is set to the RGB display elements 500 of each pixel number corresponding to each display direction 501 up to .
  • This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • step S904 similar to that described above, for example, in FIG. 5, the direction 31 in FIG. Left-eye display image data generated corresponding to the left-eye display direction of the current user viewpoint position 204D is set to the RGB display elements 500 of each pixel number corresponding to each display direction 501 from 1 to 34 .
  • This set of processing is executed for the RGB display elements 500 of each pixel number of each element image 401 (see FIG. 4) forming the screen 201 .
  • the image display unit 103 increments the variable value indicating the user viewpoint position 204 by 1 (step S905), and the variable value becomes the last user viewpoint position 204 calculated in step S701 of FIG. It is determined whether or not it has exceeded (step S906).
  • step S907 the image display unit 103 displays, for example, a view between the user viewpoint position direction 502 (eg, 502D in FIG. 5) passing through the current user viewpoint position 204 (eg, 204D in FIG. 5) and the 44th display direction 501. generated corresponding to the display direction of the right eye of the last user viewpoint position 204 (for example, 204D in FIG. 5) on the RGB display elements of each pixel number corresponding to each display direction 501 from 35th to 44th of 5.
  • the display image data for the right eye e. 502D in FIG. 5
  • the current user viewpoint position 204 eg, 204D in FIG. 5
  • 44th display direction 501 generated corresponding to the display direction of the right eye of the last user viewpoint position 204 (for example, 204D in FIG. 5) on the RGB display elements of each pixel number corresponding to each display direction 501 from 35th to 44th of 5.
  • the image display unit 103 ends the image display processing in step S703 of FIG. 7 illustrated in the flowchart of FIG.
  • Right-eye or left-eye display image data generated corresponding to the right-eye or left-eye display direction of the adjacent viewpoint position 204 is copied and set in each display direction 501 of the section.
  • the display The change sensitivity of the pixels can also be made uniform according to the user viewpoint position 204 of the user 203 .
  • display pixels calculated by performing interpolation processing according to each display direction 501 may be set between two adjacent display images.
  • the viewpoint position calculation unit 101 detects a predetermined gesture made by the user 203 from time-series user space images, and executes predetermined processing corresponding to the gesture.
  • the user space imaging unit 202 acquires a user space image
  • the viewpoint position detection unit 101 detects a predetermined gesture from the user space image, and executes predetermined processing corresponding to the gesture.
  • a desired operation can be performed by gesture operation without a remote controller for operation.
  • FIG. 10 is a flowchart of gesture operation processing of the image display system according to this embodiment.
  • the viewpoint position calculation unit 101 monitors the performance of a predetermined activation gesture based on the user space image updated in chronological order (step S1001).
  • the activation gesture is a preliminary gesture for instructing the image display system 100 .
  • a specific gesture is not particularly limited, but is, for example, a gesture of placing a hand on the head. While the activation gesture is not detected, the image display system 100 does not execute the process even if an instruction gesture for instructing a predetermined process is performed.
  • the viewpoint position calculation unit 101 Upon detecting the activation gesture, the viewpoint position calculation unit 101 next activates a timer (step S1002).
  • This timer is a timer that measures the time for validating the pointing gesture by the activation gesture.
  • the viewpoint position calculation unit 101 may display the reception of a predetermined instruction on the screen 201 of the display 104 to present to the user 203 that the activation gesture has been detected. Further, the viewpoint position calculation unit 101 may continue to display the instruction reception display on the display 104 until the activation gesture is detected or the timer times out.
  • the viewpoint position calculation unit 101 monitors that an instruction gesture is made based on the user space image updated in chronological order (step S1003).
  • the instruction gesture is a gesture for instructing predetermined processing as described above. There may be multiple types of processing that can be instructed by a gesture. In that case, a different instruction gesture may be defined for each process.
  • the viewpoint position calculation unit 101 monitors whether the timer has timed out, and monitors the instruction gesture until the timer times out (NO in step S1005). repeat).
  • the viewpoint position calculation unit 101 returns to the processing in step S1001 and monitors the activation gesture.
  • step S1003 When the pointing gesture is detected before the timer times out (YES in step S1003), the viewpoint position calculation unit 101 executes processing corresponding to the pointing gesture (step S1004). After that, the viewpoint position calculation unit 101 returns to the process of step S1001.
  • the viewpoint position calculation unit 101 detects a predetermined activation gesture from time-series user space images and then detects a predetermined instruction gesture, it executes predetermined processing corresponding to the instruction gesture. Since the process is executed when there is a two-stage gesture, it is possible to suppress the erroneous execution of unintended processes by the user 203 .
  • this embodiment has shown an example of adopting a two-step gesture, it is not limited to this.
  • the image display system 100 may be operated with a one-step gesture. Even in that case, malfunctions can be suppressed by using gestures that are rarely performed in normal operations.
  • processing corresponding to the instruction gesture may be executed.
  • the image display system 100 may have multiple displays 104 .
  • the storage unit 105 holds screen layout data indicating the position, orientation, and shape of the screens 201 of the multiple displays 104 in the reference coordinate space.
  • the viewpoint position calculation unit 101 generates a display image of a three-dimensional object based on the screen layout data (the screen position data 601 and the screen orientation data 602) of the screen 201 and the three-dimensional data 606 for each of the multiple displays 104. Then, each display image is displayed on the screen 201 of the display 104 .
  • the images to be displayed on all the displays 104 can be displayed regardless of the positions and orientations of the plurality of displays 104 installed. It can be calculated by a common calculation method. Further, since the positions and orientations of the screens 201 of all the displays 104 are arranged in the same reference coordinate space and the calculation is performed, the images of the plurality of displays 104 can be aligned with high precision and made continuous. This exhibits a high visual effect, for example, in improving the interior scenery of hotels, residences, offices, and the like.
  • the image display system 100 may have various additional functions.
  • the image display system 100 may include a communication device that connects to a communication network such as the Internet.
  • the image display system 100 may transmit information to the web server or receive information from the web server via the communication device.
  • the above-described gestures may be used to perform operations for transmitting and receiving information.
  • the image display system 100 may be connected to a personal computer and used as a monitor for displaying images of the personal computer (PC).
  • the connection interface unit is, for example, HDMI (High-Definition Multimedia Interface) (HDMI is a registered trademark of HDM Licensing Administrator, Inc. in the United States) or VGA (Video Graphics Array). Operations such as mode switching between the pseudo window and the PC monitor may be performed by the gestures described above.
  • HDMI High-Definition Multimedia Interface
  • VGA Video Graphics Array
  • FIG. 11 illustrates an image display system that displays an image of real space.
  • FIG. 11 is a block diagram of an image display system according to another embodiment.
  • the image display system 1100 has an image display device 1101 and an image acquisition device 1103 .
  • the image display device 1101 and the image acquisition device 1103 are connected via a communication line.
  • the image display device 1101 and the image acquisition device 1103 may acquire and display three-dimensional data based on a photographed image via a communication network.
  • the image display device 1101 and the image acquisition device 1103 may be connected by wired or wireless communication, and the image display device 1101 may display in real time an image returned to the image acquired by the image acquisition device 1103. .
  • the image display device 1101 is the same as the image display system 100 shown in one embodiment, and includes a viewpoint position calculation unit 101, an image generation unit 102, an image display unit 103, a display 104, and two user space imaging units 202-. 1, 202-2, and storage unit 105. In addition to these, it also has an audio output unit 1102 .
  • the image acquisition device 1103 has a display space imaging unit 1104 , a processing unit 1105 and an audio acquisition unit 1106 .
  • the display space imaging unit 1104 acquires an image of the display space, which is the real space for displaying on the display 104 .
  • the audio acquisition unit 1106 acquires audio in the display space.
  • the processing unit 1105 uses the image data acquired by the display space imaging unit 1104 to generate three-dimensional data. The processing unit 1105 then transmits the generated three-dimensional data and the audio data acquired by the audio acquisition unit 1106 to the image display device 1101 .
  • the method by which the processing unit 1105 generates three-dimensional data from the photographed image acquired by the display space imaging unit 1104 is not particularly limited.
  • the captured planar image may be used as it is, or may be divided into a plurality of images of a predetermined size, and the planar images may be arranged in a three-dimensional space.
  • the display space imaging unit 1104 a camera using a lens with a field of view of 180° or a wide viewing angle close to it, a 360° imaging camera, or the like is used.
  • a camera using light field technology in the display space imaging unit 1104 acquires information on the incident direction and intensity of light, and image processing is performed using this information to create a three-dimensional space including depth information.
  • Data obtained by photographing the object can be obtained.
  • This data may be arranged in a three-dimensional space.
  • a photographed image may be three-dimensionalized and arranged in a three-dimensional space.
  • a photographed image having depth information may be captured by a plurality of stereo cameras, and three-dimensional data may be created based on the photographed image and the depth information.
  • the display space imaging unit 1104 is an aggregate of a plurality of single imaging units, and acquires images of the display space captured from a plurality of directions.
  • the image acquisition device 1103 captures the display space, which is the real space to be displayed by the display space imaging unit 1104, and acquires an image.
  • the processing unit 1105 generates three-dimensional data using the image data acquired by the display space imaging unit 1104 .
  • the image display device 1101 uses this three-dimensional data to display an image of the three-dimensional space represented by the three-dimensional data through the screen 201 from the position of the user 203 . Therefore, an image of the real space can be displayed on the display 104 as an image seen from the user's viewpoint position.
  • the audio acquisition unit 1106 acquires audio in the display space. Then, the audio output unit 1102 outputs the audio to the user space. Therefore, since not only the image of the display space but also the sound can be reproduced, the user 203 can visually and audibly feel the real space beyond the pseudo window of the display 104 .
  • the method of using the screen display system 1100 according to the present embodiment is not particularly limited, but the image display device 1101 can be used to simulate the view from the spectators' seats for viewing an actual sports match by arranging the image acquisition device 1103 in a stadium or the like.
  • the image display system 1100 is connected via a communication network, and images and sounds acquired by the image acquisition device 1103 are mutually transmitted and received, thereby performing real-time communication using images and sounds between remote locations. Usage etc. are envisioned.
  • FIG. 12 is a diagram showing a configuration example of still another embodiment. Another embodiment of FIG. 12 implements the present invention as a giant signage device 1200 .
  • a giant signage display 1201 installed on the roof of a building 1203 or the like has the same basic configuration as the display 104 described with reference to FIGS.
  • the users viewing the giant signage display 1201 are, for example, an unspecified number of users around an intersection, and the user space imaging unit 202 as described in FIG. It is difficult to grasp in real time by similar means.
  • FIG. 12 it is assumed that there are virtual users 1202 at several locations (six locations in FIG. 12) that are likely to be viewed by many users, and the data of user viewpoint positions at such locations are collected. , is stored in advance in a storage unit similar to the storage unit 105 in FIG. 1, similarly to the user viewpoint position data 607 in FIG. Then, using the user viewpoint position data 607 stored in this way, control processing similar to the processing in steps S702 and S703 in FIG. 7 and the processing in FIG. 9 according to one embodiment is executed.
  • the user viewpoint position is virtually determined in advance and the processing is performed. It identifies by imaging where the clusters are concentrated, acquires information corresponding to the user's viewpoint position from the identification result, and performs the same processing as in the case of the embodiment described with reference to FIGS. 1 to 9. It is also possible to execute
  • the elemental image 401 is composed of a plurality of pixels as described with reference to FIG. , an example in which a lens element 402 such as a lenticular lens is used for each elemental image 401 has been described, but the present invention is not limited to this.
  • a lens element 402 such as a lenticular lens
  • the lens attached to the surface in addition to the lenticular lens, a spherical lens that controls the direction of light, or a large lens or sheet that matches the size of the large LED array may be used.
  • a parallax barrier or the like having a plurality of slits may be used.
  • the display method of the display is not particularly limited, but may be a liquid crystal display, plasma display, organic EL display, FED (Field Emission Display), mini LED display, micro LED display, or large LED array. It may be a sheet on which an image is projected from the back by a rear projection method. Further, the method for displaying images in a plurality of display directions is not limited to the lens array method, and may be a method in which a plurality of displays are stacked. A tensor display may also be used.
  • image display system 101 viewpoint position calculation unit 102 image generation unit 103 image display unit 104 display 105 storage unit 201 screen 202, 202-1, 202-2 user space imaging unit 203 user 204 user viewpoint position 205 position 206 position 301, 301A , 301B, 301C Field of view 302, 302A, 302B, 302C Display 401 Elemental image 402 Lens element 403 Line of sight direction 501 Display direction 502 User viewpoint position direction 503 Midpoint direction 601 Screen position data 602 Screen posture data 603 Screen shape data 604 Imaging position data 605 imaging attitude data 606 three-dimensional data 607 user viewpoint position data 608 display image data 1100 image display system 1101 image display device 1102 audio output unit 1103 image acquisition unit 1104 display space imaging unit 1105 processing unit 1106 audio acquisition unit 1200 giant signage device 1201 giant signage display 1202 virtual user 1203 building

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの位置から仮想的な三次元空間上の三次元オブジェクトを見たときに見える画像をディスプレイに表示する画像表示技術に関し、複数人が同時にディスプレイを裸眼で見たときに、ディスプレイを見ている全員にとって違和感なくディスプレイの向こう側又は手前側に広がる三次元空間に実際には存在しない仮想の三次元世界や三次元のオブジェクトが存在するかのような錯覚を与える効果を実現する。　ディスプレイ１０４は、複数の表示方向に異なる画像を同時に表示可能な画面を有する。画像生成部１０２は、ディスプレイ１０４の画面に表示される画像を見る１人以上のユーザが存在しうる画面より前方のユーザ空間内の１つ以上のユーザ視点位置毎に夫々、そのユーザ視点位置から画面を介して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成する。画像表示部１０３は、ユーザ視点位置毎に、そのユーザ視点位置に対応して生成された表示画像を、ディスプレイ１０４の画面に、ユーザ視点位置に対応するユーザ視点位置方向に表示させる。

Description

画像表示システム及び画像表示方法
　本発明は、ユーザの位置から仮想的な三次元空間上の三次元オブジェクトを見たときに見える画像をディスプレイに表示する画像表示システム及び画像表示方法に関する。
　従来、ユーザの位置から仮想的な三次元空間上の三次元オブジェクトを見たときに見える画像をディスプレイに立体表示する技術として、視線認識型ライトフィールドディスプレイ（Ｅｙｅ－ｓｅｎｓｉｎｇ　Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｄｉｓｐｌａｙ（ＥＬＦＤ））と呼ばれる技術が知られている（例えば、非特許文献１）。この技術では、顔認識技術を使用した視線認識により、水平・垂直方向及び奥行方向に関して左右の眼それぞれの位置をリアルタイムに算出する。次に、ユーザの位置情報をもとに、表示装置内に被写体が置かれていた場合を想定し、ユーザがそれを実際に両眼で見ている画像を取得し、それをディスプレイ面上での画像に変換し、マイクロオプティカルレンズの技術と組み合わせて、ディスプレイパネルから出す光源画像として生成し、両眼に視点画像を提示する。これにより、実際に被写体がそこにあるかのようにユーザが感じることを可能とする。
横山　一樹、外４名、"視線認識型ライトフィールドディスプレイ　3Dクリエイターの想いを、そのままお客さまへ"、［online］、2020年9月30日、ソニー株式会社R&Dセンター、ソニー株式会社ホームページ、［令和３年６月２６日検索］、インターネット< URL: https://www.sony.com/ja/SonyInfo/technology/stories/LFD/ >
　このような技術を例えばホテル等の仮想窓ディスプレイとして実現することを考えた場合、そのディスプレイを見るユーザは一人であるとは限らず、複数人がそれぞれ異なった場所から見ることが想定される。しかしながら、上記従来技術では、視線認識は一人に対してしか実行することができず、同時に一人のユーザに対してしか表示を行うことができなかった。
　本発明の目的は、複数人が同時にディスプレイを裸眼で見たときに、ディスプレイを見ている全員にとって違和感なくディスプレイの向こう側又は手前側に広がる三次元空間に実際には存在しない仮想の三次元世界や三次元のオブジェクトが存在するかのような錯覚を与える効果を実現することにある。
　本発明の態様の一例の画像表示システムは、複数の表示方向に異なる画像を同時に表示可能な画面を有するディスプレイと、仮想的に設定した所定の基準座標空間における画面の位置、姿勢及び形状を示す画面配置データと、基準座標空間上の三次元オブジェクトを表す三次元データと、基準座標空間上の１つ以上のユーザ視点位置を示すユーザ視点位置データと、を保持する記憶部と、１つ以上のユーザ視点位置毎に夫々、画面配置データと三次元データに基づいて、該ユーザ視点位置から画面を介して基準座標空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成する画像生成部と、１つ以上のユーザ視点位置毎に夫々、該ユーザ視点位置に対応して生成された表示画像を、ディスプレイから、該ユーザ視点位置に向けたユーザ視点位置方向に表示させる画像表示部と、を備える。
　本発明によれば、複数人が同時にディスプレイを裸眼で見たときに、ディスプレイを見ている全員にとって違和感なくディスプレイの向こう側又は手前側に広がる三次元空間に実際には存在しない仮想の三次元のオブジェクトが存在するかのような効果を実現することが可能となる。
一実施形態の画像表示システムのブロック図である。 一実施形態の外観例を示す図である。 一実施形態における画像生成部の説明図である。 画像表示部及びディスプレイの説明図（その１）である。 画像表示部及びディスプレイの説明図（その２）である。 記憶部に記憶されるデータ構成例を示す図である。 一実施形態の画像表示システムの全体処理の例を示すフローチャートである。 視点位置算出処理の詳細例を示すフローチャートである。 画像表示処理の詳細例を示すフローチャートである。 ジェスチャ処理の詳細例を示すフローチャートである。 他の実施形態の構成例を示す図である。 更に他の実施形態の構成例を示す図である。
　以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
　図１は、一実施形態の画像表示システム１００のブロック図である。図２は、一実施形態の外観例を示す図である。
　図１において、画像表示システム１００は、ディスプレイ１０４、視点位置算出部１０１、画像生成部１０２、及び画像表示部１０３を備える。また、図２において、ユーザ空間撮像部２０２を備える。
　ディスプレイ１０４は、複数の表示方向に異なる画像を同時に表示可能な画面２０１（図２）を有する、例えば液晶ディスプレイの表面にレンチキュラーレンズを貼り付けたタイプのライトフィールドディスプレイである。ここでディスプレイの表示方式は特に限定されないが、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＦＥＤ（電界放出ディスプレイ）、ミニＬＥＤディスプレイ、マイクロＬＥＤディスプレイ、大型のＬＥＤアレイであっても良い。リアプロジェクション方式で背面より映像をプロジェクションされたシートであっても良い。表面に張り付けるレンズはレンチキュラーレンズ以外にも、光の方向を制御するような球体レンズを用いたものや、大型のＬＥＤアレイのサイズにあった大型のレンズやシートを用いても良い。レンズ素子の代わりに、スリットが複数配列されたパララックスバリア等を用いてもよい。また複数の表示方向に画像を出す方式として、レンズアレイ方式に限らず、複数のディスプレイをスタックしたものであっても良い。テンソルディスプレイを用いても良い。
　視点位置算出部１０１は、ディスプレイ１０４の画面２０１に表示される画像を見るユーザが存在しうる画面２０１より前方のユーザ空間内に存在する一人以上のユーザ２０３の所定の基準座標空間（図２）上での各ユーザ視点位置２０４を同時に検出する。
　ここで、ディスプレイ１０４の例えば上部にユーザ空間撮像部２０２－１、２０２－２（これらは同じものであり、両方あるいはいずれかを指して単に「ユーザ空間撮像部２０２」と記載する場合がある）が設置される。ユーザ空間撮像部２０２は、ディスプレイ１０４の画面２０１に表示される画像を見るユーザ２０３が存在しうる画面２０１より前方にあるユーザ空間を撮像し、ユーザ空間画像を取得する。
　視点位置算出部１０１は、ユーザ空間撮像部２０２が撮像したユーザ空間画像に基づいて、例えば顔認識処理を実行し、各ユーザ２０３のユーザ視点位置２０４を検出する。
　画像表示システム１００の利用方法は特に限定されないが、ディスプレイ１０４の画面２０１を疑似的な窓として室内景観を向上させる用途に加え、ゲームセンターやテーマパークなどの娯楽施設や家庭における据え置き型娯楽装置においてユーザ２０３に仮想現実や拡張現実を体験する装置としての用途、美術品や広告として屋内外に展示される目を引くオブジェクトとしての用途などが想定される。画像表示システム１００によるディスプレイ１０４は仮想現実や拡張現実の技術における表示装置として使用でき、ＨＭＤ（ヘッド・マウント・ディスプレイ）と同様にユーザ２０３にリアリティのある仮想現実や拡張現実を体験させることができ、かつユーザ２０３が頭に機器を装着するという煩わしさがない。
　画像表示システム１００の設置場所は特に限定されないが、例えば、ホテル、オフィス、住宅などの室内で用いる場合、ホテルの宿泊客、オフィスで働くオフィスワーカー、住宅の住人などがユーザ２０３（図２）であり、ディスプレイ１０４が設置される部屋の中がユーザ空間である。娯楽施設などで利用する場合、体験者がユーザ２０３であり、利用される空間であり体験者が動ける範囲（この場合には着座や仰向け、うつ伏せなど様々な体勢を取る状況も含まれる）がユーザ空間である。本一実施形態では、ユーザ２０３は、一人でもよいが、複数に対応することを前提とする。本一実施形態は、複数人のユーザ２０３が同時にディスプレイ１０４を見たときに、それぞれの位置に応じた立体画像若しくは映像を見ることが可能である。
　記憶部１０５は、揮発性メモリと不揮発性メモリの何れか或いはそれら両方である。記憶部１０５は、所定の基準座標空間における画面２０１の位置、姿勢及び形状を示す画面配置データと、基準座標空間におけるユーザ空間撮像部２０２－１、２０２－２の位置及び姿勢を示す撮像部配置データと、基準座標空間上の仮想的な三次元オブジェクトが表現された三次元データと、１つ以上のユーザ視点位置データを保持する。基準座標空間は、本実施形態における演算の基準となる所定の原点Ｏを有する座標系（基準座標系）で表される空間である。
　図２に示す基準座標空間及びその原点Ｏはどのように設定してもよい。例えば、基準座標空間を画面２０１に対して固定してもよいし、ユーザ空間撮像部２０２に対して固定しても良いし、画面２０１及びユーザ空間撮像部２０２の両方に固定してもよいし、どちらにも固定しなくてもよい。
　図２の例では、基準座標空間は、ｘｙｚの３軸を有する直交座標系の空間である。ユーザ空間撮像部２０２の位置（ｘｓ，ｙｓ，ｚｓ）及び姿勢（Ｙａｗｓ，Ｐｉｔｃｈｓ，Ｒｏｌｌｓ）２０６と、画面２０１の位置（ｘｍ，ｙｍ，ｚｍ）、姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）及び形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）２０５は、この基準座標空間上に設定される。なお、ここでは一例として画面２０１は長方形であり、その形状は高さと幅とで表現されている。
　また、本実施形態では一例として、基準空間上のユーザ２０３の頭部の中央の位置（ｘｈ，ｙｈ，ｚｈ）をユーザ視点位置２０４とする。ユーザ視点位置２０４は、ユーザ２０３の視点の位置或いはユーザ２０３の視点とみなすことができる点の位置であればよい。本実施形態の例に限定されない。他の例として、ユーザ２０３の両眼の中央をユーザ２０３のユーザ視点位置２０４としてもよい。また、顔認識処理や人物認識処理により認識された顔の領域の中央、或いは認識された両眼の中央をユーザ視点位置２０４としてもよい。
　また、本実施形態では一例として、ユーザ空間撮像部２０２のレンズ中央をユーザ空間撮像部２０２の位置２０６（ｘｓ，ｙｓ，ｚｓ）としている。また、ここでは一例として、画面２０１の中央を画面２０１の位置２０５（ｘｍ，ｙｍ，ｚｍ）としている。
　前述した視点位置算出部１０１は、視点位置算出処理プログラム（後述する図７のステップＳ７０１参照）を実行する、例えばプロセッサである。視点位置算出部１０１は、記憶部１０５に記憶されているユーザ空間撮像部２０２の位置２０６と２つのユーザ空間撮像部２０２－１、２０２－２で取得されるユーザ空間画像とに基づいて、基準座標空間上の一人以上のユーザ２０３のユーザ視点位置２０４を特定する。
　画像生成部１０２は、ユーザ毎に表示画像生成処理プログラム（後述する図７のステップＳ７０２参照）を実行する、視点位置算出部１０１と同じプロセッサであってよい。画像生成部１０２は、視点位置算出部１０１が算出したユーザ視点位置２０４と、記憶部１０５に記憶されている画面配置データと三次元データとに基づき、ユーザ視点位置２０４から画面２０１を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成する。
　画像表示部１０３は、ユーザ毎に表示制御処理プログラム（後述する図７のステップＳ７０３を参照）を実行する、視点位置算出部１０１と同じプロセッサであってよい。画像表示部１０３は、ユーザ２０３のユーザ視点位置２０４毎に、そのユーザ視点位置２０４に対応して画像生成部１０２にて生成された表示画像を、ディスプレイ１０４の画面２０１に、そのユーザ視点位置２０４に対応するユーザ視点位置方向に表示させる。
この結果、各ユーザ２０３からは、ディスプレイ１０４の画面２０１を通して、仮想空間上に三次元オブジェクトがあたかも存在するかのように見えるようになる。
　なお、ユーザ２０３のユーザ視点位置２０４を特定するとき、視点位置算出部１０１は、例えば、２つのユーザ空間撮像部２０２－１、２０２－２で同時刻に取得される撮像画像の夫々から人間（ユーザ２０３）を特定し、その撮像画像におけるユーザ２０３の頭部が写っている位置を特定し、撮像部配置データと２つのユーザ空間画像におけるユーザ２０３の頭部の視差とに基づいて、ユーザ空間撮像部２０２－１、２０２－２からユーザ２０３の頭部までの距離を算出することにしてもよい。三角測量の原理を用いて簡易な構成で正確なユーザ視点位置２０４を特定することができる。
　ただし、ユーザ視点位置２０４を特定する構成及び方法はここで示したステレオセンサによるものに限定されず、どのような方式のものでも採用できる。他の例として、ユーザ空間撮像部２０２が多数のドットを有するドットパターンの赤外線レーザを照射し、撮像される画像における各赤外線レーザが当たった部分の画像から、各赤外線レーザが当たった部分のユーザ空間撮像部２０２からの距離を算出するという方式を用いてもよい。赤外線レーザ及び／又はそのドットパターンは所定の拡がり角度を有しており、赤外線レーザのドットが当たった部分では、ユーザ空間撮像部２０２から遠いほどドットの大きさ及び／又はドットの間隔が大きくなる。このドットの大きさ及び／又はドットの間隔から、ユーザ空間撮像部２０２から赤外線レーザが当たっている部分までの距離を算出することができる。
　更に他の例として、ユーザ空間撮像部２０２が変調した赤外線光を照射し、物体で反射して戻ってきた赤外線光をピクセル毎のアレイセンサに投影し、ピクセル毎に照射した赤外線光と受光した赤外線光の位相差から、赤外線レーザを反射した物体のユーザ空間撮像部２０２からの距離を算出するという方式を用いてもよい。更に他の例として、単眼の撮像装置で撮像された画像から画像内の物体の奥行を算出する技術もあり、その技術をユーザ空間撮像部２０２に採用してもよい。更に他の例として、ユーザ自身若しくはユーザ２０３が把持したり装着している物体に、センサが検出し易い所定の形状及び／又はサイズを有する物理的なマーカ、或いは赤外線ＬＥＤなど所定の光を発する発光体のマーカを取り付け、そのマーカの位置からユーザ視点位置２０４を特定する方法もあり、その技術をユーザ空間撮像部２０２に採用してもよい。
　本実施形態によるディスプレイ１０４とユーザ空間撮像部２０２は図２に例示したようにそれぞれ別個の筐体を有する装置として構成してもよいし、１つの筐体により一体的に構成しても良い。ディスプレイ１０４とユーザ空間撮像部２０２とを別個の装置として構成する場合には、どちらかに視点位置算出部１０１と画像生成部１０２の両方を設けてもよいし、各装置にて分担してもよい。その場合、ディスプレイ１０４と、ユーザ空間撮像部２０２とは、有線又は無線で通信を行う。
　図３は、一実施形態における画像生成部１０２の説明図である。ディスプレイ１０４の画面２０１の前方のユーザ空間は実空間である。画面２０１の後方に定義された仮想空間は、画面２０１による疑似的な窓（以下「疑似窓」ともいう）を通してユーザ２０３（Ａ、Ｂ、Ｃ）の頭部のあるユーザ視点位置２０４（Ａ、Ｂ、Ｃ）から見える表示画像として画面２０１に表示される。仮想空間上の三次元オブジェクトは三次元データにより定義される。図３の例では、三次元オブジェクトとして６本の木が横に並んで配置されている。なお、ここでは、図３上では説明のために画面２０１の後方に仮想空間を定義しているが、画面２０１の前方に仮想空間を定義してもよいし、画面２０１の前方及び後方を含む空間を仮想空間として定義してもよい。これにより、仮想空間の三次元オブジェクトが画面２０１による仮想的な窓の向こうにあるように見える画像だけでなく、仮想空間の三次元オブジェクトが画面２０１から手前に突き出して見える画像をも画面２０１に表示することができる。
　ユーザ２０３がディスプレイ１０４の画面２０１の近傍正面のユーザ視点位置２０４Ａにいるとき、画面２０１による疑似窓から見える仮想空間の視野３０１Ａは広く、６本の木が全て視野３０１Ａに入っているように画面２０１に表示される（表示３０２Ａ）。ユーザ２０３がユーザ視点位置２０４Ａからｚ方向に移動し、画面２０１から離れたユーザ視点位置２０４Ｂに来ると、画面２０１による疑似窓から見える仮想空間の視野３０１Ｂは狭くなり、視野３０１Ｂには３本の木の全体とその両側の木の一部が入るのみのように表示される（表示３０２Ｂ）。また、ユーザ２０３がユーザ視点位置２０４Ａから－ｘ（マイナスｘ）方向に移動し、ユーザ視点位置２０４Ｃに来ると、画面２０１による疑似窓から見える仮想空間の視野３０１Ｃはｘ方向に変化する。視野３０１Ｃには右端の３本の木が入るのみである。加えて視野３０１Ｃでは画面２０１に対して正面ではなく斜め方向から見ているが、疑似窓から見える木の横方向の太さは正面から見たときと同じ太さになっている必要がある（表示３０２Ｃ’）。このために、画面２０１に木を表示させる際にはユーザ２０３からは３０２Ｃ’のように見えるように適切に伸縮処理を行った画像を表示させる（表示３０２Ｃ）。このように、ユーザ２０３にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理として、本一実施形態では、ディスプレイ１０４の画面２０１に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをディスプレイ１０４の画面２０１、即ち、二次元の面に投影させる処理（射影変換）を行う。他の方法として、基準座標空間において三次元データの各点をその各点とユーザ視点位置２０４とを結ぶ直線が画面２０１と交わる点に投影してもよい。また、ディスプレイ１０４の画面２０１に表示する画像を生成する他の処理方法として、経験則に従った特定の行列や数値の四則演算処理を、画像や画像がもつ三次元パラメータに対して行うことにしてもよい。
　また、本実施形態によれば、画面２０１とユーザ空間撮像部２０２を同一の基準座標空間上に配置してその基準座標空間上でユーザ視点位置と表示画像を算出するので、ユーザ空間撮像部２０２とディスプレイ１０４の相対的な位置又は姿勢あるいはその両方が異なるシステムに容易に共通設計を適用できる。例えば、ユーザ空間撮像部２０２とディスプレイ１０４が別個の装置であり、それぞれを配置する位置を自由に選択できるタイプのシステムだけでなく、ユーザ空間撮像部２０２とディスプレイ１０４が一体的に構成され相対的な位置及び姿勢が固定されているシステムについても、画面サイズや形状が異なる複数のタイプがあれば、ユーザ空間撮像部２０２とディスプレイ１０４の相対的な位置や姿勢はタイプ毎に異なる。それら異なるタイプに共通設計を適用することができる。
　また、同じ部屋に複数のディスプレイ１０４を用いる場合にそれらのディスプレイ１０４をどのような位置及び角度に設置しても、複数のディスプレイ１０４の画面２０１を同一の基準座標空間上に配置してその基準座標空間上で画面１０４への表示画像を共通の演算方法で算出することができる。また、同じ部屋の複数のディスプレイ１０４の画像を高い精度で連続させることができる。このことは、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。
　図４及び図５は、画像表示部１０３及びディスプレイ１０４の説明図である。本一実施形態では、図３の説明において、ユーザ２０３が複数人同時にディスプレイ１０４の前に立っており、前述した視点位置算出部１０１がこれらの複数人のユーザ２０３毎に対応する複数のユーザ視点位置２０４を同時に検出することができる。
　この場合、通常のディスプレイの液晶画面などでは、各表示画素位置に複数の画素表示データを同時に表示させることはできない。
　これに対して、本一実施形態におけるディスプレイ１０４は、複数の表示方向に異なる画像を同時に表示可能な画面２０１を有する。具体的には、図４及び図５の構成を有するディスプレイ１０４では、画面２０１は、４５画素がまとまった単位の集合として構成される。以下、この単位を要素画像４０１と記載する。即ち、１つの要素画像４０１は、４５画素からなり、各画素にはＲＧＢ表示素子５００が配置される。ＲＧＢ表示素子５００は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色を表示する３つのサブピクセル表示素子から構成されている。４色分の表示素子であってもよい。４５画素からなる要素画像４０１は、一般的なディスプレイの１画素に対応する。
　これと共に、各要素画像４０１は、その要素画像４０１内の４５画素分のＲＧＢ表示素子５００にて表示される４５本のＲＧＢ光の各光路の方向を、図５に示される例えば０～４４の４５本の表示方向（以下、この方向を「表示方向５０１」と記載）に屈折させるための、レンチキュラーレンズと呼ばれるかまぼこ型のシリンドリカルレンズであるレンズ素子４０２を備える。
　そして、前述した画像表示部１０３は、ユーザ視点位置２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ等の夫々毎に、それらのユーザ視点位置に対応して画像生成部１０２で生成された表示画像（図３の３０２Ａ、３０２Ｂ、３０２Ｃ等を参照）のデータを、例えば基準座標空間（図２）の所定の原点Ｏ（例えば画面２０１の中心位置）から各ユーザ視点位置２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄに向かう方向５０２Ａ、５０２Ｂ、５０２Ｃ、５０２Ｄに対応する画素番号のＲＧＢ表示素子５００に入力させる。以下、この方向を、ユーザ視点位置方向５０２Ａ、５０２Ｂ、５０２Ｃ、５０２Ｄと記載する。又は、これらの方向を総称して、ユーザ視点位置方向５０２と記載する。
　ここで、画像生成部１０２は、視点位置算出部１０１で検出されたユーザ２０３Ａ、２０３Ｂ、２０３Ｃ、２０３Ｄのユーザ視点位置２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ毎に、例えばそのユーザ視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、画面２０１を介して仮想の基準空間上の三次元オブジェクトを見たときのような見え方となる右目用表示画像及び左目用表示画像を生成してもよい。
　この場合、画像表示部１０３は、ユーザ２０３Ａ、２０３Ｂ、２０３Ｃ、２０３Ｄのユーザ視点位置２０４Ａ、Ｂ、Ｃ、Ｄ毎に、各ユーザ視点位置に対応して生成された上述の右目用表示画像及び左目用表示画像のデータを夫々、各ユーザ視点位置に対応する各ユーザ視点位置方向５０２Ａ、５０２Ｂ、５０２Ｃ、５０２Ｄの両側に位置する、右目の表示方向に対応する画素番号のＲＧＢ表示素子５００と、左目の表示方向に対応する画素番号のＲＧＢ表示素子５００に表示させる。
　以上の制御動作の結果、図４のユーザ２０３Ａ、２０３Ｂ、２０３Ｃ、２０３Ｄ毎に、各右目及び各左目と各レンズ素子４０２とを結ぶ視線方向４０３として示されるように、また、図３の表示３０２Ａ、３０２Ｂ、３０２Ｃ等として説明したように、仮想空間内での表示状態がユーザ２０３毎に制御された画像を、ディスプレイ１０４に対して様々な位置にいる複数人のユーザ２０３Ａ、２０３Ｂ、２０３Ｃ、２０３Ｄに、同時に表示することが可能となる。
　この場合、各ユーザ２０３Ａ、２０３Ｂ、２０３Ｃ、２０３Ｄにおいては、両眼の視差を有する画像が夫々の右目と左目に入射されるため、臨場感のある裸眼での立体視を体験することができる。
　以下、画像表示システム１００の動作について詳しく説明する。
　図６は、一実施形態において記憶部１０５に記録されるデータ構成例を示す図である。図６において、記憶部１０５には、画面位置データ６０１、画面姿勢データ６０２、画面形状データ６０３、撮像位置データ６０４、撮像姿勢データ６０５、三次元データ６０６、１人以上のユーザ２０３に対応するユーザ視点位置データ６０７、及び１人以上のユーザ２０３に対応する表示画像データ６０８が記録されている。前述した画面配置データはここでいう画面位置データ６０１と画面姿勢データ６０２と画面形状データ６０３を含むものである。また、前述した撮像部配置データはここでいう撮像位置データ６０４と撮像姿勢データ６０５を含むものである。
　画面位置データ６０１は、画面２０１の位置（ｘｍ，ｙｍ，ｚｍ）（図２参照）を表すデータである。画面２０１の位置（ｘｍ，ｙｍ，ｚｍ）はディスプレイ１０４の設置時に確定し、設定されてもよいし、ディスプレイ１０４が設置後に自由に移動し記憶部１０５に記録される位置情報の数値が移動に応じて常に更新される形にしてもよい。複数のディスプレイ１０４を用いる場合には、それぞれの位置（ｘｍ，ｙｍ，ｚｍ）が設定される。
　画面姿勢データ６０２は、画面２０１の姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）（図２参照）を表すデータである。画面２０１の姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）はディスプレイ１０４の設置時に確定し、設定してもよいし、ディスプレイ１０４の設置条件とともに設計時或いは出荷時に予め固定値として設定しておいてもよい。例えば、ディスプレイ１０４を水平にして壁面に固定するという設置条件にし、その設置条件に従って設置したときの姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）を予め設定しておいてもよい。また、ディスプレイ１０４が設置後に自由に回転し記憶部１０５に記録される姿勢情報の数値が回転に応じて常に更新される形にしてもよい。複数のディスプレイ１０４を用いる場合にはそれぞれの姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）が設定される。
　画面形状データ６０３は、画面２０１の形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）を表すデータである。画面２０１の形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）は、設計時或いは出荷時に予めディスプレイ１０４の固定値を設定しておいてもよいし、ディスプレイ１０４が設置後に自由に変形し記憶部１０５に記録される形状情報の数値が変形に応じて常に更新される形にしてもよい。複数のディスプレイ１０４を用いる場合には、それぞれの形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）が設定される。なお、画面２０１の形状としては長方形を想定し、Ｈｅｉｇｈｔｍは高さ方向の長さ、Ｗｉｄｔｈｍは幅方向の長さの数値であるが、画面２０１の形状は長方形に限定されない。例えば画面２０１を二等辺三角形として、その形状を下底の長さと高さとで表現してもよい。また、画面２０１を台形として、その形状を上底と下底と高さで表現してもよい。また、画面２０１として曲面の画面を用いることも可能である。長方形の平面が特定の曲率で曲がっている形状の画面であれば、その形状を長方形の高さ及び幅と曲率若しくは半径とで表現することができる。同様に、球、長球、扁球、回転体など様々な形状の画面をそれぞれの形状を特徴づけるパラメータで表現してもよい。ここに例示したものを含むどのような画面であってもその形状を基準座標空間上に定義し、表示する画像を算出することができる。
　撮像位置データ６０４は、上述したユーザ空間撮像部２０２－１、２０２－２の夫々の位置（ｘｓ，ｙｓ，ｚｓ）（図２参照）を表すデータである。撮像位置データ６０４の位置（ｘｓ，ｙｓ，ｚｓ）はユーザ空間撮像部２０２の設置時に確定し、設定される。
　撮像姿勢データ６０５は、上述したユーザ空間撮像部２０２－１、２０２－２の姿勢（Ｙａｗｓ，Ｐｉｔｃｈｓ，Ｒｏｌｌｓ）（図２参照）を表すデータである。撮像姿勢データ６０５の姿勢（Ｙａｗｓ，Ｐｉｔｃｈｓ，Ｒｏｌｌｓ）はユーザ空間撮像部２０２の設置時に確定し、設定されてもよいし、ユーザ空間撮像部２０２の設置条件とともに定め予め固定値として設定しておいてもよい。
　三次元データ６０６は、ディスプレイ１０４に表示する画像を生成する元になる三次元データであり、図３に例示したような仮想空間にある三次元オブジェクトを表現する三次元データである。ここでいう三次元データ６０６は、三次元空間上の三次元オブジェクトを表現するデータであればよく、特に具体的手法は限定されない。コンピュータグラフィックにより作成された立体情報を持つデータとしてもよいし、厚みのない平面の三次元オブジェクトに実写の静止画像や動画像が貼り付けられたデータであってもよい。視野が１８０°若しくはそれに近い広視野角のレンズを用いたカメラ又は３６０°撮像カメラ等を用いて撮像された静止画像若しくは動画像が厚みの無い球面のオブジェクトの表面に貼り付けられたデータであってもよい。
　ユーザ視点位置データ６０７は、前述したユーザ視点位置２０４を表すデータである。ユーザ視点位置２０４は、視点位置算出部１０１により繰り返し更新されるので、ユーザ視点位置データ６０７もその度に更新される。例えば、ディスプレイ１０４のフレームレートを３０ｆｐｓ（フレーム／秒）とし、それと同じ周期でユーザ視点位置２０４を更新することとすれば、ユーザ視点位置データ６０７は１秒間に３０回更新されることになる。ユーザ視点位置データ６０７には、時系列のユーザ視点位置２０４のデータが蓄積される。
　また、ユーザ視点位置２０４は、ユーザ空間内に存在し得る複数のユーザ２０３に対しても同時に複数箇所が検出されるため、ユーザ視点位置データ６０７も複数個分が記憶され得る。
　表示画像データ６０８は、上述した、ユーザ視点位置２０４から画面２０１による疑似窓の向こうの空間に三次元オブジェクトがあるように見えるように三次元データ６０６を投影した画像のデータであり、画像生成部１０２により生成される、画面２０１に表示される表示画像のデータである。画面２０１に表示される表示画像のデータは、画像生成部１０２により繰り返し更新されるので、表示画像データ６０８もその度に更新される。例えば、ディスプレイ１０４のフレームレートを３０ｆｐｓとすれば、表示画像データ６０８は１秒間に３０回更新されることになる。ディスプレイ１０４が複数ある場合には、それぞれのディスプレイ１０４の画面２０１に表示するデータが表示画像データ６０８として記録される。
　また、表示画像は、画像生成部１０２により、ユーザ空間内に存在し得る複数のユーザ２０３に対しても同時に複数枚が生成されるため、表示画像データ６０８も複数枚分が記憶され得る。
　図７は、一実施形態による図１の画像表示システム１００の全体処理のフローチャートである。図７の各処理は図１の視点位置算出部１０１、画像生成部１０２、及び画像表示部１０３を実現するプロセッサにより実行される。このプロセッサが、図７の処理を周期的に繰り返すことにより、ディスプレイ１０４に表示される画像が時間経過とともに変化し、ユーザ２０３に動画として認識される。例えば、ディスプレイ１０４に表示する画像のフレームレートが３０ｆｐｓだとすると、上記プロセッサは図７に示す処理を１秒間に３０回繰り返すことになる。
　図７において、例えばプロセッサが視点位置算出処理プログラムを実行する機能又は専用のハードウェアによる機能として実現される視点位置算出部１０１はまず、視点位置算出処理を実行する（ステップＳ７０１）。この処理は、上述したユーザ視点位置２０４を算出し、ユーザ視点位置データ６０７として記憶部１０５に記録する処理である。この処理の詳細は図８を用いて後述する。
　次に、例えば視点位置算出部１０１と同じ又は異なるプロセッサが画像生成処理プログラムを実行する機能又は専用のハードウェアによる機能として実現される画像生成部１０２は、画像生成処理を実行する（ステップＳ７０２）。この処理は、記憶部１０５に記録されたユーザ視点位置データ６０７が示すユーザ視点位置２０４から画面２０１を通して見える三次元オブジェクトの画像を生成し、そのデータを記憶部１０５に記録する処理である。ディスプレイ１０４が複数ある場合には、画像生成部１０２は、夫々のディスプレイ１０４の画面２０１に表示する画像を生成し、それらのデータを表示画像データ６０８として記録する。複数のユーザ視点位置２０４がある場合は、複数のディスプレイ１０４の画面２０１夫々に対して、複数のユーザ視点位置分画像を生成し、それらのデータを複数の表示画像データ６０８として記録する。
　続いて、例えば視点位置算出部１０１と同じ又は異なるプロセッサが画像表示処理プログラムを実行する機能又は専用のハードウェアによる機能として実現される画像表示部１０３は、画像表示処理を実行する（ステップＳ７０３）。この処理は、記憶部１０５に記録された各ユーザ２０３毎の表示画像データ６０８に基づいて、画面２０１を通して見える三次元オブジェクトの画像をディスプレイ１０４の画面２０１を介して各ユーザ視点位置２０４にいる各ユーザ２０３に表示させる処理である。ディスプレイ１０４が複数ある場合には、画像表示部１０３は、夫々のディスプレイ１０４の画面２０１を通して見える三次元オブジェクトの画像のデータをそれぞれのディスプレイ１０４に表示させる。この処理の詳細は図９を用いて後述する。これらプロセッサの各機能は、例えば、図２に示したように、ディスプレイ１０４と、ユーザ空間撮像部２０１－１、２０２－２を有するステレオセンサと、を別個の装置として構成する場合、ステップＳ７０１はステレオセンサが分担し、ステップＳ７０２、Ｓ７０３はディスプレイ１０４が分担してもよい。
　本一実施形態による画像生成部１０２は、三次元データ６０６に射影変換を適用することにより、各ユーザ視点位置２０４から画面２０１を通して見える三次元オブジェクトの表示画像を生成することにしてもよい。射影変換により、三次元データ６０６の三次元オブジェクトを画面２０１に対してユーザ視点位置２０４を考慮して数学的に投影するので、各ユーザ２０３が画面２０１を斜め方向から見たときにも三次元オブジェクトが、それぞれのユーザ２０３のユーザ視点位置２０４に応じた確からしい自然な画像として表示される。
　また、視点位置算出部１０１は、ユーザ空間撮像部２０２により得られた現在までの時系列のユーザ空間画像、若しくはユーザ視点位置２０４、若しくはその両方に基づいて、ユーザ視点位置２０４に含まれるノイズを除去する処理を行うことにしてもよい。撮像した最も直近のユーザ空間画像をそのままで画像処理した結果を用いてユーザ視点位置２０４を算出し、そのユーザ視点位置２０４から見える三次元オブジェクトの画像を生成すると、その時点のみに発生した様々なノイズ要素により、ユーザ視点位置２０４が突如大きくずれた位置と算出され、結果としてコマ毎に表示画像がぶれる可能性がある。本構成によれば、過去のユーザ空間画像やユーザ視点位置２０４に基づいてユーザ視点位置２０４のノイズを除去してから、現在のユーザ視点位置２０４を確定するので、表示画像のぶれを抑制することができる。ノイズを除去する方法としては、過去のユーザ空間画像のデータに基づいてノイズ判定を行い、判定結果に基づいて現在の空間画像のノイズ除去を行う方法がある。また、過去のユーザ視点位置２０４のデータと現在のユーザ視点位置２０４のデータに基づいてカルマンフィルタを用いて現在のユーザ視点位置２０４を更新（或いは修正）するという方法がある。
　図８は、図７のステップＳ７０１の視点位置算出処理の詳細例を示すフローチャートである。
　図８において、視点位置算出部１０１はまず、ユーザ空間画像中の特徴量探索を実行する（ステップＳ８０１）。この処理は、ユーザ空間撮像部２０２－１若しくは２０２－２の何れかの画像内から人間（ユーザ２０３）の頭部を検出する。画像から人間の頭部を検出する処理は例えば顔認識技術を用いることで可能である。このときＨａａｒ－ｌｉｋｅ特徴による明暗差をもとにした顔パターンを認識する方法を用いてもよい。また、深層学習や機械学習により訓練された画像からユーザ２０３を直接認識する学習器（学習済み人工知能プログラム）を用いて顔位置の認識、若しくは、体骨格から直接頭の中心位置を認識する方法でもよい。このとき、複数存在し得るユーザ２０３に対応して、複数の頭部が同時に検出されるようにすることができる。
　次に、視点位置算出部１０１は、画像マッチング処理を実行する（ステップＳ８０２）。この処理は、ユーザ空間撮像部２０２－１、２０２－２によるユーザ空間画像同士を比較し、ステップＳ８０１にて片方のユーザ空間画像において探索された一人以上のユーザ２０３と認識された特徴部位と、同じものが写っている他方のユーザ空間画像中の箇所を特定する処理である。
　次に、視点位置算出部１０１は、両ユーザ空間画像中の特徴部位のピクセル座標を特定する（ステップ８０３）。ここでは視点位置算出部１０１は、ユーザ空間撮像部２０２－１で撮像したユーザ空間画像中の特徴部位と、ユーザ空間撮像部２０２－２で撮像したユーザ空間画像中の特徴部位夫々において、ユーザ空間画像中のピクセル座標を取得する。
　次に、視点位置算出部１０１は、画像マッチング処理の結果に基づいて、各ピクセルと三次元座標とを対応づけることにより、ユーザ視点位置２０４を特定する（ステップＳ８０４）。ステップＳ８０３の処理により２つの画像において同じ物が写っている箇所のピクセル座標が特定されれば、三角測量の原理を用いてその箇所の三次元座標を特定することができる。
　特定された箇所が一人以上のユーザ２０３の頭部であれば夫々の三次元座標を、各ユーザ視点位置２０４として特定することになる。このとき、視点位置算出部１０１は、例えば、頭の中心部の位置を頭部位置（ｘｈ，ｙｈ，ｚｈ）（図２参照）としてもよい。その場合、ユーザ空間画像から頭部の半径を推定し、頭部の中央の表面から奥行方向に半径分だけ入った位置の三次元座標が頭部位置となる。具体的には、頭部の中央の表面の三次元座標のｚ値に対して半径分を加算すればよい。
　また、他の例として、視点位置算出部１０１は、ユーザ空間画像における頭部の中央の表面の位置を頭部位置（ｘｈ，ｙｈ，ｚｈ）（図２）としてもよい。その場合、頭部の中央が表示されたピクセルに対応する三次元座標がそのまま頭部位置となる。
　また、ユーザ視点位置２０４を特定する方法の更に他の例として、視点位置算出部１０１は、画像における人物らしき特徴を有する領域を検出し、ユーザ空間撮像部２０２－１、２０２－２からその特徴領域までの距離を得た後、その特徴領域の水平方向における中心位置をＸＶ、垂直方向における特徴領域の頂点から１０ｃｍほど下の位置をＹＶとして、ピクセル座標（ＸＶ、ＹＶ）と特徴領域までの距離をもとに、ユーザ視点位置２０４を簡易推定するという方法をとってもよい。これは頭頂部の１０ｃｍ下をユーザ視点位置２０４と推定するものである。
　なお、必ずしも２つのユーザ空間撮像部２０２－１、２０２－２によるユーザ空間画像の両方にユーザ２０３の頭部が写っているとは限らない。ユーザ空間撮像部２０２－１とユーザ空間撮像部２０２－２の位置の違いや、障害物の影響などで、２つのユーザ空間撮像部２０２－１、２０２－２によるユーザ空間画像のうち１つにしかユーザ２０３の頭部が写っていないこともあり得る。その場合にはユーザ視点位置２０４を推定することにしてもよい。これにより、広い範囲でユーザ視点位置２０４を特定し、表示画像の生成に用いることができる。
　例えば、視点位置算出部１０１は、ユーザ空間撮像部２０２－１、２０２－２で取得された画像のデータとその画像から算出したユーザ視点位置２０４の情報との少なくとも一方を記録し、複数のユーザ空間撮像部２０２によるユーザ空間画像にユーザ視点位置２０４に関する所定のユーザ部位（ここでは頭部）が写っている場合は複数のユーザ空間画像の視差に基づいてユーザ視点位置２０４を算出し、１つのユーザ空間撮像部２０２によるユーザ空間画像のみにユーザ部位が写っている場合はその１つのユーザ空間画像と過去のユーザ空間画像のデータ又は過去のユーザ視点位置２０４とに基づいてユーザ視点位置２０４を推定することにしてもよい。
　また、本実施形態では、視点位置算出部１０１は、ユーザ２０３が激しく動いた場合や、部屋の明るさ等の影響で特徴量を検出できず、ユーザ空間撮像部２０２－１、２０２－２で撮像された画像からユーザ２０３のユーザ視点位置２０４を一時的に算出できない状態となる場合がありえる。その場合には、視点位置算出部１０１は、記憶部１０５にユーザ視点位置データ６０７として蓄積された過去の時系列のユーザ視点位置２０４に基づいて、現在のユーザ視点位置２０４を推定することにしてもよい。具体的には、過去のユーザ視点位置２０４の履歴から、ユーザ２０３の移動速度及び移動加速度とそれらの方向を示す三次元ベクトルのデータを記録し、それらのデータから現在のユーザ視点位置２０４を推定することにしてもよい。例えば、移動方向の前方に障害物がなければ、算出できた最新の移動速度から、算出できた最新の移動加速度で速度変化し、算出できた最新のユーザ視点位置から現在までに移動した位置を現在のユーザ視点位置２０４としてもよい。
　また、本実施形態では、視点位置算出部１０１は、ユーザ視点位置２０４を補正し、補正後のユーザ視点位置２０４に基づいて、画像生成部１０２が画面２０１を通して見える三次元オブジェクトの画像を生成することにしてもよい。これにより、ユーザ視点位置２０４の精度を向上させることができる。例えば、ユーザ空間撮像部２０２－１、２０２－２を有する複数のステレオセンサを設け、それらのステレオセンサにより取得される複数のユーザ視点位置から最小二乗基準に基づきユーザ視点位置２０４を推定することにしてもよい。また、２つのユーザ空間撮像部２０２－１、２０２－２を有するステレオセンサと、他のセンサーとして例示した赤外線を用いたセンサーやマーカによりユーザ位置を測定するセンサーなどから、２つ以上の任意の組み合わせにより得た２つ以上のユーザ視点位置から最小二乗基準に基づきユーザ視点位置２０４を推定することにしてもよい。また、視点位置算出部１０１を用いず、あらかじめユーザ視点位置が固定された空間座標の値として、定義され、記憶部に記憶されていても良い。複数のユーザ視点位置において、一部が固定された値となっていても良いし、全てが固定されていても良い。
　図９は、図７のステップＳ７０３の画像表示処理の詳細例を示すフローチャートである。以下、この処理について、前述した図５の説明図に従って説明する。プロセッサの機能である画像表示部１０３は、図５で説明した０番目から４４番目までの４５の表示方向５０１のうち、まず０番目の表示方向５０１と、図７のステップＳ７０１で算出された１つ以上の視点位置２０４のうち最初の視点位置２０４（例えば図５の２０４Ａ）を通るユーザ視点位置方向５０２（例えば図５の５０２Ａ）の間の、例えば図５の０番目から３番目までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、最初の視点位置２０４（例えば図５の２０４Ａ）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０１）。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　次に、画像表示部１０３は、例えば特には図示しないＲＡＭやレジスタに記憶されているユーザ視点位置２０４を示す変数値を＋１する（ステップＳ９０５）。
　次に、画像表示部１０３は、上記ユーザ視点位置２０４を示す変数値が、図７のステップＳ７０１で算出された最後のユーザ視点位置２０４を超えたか否かを判定する（ステップＳ９０６）。
　まだ最後のユーザ視点位置２０４まで処理されておらず、ステップＳ９０６の判定がＮＯならば、画像表示部１０３は、ステップＳ９０２の処理に制御を移して、ステップＳ９０２からＳ９０４までの処理を実行する。
　まず、画像表示部１０３は、前回のユーザ視点位置２０４（例えば図５の２０４Ａ）と今回のユーザ視点位置２０４（例えば図５の２０４Ｂ）の中点を通る中点方向５０３（例えば図５の５０３ＡＢ）を算出する（ステップＳ９０２）。
　次に、画像表示部１０３は、前回のユーザ視点位置２０４（例えば図５の２０４Ａ）を通るユーザ視点位置方向５０２（例えば図５の５０２Ａ）と、今回算出した中点方向５０３（例えば図５の５０３ＡＢ）の間の例えば図５の４番から１０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、前回のユーザ視点位置２０４（例えば図５の２０４Ａ）の右目の表示方向に対応して生成された右目用表示画像データをセットする（ステップＳ９０３）。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　続いて、画像表示部１０３は、ステップＳ９０２で今回算出した中点方向５０３（例えば図５の５０３ＡＢ）と、今回のユーザ視点位置２０４（例えば図５の２０４Ｂ）を通るユーザ視点位置方向５０２（例えば図５の５０２Ｂ）の間の例えば図５の１１番から１６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、今回のユーザ視点位置２０４（例えば図５の２０４Ｂ）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０４）。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　その後、画像表示部１０３は、前述したように、ユーザ視点位置２０４を示す変数値を＋１し（ステップＳ９０５）、その変数値が、図７のステップＳ７０１で算出された最後のユーザ視点位置２０４を超えたか否かを判定する（ステップＳ９０６）。
　まだ最後の視点位置２０４まで処理されておらず、ステップＳ９０６の判定がＮＯならば、画像表示部１０３は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
　前述と同様のステップＳ９０２により、例えば図５において、前回のユーザ視点位置２０４Ｂと今回のユーザ視点位置２０４Ｃの中点を通る中点方向５０３ＢＣが算出される。
　次に、前述と同様のステップＳ９０３により、例えば図５において、前回のユーザ視点位置２０４Ｂを通るユーザ視点位置方向５０２Ｂと、今回算出した中点方向５０３ＢＣの間の例えば図５の１７番から２１番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、前回のユーザ視点位置２０４Ｂの右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　続いて、前述と同様のステップＳ９０４により、例えば図５において、ステップＳ９０２で今回算出した中点方向５０３ＢＣと、今回のユーザ視点位置２０４Ｃを通るユーザ視点位置方向５０２Ｃの間の例えば図５の２２番から２６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、今回のユーザ視点位置２０４Ｃの左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　その後、画像表示部１０３は、前述したように、ユーザ視点位置２０４を示す変数値を＋１し（ステップＳ９０５）、その変数値が、図７のステップＳ７０１で算出された最後のユーザ視点位置２０４を超えたか否かを判定する（ステップＳ９０６）。
　まだ最後のユーザ視点位置２０４まで処理されておらず、ステップＳ９０６の判定がＮＯならば、画像表示部１０３は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
　前述と同様のステップＳ９０２により、例えば図５において、前回のユーザ視点位置２０４Ｃと今回のユーザ視点位置２０４Ｄの中点を通る中点方向５０３ＣＤが算出される。
　次に、前述と同様のステップＳ９０３により、例えば図５において、前回のユーザ視点位置２０４Ｃを通るユーザ視点位置方向５０２Ｃと、今回算出した中点方向５０３ＣＤの間の例えば図５の２７番から３０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、前回のユーザ視点位置２０４Ｃの右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　続いて、前述と同様のステップＳ９０４により、例えば図５において、ステップＳ９０２で今回算出した中点方向５０３ＣＤと、今回のユーザ視点位置２０４Ｄを通るユーザ視点位置方向５０２Ｄの間の例えば図５の３１番から３４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子５００に、今回のユーザ視点位置２０４Ｄの左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、画面２０１を構成する各要素画像４０１（図４参照）の上記各画素番号のＲＧＢ表示素子５００に対して実行される。
　その後、画像表示部１０３は、前述したように、ユーザ視点位置２０４を示す変数値を＋１し（ステップＳ９０５）、その変数値が、図７のステップＳ７０１で算出された最後のユーザ視点位置２０４を超えたか否かを判定する（ステップＳ９０６）。
　最後のユーザ視点位置２０４まで処理された後に、ステップＳ９０６の判定がＹＥＳになると、画像表示部１０３は、最後のステップＳ９０７の処理を実行する。ステップＳ９０７において、画像表示部１０３は、今回のユーザ視点位置２０４（例えば図５の２０４Ｄ）を通るユーザ視点位置方向５０２（例えば図５の５０２Ｄ）と、４４番目の表示方向５０１の間の例えば図５の３５番から４４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子に、最後のユーザ視点位置２０４（例えば図５の２０４Ｄ）の右目の表示方向に対応して生成された右目用表示画像データをセットする。
　その後、画像表示部１０３は、図９のフローチャートで例示される図７のステップＳ７０３の画像表示処理を終了する。
　以上の図９のフローチャートで例示した画像表示処理では、図５において２つのユーザ視点位置２０４のユーザ視点位置方向５０２と、それらの視点位置２０４間の中点を通る中点方向５０３とで区切られる区間の各表示方向５０１に、隣接する視点位置２０４の右目又は左目の表示方向に対応して生成された右目用又は左目用表示画像データがコピーしてセットされた。これに対して、画面２０１に近いユーザ２０３のユーザ視点位置２０４と、画面２０１から遠いユーザ２０３のユーザ視点位置２０４とで、各表示方向５０１への表示画素のマッピングのアルゴリズムを変えることにより、表示画素の変化感度がユーザ２０３のユーザ視点位置２０４に応じて均一になるようにすることもできる。
　又は、単純にコピーするのではなく、隣接する２つの表示画像間で、各表示方向５０１に応じて補間処理を行って算出した表示画素がセットされてもよい。
　また、本実施形態では、視点位置算出部１０１は、時系列のユーザ空間画像からユーザ２０３が行った所定のジェスチャを検出し、ジェスチャに対応する所定の処理を実行する。ユーザ空間撮像部２０２がユーザ空間画像を取得し、視点位置検出部１０１がユーザ空間画像から所定のジェスチャを検出し、そのジェスチャに対応する所定の処理を実行するので、実用範囲にいるユーザ２０３によるジェスチャ操作で操作用のリモートコントローラがなくても所望の操作を行うことができる。
　また、本実施形態では、ユーザ２０３はジェスチャによって画像表示システム１００を操作することができる。図１０は、本実施形態による画像表示システムのジェスチャ操作処理のフローチャ－トである。
　視点位置算出部１０１は、時系列に更新されるユーザ空間画像に基づき所定の起動ジェスチャが行われるのを監視する（ステップＳ１００１）。起動ジェスチャは、画像表示システム１００に対して指示を行うための事前のジェスチャである。具体的なジェスチャは特に限定されないが例えば頭に手を当てるといったジェスチャである。起動ジェスチャが検出されない間は、所定の処理を指示する指示ジェスチャが行われても、画像表示システム１００はその処理を実行しない。
　起動ジェスチャを検知すると、視点位置算出部１０１は次にタイマを起動する（ステップＳ１００２）。このタイマは起動ジェスチャにより指示ジェスチャを有効とする時間を計測するタイマである。起動ジェスチャが検知されたときに、視点位置算出部１０１は、ディスプレイ１０４の画面２０１に所定の指示受付表示を行うことで、起動ジェスチャが検知されたことをユーザ２０３に提示してもよい。また、視点位置算出部１０１は、起動ジェスチャが検知されるかタイマがタイムアウトするまで指示受付表示を継続してディスプレイ１０４に表示させておくことにしてもよい。
　次に、視点位置算出部１０１は、時系列に更新されるユーザ空間画像に基づき指示ジェスチャが行われるのを監視する（ステップＳ１００３）。指示ジェスチャは上述のように所定の処理を指示するためのジェスチャである。ジェスチャにより指示できる処理は複数種類あってもよい。その場合、処理毎に異なる指示ジェスチャを定めておけばよい。
　指示ジェスチャが検知されない間は（ステップＳ１００３の判定がＮＯ）、視点位置算出部１０１は、タイマのタイムアウトの有無を監視し、タイマがタイムアウトするまで指示ジェスチャを監視する（ステップＳ１００５の判定がＮＯの繰返し）。
　指示ジェスチャが検知される前にタイマがタイムアウトしたら（ステップＳ１００５の判定がＹＥＳ）、視点位置算出部１０１は、ステップＳ１００１の処理に戻って起動ジェスチャを監視する。
　タイマがタイムアウトする前に指示ジェスチャが検知されると（ステップＳ１００３の判定がＹＥＳ）、視点位置算出部１０１は、指示ジェスチャに対応する処理を実行する（ステップＳ１００４）。その後、視点位置算出部１０１は、ステップＳ１００１の処理に戻る。
　以上のように、視点位置算出部１０１は、時系列のユーザ空間画像から所定の起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、指示ジェスチャに対応する所定の処理を実行する。２段階のジェスチャがあったときに処理が実行されるようになっているので、ユーザ２０３の意図しない処理が誤って実行されるのを抑制することができる。
　なお、本実施形態では２段階のジェスチャを採用する例を示したが、これに限定されるものではない。他の例として１段階のジェスチャにより画像表示システム１００を操作できるようにしてもよい。その場合でも普段の動作では行うことの少ないジェスチャを用いれば誤動作を抑制することができる。また、２段階以上の事前のジェスチャが検知された後に所定の指示ジェスチャが検知されたらその指示ジェスチャに対応する処理の処理を実行することにしてもよい。
　また、本実施例では画像表示システム１００が１つのディスプレイ１０４を有する例を示したが、これに限定されることはない。他の例として、画像表示システム１００は、複数のディスプレイ１０４を有していてもよい。その場合、例えば、記憶部１０５は、複数のディスプレイ１０４のそれぞれの画面２０１の基準座標空間における位置、姿勢及び形状を示す画面配置データを保持する。また、視点位置算出部１０１は、複数のディスプレイ１０４のそれぞれについて、画面２０１の画面配置データ（画面位置データ６０１及び画面姿勢データ６０２）と三次元データ６０６に基づいて三次元オブジェクトの表示画像を生成し、それぞれの表示画像をディスプレイ１０４の画面２０１に表示させる。全てのディスプレイ１０４の画面２０１の位置及び姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ１０４をどのような位置及び姿勢に設置しても全てのディスプレイ１０４に表示する画像を共通の演算方法で算出できる。また、全てのディスプレイ１０４の画面２０１の位置及び姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ１０４の画像を高い精度で整合させ、連続させることができる。このことは、例えば、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。
　また、本実施例による画像表示システム１００は様々な付加機能を備えていてもよい。
　例えば、画像表示システム１００は、インタネット等の通信ネットワークと接続する通信装置を備えていてもよい。画像表示システム１００は通信装置を介して情報をＷｅｂサーバに送信したり、Ｗｅｂサーバから情報を受信したりしてもよい。情報の送信や受信を行う操作を上述したジェスチャによってできるようにしてもよい。
　また、画像表示システム１００はパーソナルコンピュータと接続し、パーソナルコンオピュータ（ＰＣ）の画像を表示するモニタとして利用可能であってもよい。接続インタフェース部は例えばＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（ＨＤＭＩは米国エイチディーエムアイ　ライセンシング　アドミニストレーター　インコーポレイテッドの登録商標）やＶＧＡ（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）である。疑似窓とＰＣ用モニタのモード切替などの操作を上述したジェスチャによってできるようにしてもよい。
　本実施形態では仮想的な三次元オブジェクトの画像を表示する画像表示システム１００を例示したが、これに限定されることはない。他の例として、現実空間の画像をディスプレイ１０４に表示することも可能である。図１１では現実空間の画像を表示する画像表示システムを例示する。
　図１１は、他の実施形態による画像表示システムのブロック図である。図１１を参照すると、画像表示システム１１００は、画像表示装置１１０１と画像取得装置１１０３を有している。画像表示装置１１０１と画像取得装置１１０３は通信回線を介して接続される。例えば、画像表示装置１１０１が通信ネットワークを介して画像取得装置１１０３が実写画像に基づく三次元データを取得し、表示するものであってもよい。また、画像表示装置１１０１と画像取得装置１１０３が有線又は無線による通信により接続し、画像取得装置１１０３で取得される画像に戻づく画像をリアルタイムで画像表示装置１１０１が表示するものであってもよい。画像表示装置１１０１は、一実施形態にて示した画像表示システム１００と同じものであり、視点位置算出部１０１、画像生成部１０２、画像表示部１０３、ディスプレイ１０４、２つのユーザ空間撮像部２０２－１、２０２－２、及び記憶部１０５を有している。また、これらに加え音声出力部１１０２も有している。画像取得装置１１０３は、表示空間撮像部１１０４、処理部１１０５、及び音声取得部１１０６を有している。
　表示空間撮像部１１０４は、ディスプレイ１０４に表示するための実空間である表示空間の画像を取得する。
　音声取得部１１０６は、表示空間の音声を取得する。
　処理部１１０５は、表示空間撮像部１１０４が取得した画像のデータを利用して三次元データを生成する。そして、処理部１１０５は、生成した三次元データと、音声取得部１１０６が取得した音声のデータとを画像表示装置１１０１に送信する。
　処理部１１０５が表示空間撮像部１１０４で取得された実写画像から三次元データを生成する方法は特に限定されない。例えば、取得された平面の実写画像をそのまま、もしくは、所定サイズの複数の画像に分割し、画像を平面のままで三次元空間上に配置することにしてもよい。表示空間撮像部１１０４として、視野が１８０°若しくはそれに近い広視野角のレンズを用いたカメラ又は３６０°撮影カメラ等を用い、表示空間撮像部１１０４で撮影された画像を三次元空間上の球面物体の内側表面に張り付けた形で三次元空間上に配置してもよい。また、表示空間撮像部１１０４にライトフィールド技術を用いたカメラにより、光の入射方向及び強度の情報を取得し、それらの情報を用いて画像処理することで、奥行情報も含めた三次元の空間そのものを撮影したデータが得られる。このデータを三次元空間上に配置してもよい。また、実写画像を三次元化して三次元空間に配置することにしてもよい。複数のステレオカメラで奥行情報を有する実写画像を撮像し、その実写画像と奥行情報に基づいて三次元データを作成してもよい。その場合、表示空間撮像部１１０４は複数の単体撮像部の集合体であり、表示空間を複数の方向から撮像した画像を取得する。
　以上のように本実施形態では、画像取得装置１１０３にて、表示空間撮像部１１０４が表示対象とする実空間である表示空間を撮像して画像を取得する。処理部１１０５は、表示空間撮像部１１０４が取得した画像のデータを利用して三次元データを生成する。そして、画像表示装置１１０１が、この三次元データを用いて、ユーザ２０３の位置から画面２０１を通して、三次元データに表現された三次元空間を見たときの画像をディスプレイに表示する。従って、ユーザ視点位置から見える画像として実空間の画像をディスプレイ１０４に表示することができる。
　また、本実施形態では、音声取得部１１０６が表示空間の音声を取得する。そして、音声出力部１１０２がユーザ空間にその音声を出力する。従って、表示空間の画像だけでなく音声も再現することができるので、ユーザ２０３は、ディスプレイ１０４による疑似窓の向こうに、視覚及び聴覚で実空間を感じることが可能となる。
　本実施形態による画面表示システム１１００の利用方法は特に限定されないが、画像取得装置１１０３をスタジアム等に配置し実際のスポーツの試合を観戦するための観客席からの視界を画像表示装置１１０１で疑似的に再現するための用途、画像表示システム１１００を通信ネットワークを介して接続し、画像取得装置１１０３で取得した画像及び音声を相互に送受信することにより遠隔地間で画像と音声によるリアルタイムのコミュニケーションを行う用途などが想定される。
　図１２は、更に他の実施形態の構成例を示す図である。図１２の他の実施形態は、本発明を巨大サイネージ装置１２００として実施したものである。図１２において、ビルディング１２０３などの屋上に設置されるような巨大サイネージディスプレイ１２０１は、サイズが異なるだけで、基本的な構成は、図１，図２等で説明したディスプレイ１０４と同じである。
　ただし、巨大サイネージ装置１２００では、巨大サイネージディスプレイ１２０１を視聴するユーザは、例えば交差点の周囲にいる不特定多数のユーザであり、そのユーザ視点位置を図２で説明したようなユーザ空間撮像部２０２と同様の手段によりリアルタイムに把握するのは困難である。
　そこで、図１２の実施形態では、多くのユーザが視聴すると思われる数箇所（図１２では６箇所）に仮想的なユーザ１２０２がいると仮定して、そのような場所のユーザ視点位置のデータを、予め図１の記憶部１０５と同様の記憶部に、図６のユーザ視点位置データ６０７と同様に記憶させておく。
　そして、そのように記憶したユーザ視点位置データ６０７を用いて、一実施形態に係る図７のステップＳ７０２、Ｓ７０３の処理、及び図９の処理と同様の制御処理を実行する。
　これにより、図１から図９で説明した一実施形態の場合ほど正確には、その場のユーザに対応した表示画素を提供することはできないが、巨大サイネージディスプレイ１２０１を使用することにより、十分に臨場感豊かな表示を複数個所に存在する人間に対して同時に行うことが可能となる。
　図１２の他の実施形態では、ユーザ視点位置を予め仮想的に決めて処理を行っているが、ビル屋上に設置した図２のユーザ空間撮像部２０２と同様の装置を用いて大まかにユーザ群の塊がどのあたりに集中しているかを撮像により識別し、その識別結果からユーザ視点位置に相当する情報を取得して、図１から図９で説明した一実施形態の場合と同様の処理を実行することも可能である。
　以上説明した一実施形態及び他の実施形態では、複数の表示方向に異なる画像を同時に表示可能な画面２０１を有するディスプレイ１０４として、図４で説明したように、複数画素によって要素画像４０１が構成され、要素画像４０１毎にレンチキュラーレンズなどのレンズ素子４０２が用いる例について説明したが、本発明はこれに限られるものではない。表面に張り付けるレンズはレンチキュラーレンズ以外にも、光の方向を制御するような球体レンズを用いたものや、大型のＬＥＤアレイのサイズにあった大型のレンズやシートを用いても良い。例えば、レンズ素子４０２の代わりに、スリットが複数配列されたパララックスバリア等を用いてもよい。ディスプレイの表示方式は特に限定されないが、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＦＥＤ（電界放出ディスプレイ）、ミニＬＥＤディスプレイ、マイクロＬＥＤディスプレイ、大型のＬＥＤアレイであっても良い。リアプロジェクション方式で背面より映像をプロジェクションされたシートであっても良い。また複数の表示方向に画像を出す方式として、レンズアレイ方式に限らず、複数のディスプレイをスタックしたものであっても良い。テンソルディスプレイを用いても良い。
　１００　画像表示システム
　１０１　視点位置算出部
　１０２　画像生成部
　１０３　画像表示部
　１０４　ディスプレイ
　１０５　記憶部
　２０１　画面
　２０２、２０２－１、２０２－２　ユーザ空間撮像部
　２０３　ユーザ
　２０４　ユーザ視点位置
　２０５　位置
　２０６　位置
　３０１、３０１Ａ、３０１Ｂ、３０１Ｃ　視野
　３０２、３０２Ａ、３０２Ｂ、３０２Ｃ　表示
　４０１　要素画像
　４０２　レンズ素子
　４０３　視線方向
　５０１　表示方向
　５０２　ユーザ視点位置方向
　５０３　中点方向
　６０１　画面位置データ
　６０２　画面姿勢データ
　６０３　画面形状データ
　６０４　撮像位置データ
　６０５　撮像姿勢データ
　６０６　三次元データ
　６０７　ユーザ視点位置データ
　６０８　表示画像データ
　１１００　画像表示システム
　１１０１　画像表示装置
　１１０２　音声出力部
　１１０３　画像取得装置
　１１０４　表示空間撮像部
　１１０５　処理部
　１１０６　音声取得部　
　１２００　巨大サイネージ装置
　１２０１　巨大サイネージディスプレイ
　１２０２　仮想的なユーザ
　１２０３　ビルディング

Claims (17)

  1. 　複数の表示方向に異なる画像を同時に表示可能な画面を有するディスプレイと、
    　仮想的に設定した所定の基準座標空間における前記画面の位置、姿勢及び形状を示す画面配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、前記基準座標空間上の１つ以上のユーザ視点位置を示すユーザ視点位置データと、を保持する記憶部と、
    　１つ以上の前記ユーザ視点位置毎に夫々、前記画面配置データと前記三次元データに基づいて、該ユーザ視点位置から前記画面を介して前記基準座標空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成する画像生成部と、
    　１つ以上の前記ユーザ視点位置毎に夫々、該ユーザ視点位置に対応して生成された表示画像を、前記ディスプレイから、該ユーザ視点位置に向けたユーザ視点位置方向に表示させる画像表示部と、
    を有する画像表示システム。 
  2. 　前記画像生成部は、前記三次元データに射影変換を適用することにより、前記ユーザ視点位置毎に夫々、前記画面を通して見える前記三次元オブジェクトの表示画像を生成する、
    請求項１に記載の画像表示システム。
  3. 　前記画像生成部は、前記基準座標空間上で、前記三次元データの各点を該各点と前記ユーザ視点位置とを結ぶ直線が前記画面と交わる点に投影することにより、前記ユーザ視点位置から前記画面を介して見える前記三次元オブジェクトの表示画像を、前記１つ以上のユーザ視点位置毎に夫々、生成する、
    請求項１に記載の画像表示システム。
  4. 　前記ディスプレイの前記画面に表示される画像を見るユーザが存在しうるユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部を更に備え、
    　前記記憶部は、前記基準座標空間における前記ユーザ空間撮像部の位置及び姿勢を示す撮像部配置データを更に記憶し、
    　前記撮像部配置データと前記ユーザ空間撮像部で取得される前記ユーザ空間画像とに基づいて、前記基準座標空間上の１人以上のユーザ視点位置を特定し、該ユーザ視点位置と前記画面配置データと前記三次元データに基づいて、該ユーザ視点位置から前記画面を介して仮想空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成する画像生成部を備える、
    請求項１乃至３の何れか一項に記載の画像表示システム。
  5. 　前記画像生成部は、検出された前記ユーザ視点位置毎に、該ユーザ視点位置における該ユーザの右目及び左目から夫々、前記画面を介して前記基準座標空間上の前記三次元オブジェクトを見たときのような見え方となる右目用表示画像及び左目用表示画像を生成し、
    　前記画像表示部は、前記ユーザ視点位置を境に該ユーザの右目側の前記ユーザ視点位置方向へは前記右目用表示画像を前記ディスプレイから表示させ、前記ユーザ視点位置を境に該ユーザの左目側の前記ユーザ視点位置方向へは前記左目用表示画像を前記ディスプレイから表示させる、
    請求項４に記載の画像表示システム。
  6. 　前記画像表示部は、前記ユーザ視点位置方向以外の非ユーザ視点位置方向には、前記ディスプレイより、前記非ユーザ視点位置方向の近傍の前記ユーザ視点位置に対応して生成された表示画像に基づいて生成した表示画像を表示させる、
    請求項１乃至３の何れか一項に記載の画像表示システム。
  7. 　複数の前記ディスプレイを有し、
    　前記記憶部は、前記複数のディスプレイのそれぞれの画面の前記基準座標空間における位置、姿勢及び形状を示す画面配置データを保持し、
    　前記画像生成部は、前記複数のディスプレイのそれぞれについて、前記ディスプレイの画面配置データと前記三次元データに基づいて前記三次元オブジェクトの表示画像を生成し、前記画像表示部に該表示画像を表示させる、
    請求項１乃至３の何れか一項に記載の画像表示システム。
  8. 　前記画像生成部は、異なる複数の前記ユーザ空間撮像部又は異なる複数の組合せの前記ユーザ空間撮像部で撮像される画像に基づいてユーザ視点位置に相当する位置の座標を複数算出し、前記複数の位置の座標をもとに前記ユーザ視点位置を算出する、
    請求項４に記載の画像表示システム。
  9. 　前記画像生成部は、前記ユーザ視点位置を前記記憶部に記録し、前記ユーザ空間撮像部で撮像されたユーザ空間画像から現在のユーザ視点位置を特定できないとき、前記記憶部に記録されている時系列の前記ユーザ視点位置に基づき、現在のユーザ視点位置を推定する、
    請求項４に記載の画像表示システム。
  10. 　前記画像生成部は、時系列の前記ユーザ空間画像からユーザが行った所定のジェスチャを検出し、前記ジェスチャに対応する所定の処理を実行する、
    請求項４に記載の画像表示システム。
  11. 　前記画像生成部は、前記時系列のユーザ空間画像から起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、前記指示ジェスチャに対応する所定の処理を実行し、前記起動ジェスチャを検出せずに前記指示ジェスチャを検出しても前記処理を実行しない、
    請求項１０に記載の画像表示システム。
  12. 　表示対象とする実空間である表示空間を撮像して画像を取得する表示空間撮像部を更に有し、
    　前記画像生成部は、前記表示空間撮像部が取得した画像のデータを利用して前記三次元データを生成する、
    請求項１乃至３の何れか一項に記載の画像表示システム。
  13. 　前記表示空間の音声を取得する音声取得部と、
    　前記ユーザ空間に前記音声を出力する音声出力部と、を更に有する、
    請求項１乃至３の何れか一項に記載の画像表示システム。
  14. 　前記基準座標空間上の１つ以上のユーザ視点位置は、前記基準座標空間上で予め定義された１つ以上の位置である、
    請求項１乃至３の何れか一項に記載の画像表示システム。
  15. 　前記基準座標空間上で予め定義された１つ以上のユーザ視点位置は、前記ユーザ空間においてユーザが滞留しやすい位置に合わせて定義された、
    請求項１４に記載の画像表示システム。
  16. 　前記基準座標空間上で予め定義された１つ以上のユーザ視点位置は、前記ユーザ空間においてユーザを滞留させたくない位置に合わせて定義された、
    請求項１４に記載の画像表示システム。
  17. 　仮想的に設定した所定の基準座標空間上の１つ以上のユーザ視点位置毎に夫々、複数の表示方向に異なる画像を同時に表示可能な画面を有するディスプレイにおける前記基準座標空間上の前記画面の位置、姿勢及び形状を示す画面配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データとに基づいて、該ユーザ視点位置から前記画面を介して前記基準座標空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成する画像生成処理と、
    　１つ以上の前記ユーザ視点位置毎に夫々、該ユーザ視点位置に対応して生成された表示画像を、前記ディスプレイから、該ユーザ視点位置に向けたユーザ視点位置方向に表示させる画像表示処理と、
    を実行する画像表示方法。 
PCT/JP2022/025782 2021-07-01 2022-06-28 画像表示システム及び画像表示方法 WO2023277020A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22830371.5A EP4365887A1 (en) 2021-07-01 2022-06-28 Image display system and image display method
CN202280046923.3A CN117716419A (zh) 2021-07-01 2022-06-28 图像显示***及图像显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-110343 2021-07-01
JP2021110343A JP2023007233A (ja) 2021-07-01 2021-07-01 画像表示システム及び画像表示方法

Publications (1)

Publication Number Publication Date
WO2023277020A1 true WO2023277020A1 (ja) 2023-01-05

Family

ID=84689987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025782 WO2023277020A1 (ja) 2021-07-01 2022-06-28 画像表示システム及び画像表示方法

Country Status (4)

Country Link
EP (1) EP4365887A1 (ja)
JP (1) JP2023007233A (ja)
CN (1) CN117716419A (ja)
WO (1) WO2023277020A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190281280A1 (en) * 2017-12-22 2019-09-12 Antimatter Research, Inc. Parallax Display using Head-Tracking and Light-Field Display
WO2019171557A1 (ja) * 2018-03-08 2019-09-12 塁 佐藤 画像表示システム
WO2020189319A1 (ja) * 2019-03-19 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190281280A1 (en) * 2017-12-22 2019-09-12 Antimatter Research, Inc. Parallax Display using Head-Tracking and Light-Field Display
WO2019171557A1 (ja) * 2018-03-08 2019-09-12 塁 佐藤 画像表示システム
WO2020189319A1 (ja) * 2019-03-19 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAZUKI YOKOYAMA, EYE-SENSING LIGHT FIELD DISPLAY, DELIVERING 3D CREATORS' VISIONS TO CUSTOMERS THE WAY THEY INTENDED, 30 September 2020 (2020-09-30)

Also Published As

Publication number Publication date
JP2023007233A (ja) 2023-01-18
EP4365887A1 (en) 2024-05-08
CN117716419A (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
JP7423683B2 (ja) 画像表示システム
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
WO2019123729A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US20190371072A1 (en) Static occluder
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US11416975B2 (en) Information processing apparatus
WO2022023142A1 (en) Virtual window
JP6682624B2 (ja) 画像処理装置
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
WO2023277020A1 (ja) 画像表示システム及び画像表示方法
JP2022515608A (ja) 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法
CN105894581B (zh) 一种呈现多媒体信息的方法及装置
WO2018071338A1 (en) Virtual reality telepresence
CN113256773A (zh) 表面网格扫描及显示方法、***及装置
US10762715B2 (en) Information processing apparatus
CN112085777A (zh) 六自由度vr眼镜
CN111586394A (zh) 一种三维交互展示***及其展示方法
WO2018173206A1 (ja) 情報処理装置
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡
Dairiki et al. Three-dimensional sprites for lenticular-type three-dimensional display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22830371

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18569465

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280046923.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022830371

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022830371

Country of ref document: EP

Effective date: 20240201