CN117716419A - 图像显示***及图像显示方法 - Google Patents

图像显示***及图像显示方法 Download PDF

Info

Publication number
CN117716419A
CN117716419A CN202280046923.3A CN202280046923A CN117716419A CN 117716419 A CN117716419 A CN 117716419A CN 202280046923 A CN202280046923 A CN 202280046923A CN 117716419 A CN117716419 A CN 117716419A
Authority
CN
China
Prior art keywords
image
display
user
viewpoint position
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046923.3A
Other languages
English (en)
Inventor
佐藤塁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Window Ltd
Original Assignee
Virtual Window Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Window Ltd filed Critical Virtual Window Ltd
Publication of CN117716419A publication Critical patent/CN117716419A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及在显示器上显示从用户的位置观看虚拟三维空间上的三维对象时能够看到的图像的图像显示技术，当多人同时裸眼观看显示器时，对于正在观看显示器的所有人赋予在朝向显示器的对面侧或跟前侧扩展的三维空间中使得实际上不存在的虚拟三维世界或三维对象看起来仿佛存在的错觉的效果，而不会有任何不适感。显示器(104)具有能够在多个显示方向上同时显示不同图像的画面。图像生成部(102)对于位于观看显示于显示器(104)的画面上的图像的一人以上的用户可能存在的画面前方的用户空间内的一个以上的用户视点位置中的每一个，分别生成成为从该用户视点位置经由画面观看虚拟空间上的三维对象时那样的观看方式的三维对象的显示图像。图像显示部(103)针对每个用户视点位置，使与该用户视点位置对应而生成的显示图像在显示器(104)的画面上在与用户视点位置对应的用户视点位置方向上显示。

Description

图像显示***及图像显示方法
技术领域
本发明涉及将从用户的位置观看虚拟三维空间上的三维对象时能够看到的图像显示在显示器上的图像显示***以及图像显示方法。
背景技术
以往，作为在显示器上立体显示从用户的位置观看虚拟三维空间上的三维对象时能够看到的图像的技术，已知有被称为眼感应光场显示器(Eye-sensing Light FieldDisplay(ELFD))的技术(例如，非专利文献1)。在该技术中，通过使用了面部识别技术的眼感应，相对于水平和垂直方向以及纵深方向实时地计算出左右眼睛各自的位置。接着，根据用户的位置信息，假设被摄体放置在显示装置内的情况，取得用户实际以双眼观看被摄体的图像，将其转换为显示器画面上的图像，与微光学透镜的技术组合，作为从显示面板发出的光源图像进行生成，向双眼展示视点图像。由此，能够使用户感觉到仿佛实际上被摄体就在那里。
现有技术文献
非专利文献
非专利文献1:横山一树等4人，“将眼感应光场显示器3D创作者的想法直接传达给顾客”，[online]，2020年9月30日，索尼株式会社R&D中心，索尼株式会社主页，[2021年6月26日检索]，因特网<URL：https://www.sony.com/ja/SonyInfo/technology/stories/LFD/>
发明内容
发明要解决的课题
在考虑将这样的技术作为例如宾馆等的虚拟窗显示器来实现的情况下，不限于观看该显示器的用户是一个人，设想多人分别从不同的位置观看。但是，在上述现有技术中，眼感应只能对一个人执行，同时只能对一个人的用户进行显示。
本发明的目的在于，当多人同时裸眼观看显示器时，实现对于观看显示器的所有人，赋予在向显示器的对面侧或跟前侧扩展的三维空间中实际上不存在的虚拟的三维世界或三维对象仿佛存在的错觉的效果，而不会有任何不适感。
用于解决课题的手段
根据本发明的实施方式的一个示例的图像显示***包括：显示器，具有能够在多个显示方向上同时显示不同图像的画面；存储部，用于保存画面配置数据、三维数据和用户视点位置数据，其中，所述画面配置数据表示画面在虚拟设定的规定的基准坐标空间中的位置、姿势及形状，所述三维数据表示基准坐标空间上的三维对象，所述用户视点位置数据表示基准坐标空间上的一个以上的用户视点位置；图像生成部，分别针对一个以上的用户视点位置中的每一个，基于画面配置数据和三维数据生成三维对象的显示图像，其中，三维对象的显示图像成为从该用户视点位置通过画面观看基准坐标空间上的三维对象时那样的观看方式；以及图像显示部，针对一个以上的用户视点位置中的每一个，使与该用户视点位置对应而生成的显示图像在从显示器朝向该用户视点位置的用户视点位置方向上显示。
发明的效果
根据本发明，当多人同时裸眼观看显示器时，能够实现对于观看显示器的所有人，赋予在向显示器的对面侧或跟前侧扩展的三维空间中实际上不存在的虚拟三维对象仿佛存在的错觉的效果，而不会有任何不适感。
附图说明
图1是一个实施方式的图像显示***的框图。
图2是表示一个实施方式的外观示例的图。
图3是一个实施方式中的图像生成部的说明图。
图4是图像显示部和显示器的第一说明图。
图5是图像显示部和显示器的第二说明图。
图6是表示存储部中存储的数据配置示例的图。
图7是表示一个实施方式的图像显示***的整体处理的示例的流程图。
图8是表示视点位置计算处理的详细示例的流程图。
图9是表示图像显示处理的详细示例的流程图。
图10是表示手势处理的详细示例的流程图。
图11是表示其他实施方式的配置示例的图。
图12是进一步表示其他实施方式的配置示例的图。
具体实施方式
以下，参照附图对用于实施本发明的方式进行详细说明。
图1是一个实施方式的图像显示***100的框图。图2是表示一个实施方式的外观示例的图。
在图1中，图像显示***100包括显示器104、视点位置计算部101、图像生成部102和图像显示部103。另外，在图2中，包括用户空间摄像部202。
显示器104是具有能够在多个显示方向上同时显示不同图像的画面201(图2)的、例如在液晶显示器的表面粘贴有柱状透镜(lenticular lens)的类型的光场显示器。在此，显示器的显示方式没有特别限定，也可以是液晶显示器、等离子显示器、有机EL显示器、FED场致发射显示器)、小型LED显示器、微型LED显示器、大型LED阵列。也可以是以背投方式通过背面投射视频的板。贴在表面的透镜除了柱状透镜以外，也可以使用控制光的方向的球体透镜，或者使用符合大型LED阵列尺寸的大型透镜或板。代替透镜元件，也可以使用排列有多个狭缝的视差障壁(parallax barrier)等。另外，作为在多个显示方向上显示图像的方式，不限于透镜阵列方式，也可以是堆叠多个显示器的方式。也可以使用张量显示器。
视点位置计算部101对于存在于观看显示于显示器104的画面201上的图像的用户可能存在的、画面201前方的用户空间内的一人以上的用户203在规定的基准坐标空间(图2)上的各用户视点位置204进行同时检测。
这里，在显示器104的例如上部设置用户空间摄像部202-1、202-2(它们是相同的，有时指双方或某一方而仅记载为“用户空间摄像部202”)。用户空间摄像部202拍摄位于观看显示器104的画面201上显示的图像的用户203可能存在的、位于画面201前方的用户空间，取得用户空间图像。
视点位置计算部101基于用户空间摄像部202拍摄的用户空间图像，执行例如面部识别处理，检测各用户203的用户视点位置204。
图像显示***100的使用方法没有特别限定，但除了将显示器104的画面201作为模拟的窗口来提高室内景观的用途之外，还可以设想作为在游戏中心或主题公园等娱乐设施或家庭中的固定式娱乐装置中使用户203体验虚拟现实或增强现实的装置的用途、作为美术品或广告在室内外展示的作为引人注目的对象的用途等。基于图像显示***100的显示器104可用作虚拟现实或增强现实技术中的显示装置，与HMD(头戴式显示器)同样，能够使用户203体验具有真实感的虚拟现实或增强现实，并且用户203不会有将设备戴在头上的麻烦。
图像显示***100的设置场所没有特别限定，例如在宾馆、办公室、住宅等室内使用时，宾馆的客人、在办公室工作的办公室工作人员、住宅的居住者等是用户203(图2)，设置显示器104的房间中是用户空间。在娱乐设施等中利用的情况下，体验者是用户203，被利用的空间即体验者能够移动的范围(在该情况下也包含采取坐、仰卧、俯卧等各种姿势的状况)是用户空间。在本实施方式中，用户203虽然可以是一个人，但以对应多人为前提。在本实施方式中，当多个用户203同时观看显示器104时，能够看到与各自的位置对应的立体图像或视频。
存储部105是易失性存储器和非易失性存储器中的任一者或两者。存储部105保存：表示画面201在规定的基准坐标空间中的位置、姿势以及形状的画面配置数据；表示用户空间摄像部202-1、202-2在基准坐标空间中的位置以及姿势的摄像部配置数据；表示基准坐标空间上的虚拟三维对象的三维数据；以及一个以上的用户视点位置数据。基准坐标空间是由具有作为本实施方式中的运算基准的预定原点O的坐标系(基准坐标系)表示的空间。
图2所示的基准坐标空间及其原点O可以任意设定。例如，基准坐标空间可以相对于画面201固定，也可以相对于用户空间摄像部202固定，也可以相对于画面201和用户空间摄像部202这两者固定，也可以不相对于任何一方固定。
在图2的示例中，基准坐标空间是具有xyz三轴的正交坐标系的空间。用户空间摄像部202的位置(xs，ys，zs)和姿势(yaws，Pitchs，Rolls)206以及画面201的位置(xm，ym，zm)、姿势(yawm，Pitchm，Rollm)和形状(heightm，Widthm)205被设定在该基准坐标空间上。另外，在此作为一个示例，画面201为长方形，其形状以高度和宽度来表现。
另外，在本实施方式中，作为一个示例，将基准空间上的用户203的头部的中央位置(xh、yh、zh)作为用户视点位置204。用户视点位置204可以是用户203的视点的位置或者可以被视为用户203的视点的点的位置。不限于本实施方式的示例。作为另一示例，用户203的双眼的中央也可以作为用户203的用户视点位置204。另外，也可以将通过脸部识别处理或人物识别处理识别出的脸部的区域的中央或者识别出的双眼的中央作为用户视点位置204。
另外，在本实施方式中，作为一个示例，将用户空间摄像部202的镜头中央作为用户空间摄像部202的位置206(xs、ys、zs)。另外，在此作为一个示例，将画面201的中央作为画面201的位置205(xm、ym、zm)。
上述视点位置计算部101是执行视点位置计算处理程序(参照后述的图7的步骤S701)的例如处理器。视点位置计算部101基于存储在存储部105中的用户空间摄像部202的位置206和通过两个用户空间摄像部202-1、202-2取得的用户空间图像，确定基准坐标空间上的一人以上的用户203的用户视点位置204。
图像生成部102可以是对每个用户执行显示图像生成处理程序(参照后述的图7的步骤S702)的、与视点位置计算部101相同的处理器。图像生成部102基于视点位置计算部101计算出的用户视点位置204和存储于存储部105中的画面配置数据和三维数据，来生成成为如从用户视点位置204通过画面201观看虚拟空间上的三维对象时这种观看方式的三维对象的显示图像。
图像显示部103可以是对每个用户执行显示控制处理程序(参照后述的图7的步骤S703)的、与视点位置计算部101相同的处理器。图像显示部103针对用户203的每个用户视点位置204，在显示器104的画面201上，在与该用户视点位置204对应的用户视点位置方向上显示由图像生成部102与该用户视点位置204对应地生成的显示图像。
结果，从各用户203，通过显示器104的画面201，能够看到好像在虚拟空间上存在三维对象。
另外，在确定用户203的用户视点位置204时，例如，视点位置计算部101也可以从由两个用户空间摄像部202-1、202-2在同一时刻取得的摄像图像中分别确定人类(用户203)，确定该摄像图像中的拍摄到用户203的头部的位置，基于摄像部配置数据和两个用户空间图像中的用户203的头部的视差，计算从用户空间摄像部202-1、202-2到用户203的头部为止的距离。能够使用三角测量的原理，以简单的配置确定正确的用户视点位置204。
但是，确定用户视点位置204的配置和方法不限于这里所示的立体传感器，可以采用任何方式。作为其他示例，也可以使用如下方式：用户空间摄像部202照射具有多个点的点图案的红外线激光，根据所拍摄的图像中的各红外线激光照射的部分的图像，计算各红外线激光照射的部分与用户空间摄像部202之间的距离。红外线激光和/或其点图案具有规定的扩展角度，在红外线激光的点照射到的部分，距离用户空间摄像部202越远，点的大小和/或点的间隔越大。根据该点的大小和/或点的间隔，能够计算从用户空间摄像部202到红外线激光照射到的部分的距离。
作为又一个示例，也可以采用以下方式：照射用户空间摄像部202调制后的红外光，将由物体反射回来的红外光投影到每个像素的阵列传感器上，根据对每个像素照射的红外光与接收到的红外光的相位差，计算反射了红外线激光的物体与用户空间摄像部202之间的距离。作为另一示例，还存在根据由单眼摄像装置拍摄的图像来计算图像内的物体的纵深的技术，并且该技术可以用于用户空间摄像部202。作为又一个示例，也有在用户自身或用户203抓取或穿戴的物体上，安装具有传感器容易检测的规定形状和/或尺寸的物理标记、或红外线LED等发出规定光的发光体的标记，根据该标记的位置确定用户视点位置204的方法，也可以在用户空间摄像部202中采用该技术。
根据本实施方式的显示器104和用户空间摄像部202可以如图2所例示那样配置为分别具有不同的壳体的装置，也可以由一个壳体一体配置。在将显示器104和用户空间摄像部202配置为不同的装置的情况下，可以在显示器104和用户空间摄像部202的任一个上设置视点位置计算部101和图像生成部102这两者，也可以由各装置分担设置。在该情况下，显示器104和用户空间摄像部202通过有线或无线进行通信。
图3是一个实施方式中的图像生成部102的说明图。显示器104的画面201的前方的用户空间是实际空间。在画面201的后方所定义的虚拟空间，作为通过基于画面201的虚拟窗(以下也称为“虚窗”)从用户203(A、B、C)的头部的某个用户视点位置204(A、B、C)能够看到的显示图像，显示在画面201上。虚拟空间上的三维对象由三维数据定义。在图3的示例中，作为三维对象横向排列配置有6棵树。另外，这里，在图3上为了说明而在画面201的后方定义了虚拟空间，但也可以在画面201的前方定义虚拟空间，也可以将包含画面201的前方和后方的空间定义为虚拟空间。由此，不仅能够在画面201上显示虚拟空间的三维对象看起来像是位于基于画面201的虚拟窗的对面位置的图像，而且还能够在画面201上显示虚拟空间的三维对象看起来是从画面201向跟前突出的图像。
当用户203位于显示器104的画面201的正面附近的用户视点位置204A时，从基于画面201的虚窗看到的虚拟空间的视野301A宽广，以6棵树全部进入视野301A的方式显示在画面201上(显示302A)。当用户203从用户视点位置204A向z方向移动，来到远离画面201的用户视点位置204B时，从基于画面201的虚窗看到的虚拟空间的视野301B变窄，仅显示为3棵树的整体和其两侧的树的一部分进入视野301B中(显示302B)。另外，当用户203从用户视点位置204A向-x(负x)方向移动，来到用户视点位置204C时，从基于画面201的虚窗看到的虚拟空间的视野301C向x方向变化。只有右端的3棵树进入到视野301C中。此外，在视野301C中，相对于画面201不是从正面观看而是从斜方观看，但从虚窗看到的树的横向的粗细需要与从正面观看时相同的粗细(显示302C')。因此，在画面201上显示树时，显示进行了适当伸缩处理的图像，以使得从用户203看起来像302C’的效果(显示302C)。如上所述，作为为了使用户203产生虚拟空间上三维对象像是存在于那里的错觉而使得看起来成为确实自然的图像的处理，在本实施方式中，当生成要在显示器104的画面201上显示的图像时，进行将由三维数据定义的虚拟空间中的三维对象投影到显示器104的画面201(即，二维表面)上的处理(射影变换)。作为另一种方法，在基准坐标空间中，可以将三维数据的各点投影到连接该各点和用户视点位置204得到的直线与画面201相交的点。另外，作为生成在显示器104的画面201上显示的图像的其他处理方法，也可以对图像或图像具有的三维参数进行根据经验法则的特定的矩阵或数值的四则运算处理。
另外，根据本实施方式，由于将画面201和用户空间摄像部202配置在同一基准坐标空间上并在该基准坐标空间上计算出用户视点位置和显示图像，因此能够容易地将通用设计应用于用户空间摄像部202和显示器104的相对位置或姿势或者该两者不同的***。例如，用户空间摄像部202和显示器104是不同的装置，不仅是能够自由选择各自的配置位置的类型的***，而且对于用户空间摄像部202和显示器104一体地构成且相对位置和姿势固定的***，如果存在画面尺寸和形状不同的多种类型，则用户空间摄像部202和显示器104的相对位置和姿势因类型而异。通用设计能够应用于这些不同的类型。
另外，在同一房间中使用多个显示器104的情况下，无论将这些显示器104设置于怎样的位置和角度，都能够将多个显示器104的画面201配置在同一基准坐标空间上，在该基准坐标空间上利用通用运算方法计算出在画面104上的显示图像。另外，能够使同一房间的多个显示器104的图像以高精度连续显示。这在改善宾馆、住宅、办公室等室内景观中发挥着较高的视觉效果。
图4和图5是图像显示部103和显示器104的说明图。在本实施方式中，在图3的说明中，多个用户203同时站在显示器104的前面，上述的视点位置计算部101能够同时检测与所述多个用户203分别对应的多个用户视点位置204。
这种情况下，在通常的显示器的液晶画面等中，不能在各显示像素位置同时显示多个像素显示数据。
与此相对，本实施方式中的显示器104具有能够在多个显示方向上同时显示不同图像的画面201。具体而言，在具有图4和图5的结构的显示器104中，画面201被配置为以汇集了45个像素为单位的集合。以下，将该单位记载为要素图像401。即，一个要素图像401由45个像素构成，在各像素中配置RGB显示元件500。RGB显示元件500由显示R(红)、G(绿)、B(蓝)三种颜色的三个子像素显示元件构成。也可以是4种颜色的显示元件。由45个像素构成的要素图像401对应于一般的显示器的1个像素。
与此同时，各要素图像401包括透镜元件402，该透镜元件402是用于使在该要素图像401内的45个像素的RGB显示元件500中显示的45束RGB光的各光路的方向向图5所示的例如0至44的45个显示方向(以下，将该方向记载为“显示方向501”)折射的、被称为柱状透镜的半圆柱型的柱面透镜。
而且，上述的图像显示部103，对于用户视点位置204A、204B、204C、204D等的每一个，将与这些用户视点位置对应地由图像生成部102生成的显示图像(参照图3的302A、302B、302C等)的数据，例如输入到与从基准坐标空间(图2)的预定原点O(例如画面201的中心位置)朝向各用户视点位置204A、204B、204C、204D的方向502A、502B、502C、502D对应的像素编号的RGB显示元件500。在下文中，将该方向记载为用户视点位置方向502A、502B、502C、502D。或者，将这些方向统称为用户视点位置方向502。
这里，图像生成部102对于由视点位置计算部101检测出的用户203A、203B、203C、203D的每个用户视点位置204A、204B、204C、204D，例如还可以生成右眼用显示图像以及左眼用显示图像，右眼用显示图像以及左眼用显示图像为分别从该用户视点位置向左右离开一定距离的用户的右眼和左眼经由画面201观看虚拟基准空间上的三维对象时那样的观看方式。
在这种情况下，图像显示部103针对用户203A、203B、203C和203D的每个用户视点位置204A、204B、204C和204D，将与各用户视点位置对应地生成的上述的右眼用显示图像和左眼用显示图像的数据，分别表示在：位于与各用户视点位置对应的各用户视点位置方向502A、502B、502C、502D的两侧的、与右眼的显示方向对应的像素编号的RGB显示元件500和与左眼的显示方向对应的像素编号的RGB显示元件500上。
以上的控制动作的结果，针对图4的用户203A、203B、203C、203D中的每个，如作为连结各右眼及各左眼与各透镜元件402而得到的视线方向403所示的那样，另外，如作为图3的显示302A、302B、302C等说明的那样，可以将对每个用户203控制了虚拟空间内的显示状态的图像，同时显示给相对于显示器104处于各种位置的多个用户203A、203B、203C、203D。
此时，对于各用户203A、203B、203C、203D，由于具有双眼的视差的图像入射到各自的右眼和左眼，因此能够体验具有临场感的裸眼立体视觉。
在下文中，对图像显示***100的动作进行详细说明。
图6是表示在一个实施方式中记录在存储部105中的数据配置示例的图。在图6中，在存储部105中记录有：画面位置数据601、画面姿势数据602、画面形状数据603、摄像位置数据604、摄像姿势数据605、三维数据606、与一人以上的用户203对应的用户视点位置数据607、以及与一人以上的用户203对应的显示图像数据608。上述画面配置数据包括这里提及的画面位置数据601、画面姿势数据602和画面形状数据603。另外，上述的摄像部配置数据包括这里提及的摄像位置数据604和摄像姿势数据605。
画面位置数据601是表示画面201的位置(xm、ym、zm)(参照图2)的数据。画面201的位置(xm、ym、zm)可以在显示器104的设置时确定并设定，也可以配置为显示器104被设置后自由移动并使得记录在存储部105中的位置信息的数值根据该移动而始终被更新的形式。在使用多个显示器104的情况下，设定各个画面201的位置(xm、ym、zm)。
画面姿势数据602是表示画面201的姿势(yawm、Pitchm、Rollm)(参照图2)的数据。画面201的姿势(yawm、Pitchm、Rollm)可以在显示器104的设置时确定并设定，也可以与显示器104的设置条件一起在设计时或出厂时预先设定为固定值。例如，将显示器104设为水平并固定在墙面上的设置条件，也可以根据该设置条件预先设定设置时的姿势(yawm、Pitchm、Rollm)。另外，也可以采用显示器104在设置后自由旋转并使得记录在存储部105中的姿势信息的数值根据该旋转而始终被更新的形式。在使用多个显示器104的情况下，设定各个画面201的姿势(yawm、Pitchm、Rollm)。
画面形状数据603是表示画面201的形状(Heightm、Widthm)的数据。画面201的形状(Heightm、Widthm)可以在设计时或出厂时预先设定显示器104的固定值，也可以采用显示器104在设置后自由变形并使得记录在存储部105中的形状信息的数值根据该变形而始终被更新的形式。在使用多个显示器104的情况下，设定各个画面201的形状(Heightm、Widthm)。另外，作为画面201的形状假定为长方形，Heightm是高度方向的长度的数值，Widthm是宽度方向的长度的数值，但画面201的形状不限于长方形。例如，画面201可以是等腰三角形，其形状可以用下底的长度和高度来表现。另外，也可以将画面201设为梯形，其形状可以用上底、下底和高度来表现。另外，作为画面201也可以使用曲面画面。如果是长方形的平面以特定的曲率弯曲而成的形状的画面，则可以用长方形的高度和宽度、以及曲率或半径来表现其形状。同样，也可以用表征各自形状的参数来表现球、长球、扁球、旋转体等各种形状的画面。包括这里例示的画面在内的任何画面都可以在基准坐标空间上定义其形状，并计算出显示的图像。
摄像位置数据604是表示上述用户空间摄像部202-1、202-2的各自的位置(xs、ys、zs)(参照图2)的数据。摄像位置数据604的位置(xs、ys、zs)在设置用户空间摄像部202时确定并设定。
摄像姿势数据605是表示上述用户空间摄像部202-1、202-2的姿势(yaws、Pitchs、Rolls)(参照图2)的数据。摄像姿势数据605的姿势(yaws、Pitchs、Rolls)可以在设置用户空间摄像部202时进行确定并设定，也可以与用户空间摄像部202的设置条件一起进行确定并预先设定为固定值。
三维数据606是作为用于生成在显示器104上显示的图像的基础的三维数据，是表现如图3所例示的虚拟空间中的三维对象的三维数据。这里所说的三维数据606只要是表现三维空间上的三维对象的数据即可，对具体的方法没有特别限定。可以是具有通过计算机图形制作的立体信息的数据，也可以是在没有厚度的平面的三维对象上粘贴了实拍的静止图像或动态图像的数据。也可以是使用视野为180°或与其接近的宽视场角透镜的照相机、或使用360°摄像机等拍摄的静止图像或动态图像粘贴在没有厚度的球面对象的表面上的数据。
用户视点位置数据607是表示上述用户视点位置204的数据。由于用户视点位置204由视点位置计算部101反复更新，因此用户视点位置数据607也每次被更新。例如，如果设显示器104的帧率为30fps(帧/秒)，以与其相同的周期更新用户视点位置204，则用户视点位置数据607在1秒钟内被更新30次。在用户视点位置数据607中存储时间顺序的用户视点位置204的数据。
另外，由于对于可能存在于用户空间内的多个用户203，用户视点位置204同时被检测出多个位置，因此也可以存储相应的多个用户视点位置数据607。
显示图像数据608是以上述的从用户视点位置204看起来基于画面201的虚窗的对面空间中存在三维对象的方式投影三维数据606得到的图像的数据，是由图像生成部102生成的、在画面201上显示的显示图像的数据。画面201上显示的显示图像的数据由图像生成部102反复更新，因此显示图像数据608也每次被更新。例如，如果设显示器104的帧率为30fps，则显示图像数据608在1秒钟内被更新30次。存在多个显示器104的情况下，将在各个显示器104的画面201上显示的数据记录为显示图像数据608。
另外，由于由图像生成部102对可能存在于用户空间内的多个用户203也同时生成多张显示图像，因此也可以存储相应的多个显示图像数据608。
图7是根据一个实施方式的图1的图像显示***100的整体处理的流程图。图7的各处理由实现图1的视点位置计算部101、图像生成部102以及图像显示部103的处理器执行。通过该处理器周期性地反复进行图7的处理，显示在显示器104上的图像随着时间经过而变化，被用户203识别为动画。例如，假设显示器104上显示的图像的帧率为30fps，则上述处理器在1秒钟内反复进行30次图7所示的处理。
在图7中，例如，实现为处理器执行视点位置计算处理程序的功能或基于专用硬件的功能的视点位置计算部101，首先执行视点位置计算处理(步骤S701)。该处理是计算出上述的用户视点位置204并作为用户视点位置数据607记录在存储部105中的处理。该处理的详细情况在后面使用图8进行叙述。
接着，例如，实现为与视点位置计算部101相同或不同的处理器执行图像生成处理程序的功能或基于专用硬件的功能的图像生成部102，执行图像生成处理(步骤S702)。该处理是生成从记录在存储部105中的用户视点位置数据607所表示的用户视点位置204通过画面201看到的三维对象的图像，并将该数据记录在存储部105中的处理。在存在多个显示器104的情况下，图像生成部102生成在各个显示器104的画面201上显示的图像，并将其数据记录为显示图像数据608。在存在多个用户视点位置204的情况下，对多个显示器104的画面201分别生成多个用户视点位置对应的图像，将其数据作为多个显示图像数据608进行记录。
接着，例如，实现为与视点位置计算部101相同或不同的处理器执行图像显示处理程序的功能或基于专用硬件的功能的图像显示部103，执行图像显示处理(步骤S703)。该处理是基于在存储部105中记录的每个用户203的显示图像数据608、将通过画面201看到的三维对象的图像经由显示器104的画面201显示给位于各用户视点位置204处的各用户203的处理。在存在多个显示器104的情况下，图像显示部103将通过各个显示器104的画面201看到的三维对象的图像的数据显示在各个显示器104上。该处理的详细情况在后面使用图9进行叙述。这些处理器的各功能，例如，如图2所示，在将显示器104和具有用户空间摄像部201-1、202-2的立体传感器构成为单独的装置的情况下，步骤S701可以由立体传感器分担，步骤S702、S703可以由显示器104分担。
根据本实施方式的图像生成部102可以配置为通过将射影变换应用于三维数据606，来生成从各用户视点位置204通过画面201看到的三维对象的显示图像。由于通过射影变换，将三维数据606的三维对象相对于画面201考虑用户视点位置204进行数学投影，因此即使在各用户203从斜向观看画面201时，三维对象也被显示为与各个用户203的用户视点位置204对应的好像确实的自然图像。
另外，视点位置计算部101也可以基于由用户空间摄像部202得到的到现在为止的时间顺序的用户空间图像、或者用户视点位置204、或者这两者，进行去除包含于用户视点位置204的噪声的处理。如果使用对拍摄的最近的用户空间图像直接进行图像处理的结果来计算用户视点位置204，生成从该用户视点位置204看到的三维对象的图像，则通过仅在该时刻产生的各种噪声要素，计算出用户视点位置204突然大幅度偏移的位置，结果，显示图像有可能在每一帧出现抖动。根据本结构，在基于过去的用户空间图像或用户视点位置204去除用户视点位置204的噪声之后，确定当前的用户视点位置204，因此能够抑制显示图像的抖动。作为除去噪声的方法，有基于过去的用户空间图像的数据进行噪声判定，基于判定结果来去除当前的空间图像的噪声的方法。另外，有基于过去的用户视点位置204的数据和当前的用户视点位置204的数据，使用卡尔曼滤波器更新(或修正)当前的用户视点位置204的方法。
图8是表示图7的步骤S701的视点位置计算处理的详细示例的流程图。
在图8中，视点位置计算部101首先执行用户空间图像中的特征量搜索(步骤S801)。该处理从用户空间摄像部202-1或202-2的任一者的图像中检测出人类(用户203)的头部。从图像检测出人类的头部的处理例如可以使用面部识别技术。此时，可以使用识别基于Haar-like特征的明暗差的面部图案的方法。另外，也可以是使用从通过纵深学习或机器学习而训练的图像直接识别用户203的学习器(已学习的人工智能程序)来识别脸部位置、或者从身体骨骼直接识别头的中心位置的方法。此时，能够对应于可能存在多人的用户203同时检测多个头部。
接着，视点位置计算部101执行图像匹配处理(步骤S802)。该处理是如下的处理：将基于用户空间摄像部202-1、202-2的用户空间图像彼此进行比较，并且确定在步骤S801中被识别为在一个用户空间图像中搜索到的一人以上的用户203的特征部位和拍摄了相同内容的另一用户空间图像中的部位。
接着，视点位置计算部101确定两个用户空间图像中的特征部位的像素坐标(步骤802)。这里，视点位置计算部101分别在由用户空间摄像部202-1拍摄的用户空间图像中的特征部位和由用户空间摄像部202-2拍摄的用户空间图像中的特征部位中，取得用户空间图像中的像素坐标。
接着，视点位置计算部101基于图像匹配处理的结果，通过将各像素与三维坐标相对应来确定用户视点位置204(步骤S804)。如果通过步骤S803的处理来确定在两个图像中拍摄到相同物体的位置的像素坐标，则能够使用三角测量的原理来确定该位置的三维坐标。
如果所确定的部位是一人以上的用户203的头部，则将各自的三维坐标确定为各用户视点位置204。此时，视点位置计算部101例如也可以将头部的中心部的位置作为头部位置(xh、yh、zh)(参照图2)。此时，从用户空间图像推定头部的半径，从头部的中央的表面向纵深方向进入半径的量的位置的三维坐标成为头部位置。具体而言，对头部的中央表面的三维坐标的z值加上半径的量即可。
另外，作为另一个示例，视点位置计算部101也可以将用户空间图像中的头部的中央表面位置作为头部位置(xh、yh、zh)(图2)。在该情况下，与显示头部的中央的像素对应的三维坐标直接成为头部位置。
另外，作为确定用户视点位置204的方法的又一个示例，视点位置计算部101检测图像中的具有类似人物的特征的区域，得到从用户空间摄像部202-1、202-2到该特征区域的距离后，也可以采用如下方法：将该特征区域的水平方向的中心位置设为XV，将从特征区域在垂直方向上的顶点向下10cm左右的位置作为YV，基于像素坐标(XV、YV)和到特征区域的距离，简单地推定用户视点位置204。该方法将头顶部的10cm下推定为用户视点位置204。
注意，不限于通过两个用户空间摄像部202-1、202-2获得的用户空间图像的双方都拍摄到用户203的头部。由于用户空间摄像部202-1和用户空间摄像部202-2的位置的不同、障碍物的影响等，也有可能仅在通过两个用户空间摄像部202-1、202-2获得的用户空间图像中的一个上拍摄到用户203的头部。在这种情况下，可以推定用户视点位置204。由此，能够在宽范围内确定用户视点位置204，并用于显示图像的生成。
例如，视点位置计算部101也可以配置为：记录由用户空间摄像部202-1、202-2取得的图像的数据和根据该图像计算出的用户视点位置204的信息中的至少一方，在由多个用户空间摄像部202拍摄的用户空间图像中拍摄到与用户视点位置204有关的规定的用户部位(这里为头部)的情况下，基于多个用户空间图像的视差计算出用户视点位置204，在仅基于一个用户空间摄像部202的用户空间图像中拍摄到用户部位的情况下，基于该一个用户空间图像和过去的用户空间图像的数据或过去的用户视点位置204来推定用户视点位置204。
另外，在本实施方式中，视点位置计算部101有时会在用户203激烈移动的情况下或者由于房间的亮度等的影响而无法检测特征量，而成为从由用户空间摄像部202-1、202-2拍摄的图像暂时无法计算出用户203的用户视点位置204的状态。在这种情况下，视点位置计算部101可以基于作为用户视点位置数据607存储在存储部105中的过去的时间顺序的用户视点位置204来推定当前的用户视点位置204。具体而言，也可以根据过去的用户视点位置204的历史来记录用于表示用户203的移动速度、移动加速度及它们的方向的三维矢量的数据，根据这些数据来推定当前的用户视点位置204。例如，如果在移动方向的前方没有障碍物，则也可以从能够计算出的最新的移动速度以能够计算出的最新的移动加速度进行速度变化，将从能够计算出的最新的用户视点位置到目前为止移动到的位置作为当前的用户视点位置204。
另外，在本实施方式中，视点位置计算部101也可以修正用户视点位置204，图像生成部102基于修正后的用户视点位置204，生成通过画面201能够看到的三维对象的图像。由此，能够提高用户视点位置204的精度。例如，也可以设置具有用户空间摄像部202-1、202-2的多个立体传感器，从通过这些立体传感器取得的多个用户视点位置基于最小二乘准则来推定用户视点位置204。另外，也可以从具有两个用户空间摄像部202-1、202-2的立体传感器和作为其他传感器例示的使用红外线的传感器或利用标记测定用户位置的传感器等，从通过两个以上的任意组合得到的两个以上的用户视点位置，基于最小二乘准则来推定用户视点位置204。另外，也可以不使用视点位置计算部101，作为预先固定了用户视点位置的空间坐标的值，而被定义并存储在存储部中。在多个用户视点位置，可以是一部分被固定的值，也可以是全部被固定。
图9是表示图7的步骤S703的图像显示处理的详细示例的流程图。在下文中，根据上述图5的说明图对该处理进行说明。作为处理器的功能的图像显示部103，在图5中说明的第0个到第44个的45个显示方向501中，首先在第0个显示方向501和在图7的步骤S701中计算出的一个以上的视点位置204中通过最初的视点位置204(例如，图5的204A)的用户视点位置方向502(例如，图5的502A)之间的、例如与图5的第0个到第3个的各显示方向501对应的各像素编号的RGB显示元件500上，设置与最初的视点位置204(例如，图5的204A)的左眼的显示方向对应而生成的左眼用显示图像数据(步骤S901)。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
接着，图像显示部103例如将存储在未图示的RAM或寄存器中的、表示用户视点位置204的变量值加1(步骤S905)。
接着，图像显示部103判定表示上述用户视点位置204的变量值是否超过在图7的步骤S701中计算出的最后的用户视点位置204(步骤S906)。
如果还没有处理到最后的用户视点位置204，步骤S906的判定为“NO”，则图像显示部103将控制转移到步骤S902的处理，执行步骤S902至S904的处理。
首先，图像显示部103计算出经过上次的用户视点位置204(例如，图5的204A)和本次的用户视点位置204(例如，图5的204B)的中点的中点方向503(例如，图5的503AB)(步骤S902)。
接着，图像显示部103在与经过上次的用户视点位置204(例如，图5的204A)的用户视点位置方向502(例如，图5的502A)和本次计算出的中点方向503(例如，图5的503AB)之间的、例如图5的第4到第10的各显示方向501对应的各像素编号的RGB显示元件500上，设置与上次的用户视点位置204(例如，图5的204A)的右眼的显示方向对应而生成的右眼用显示图像数据(步骤S903)。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
接着，图像显示部103在与本次在步骤S902中计算出的中点方向503(例如，图5的503AB)和经过本次的用户视点位置204(例如，图5的204B)的用户视点位置方向502(例如图5的502B)之间的、例如图5的第11到第16的各显示方向501对应的各像素编号的RGB显示元件500上，设置与本次的用户视点位置204(例如，图5的204B)的左眼的显示方向对应而生成的左眼用显示图像数据(步骤S904)。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
然后，如上所述，图像显示部103将表示用户视点位置204的变量值加1(步骤S905)，判定该变量值是否超过在图7的步骤S701中计算出的最后的用户视点位置204(步骤S906)。
如果尚未处理到最后的视点位置204，步骤S906的判定为“NO”，则图像显示部103再次执行上述步骤S902至S904的处理。
通过与上述同样的步骤S902，例如在图5中，算出经过上次的用户视点位置204B和本次的用户视点位置204C的中点的中点方向503BC。
接着，通过与上述同样的步骤S903，例如在图5中，与在经过上次的用户视点位置204B的用户视点位置方向502B和本次计算出的中点方向503BC之间的、例如与图5的从第17到第21的各显示方向501对应的各像素编号的RGB显示元件500上，设置与上次的用户视点位置204B的右眼的显示方向对应而生成的右眼用显示图像数据。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
接着，通过与上述同样的步骤S904，例如在图5中，与在本次在步骤S902中计算出的中点方向503BC和通过本次的用户视点位置204C的用户视点位置方向502C之间的、例如图5的第22到第26的各显示方向501对应的各像素编号的RGB显示元件500上，设置与本次的用户视点位置204C的左眼的显示方向对应而生成的左眼用显示图像数据。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
然后，如上所述，图像显示部103将表示用户视点位置204的变量值加1(步骤S905)，判定该变量值是否超过在图7的步骤S701中计算出的最后的用户视点位置204(步骤S906)。
如果尚未处理到最后的视点位置204，步骤S906的判定为“NO”，则图像显示部103再次执行上述步骤S902至S904的处理。
通过与上述同样的步骤S902，例如在图5中，计算出通过上次的用户视点位置204C和本次的用户视点位置204D的中点的中点方向503CD。
接着，通过与上述同样的步骤S903，例如在图5中，与在经过上次的用户视点位置204C的用户视点位置方向502C和本次计算出的中点方向503CD之间的、例如图5的第27到第30的各显示方向501对应的各像素编号的RGB显示元件500上，设置与上次的用户视点位置204C的右眼的显示方向对应而生成的右眼用显示图像数据。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
接着，通过与上述同样的步骤S904，例如在图5中，与在本次在步骤S902中计算出的中点方向503CD和经过本次的用户视点位置204D的用户视点位置方向502D之间的、例如图5的第31到第34的各显示方向501对应的各像素编号的RGB显示元件500上，设置与本次的用户视点位置204D的左眼的显示方向对应而生成的左眼用显示图像数据。对构成画面201的各要素图像401(参照图4)的上述各像素编号的RGB显示元件500执行该设置的处理。
然后，如上所述，图像显示部103将表示用户视点位置204的变量值加1(步骤S905)，判定该变量值是否超过在图7的步骤S701中计算出的最后的用户视点位置204(步骤S906)。
在处理到最后的用户视点位置204后，如果步骤S906的判定为“YES”，则图像显示部103执行最后的步骤S907的处理。在步骤S907中，图像显示部103与在经过本次的用户视点位置204(例如，图5的204D)的用户视点位置方向502(例如，图5的502D)和第44显示方向501之间的例如图5的第35至第44的各显示方向501对应的各像素编号的RGB显示元件上，设置与最后的用户视点位置204(例如，图5的204D)的右眼的显示方向对应而生成的右眼用显示图像数据。
之后，图像显示部103结束图9的流程图所例示的图7的步骤S703的图像显示处理。
在以上的图9的流程图中所例示的图像显示处理中，在图5中由两个用户视点位置204的用户视点位置方向502和通过这些视点位置204之间的中点的中点方向503所划分的区间的各显示方向501上，复制并设置与相邻的视点位置204的右眼或左眼的显示方向对应生成的右眼用显示图像数据或左眼用显示图像数据。与此相对，在靠近画面201的用户203的用户视点位置204和远离画面201的用户203的用户视点位置204上，通过改变显示像素向各显示方向501映射的算法，也能够使显示像素的变化灵敏度根据用户203的用户视点位置204而变得均一。
或者，也可以不是单纯地复制，而是在相邻的两个显示图像之间设置根据各显示方向501进行插值处理而计算出的显示像素。
另外，在本实施方式中，视点位置计算部101从时间顺序的用户空间图像中检测出用户203进行的规定手势，执行与手势对应的规定处理。用户空间摄像部202获取用户空间图像，视点位置检测部101从用户空间图像中检测出规定手势，并且执行与该手势对应的规定处理，因此，通过在实用范围内的用户203进行的手势操作，即使没有操作用的遥控器也可以执行期望的操作。
另外，在本实施方式中，用户203能够通过手势来操作图像显示***100。图10是根据本实施方式的图像显示***的手势操作处理的流程图。
视点位置计算部101基于按时间顺序更新的用户空间图像，监视规定的启动手势的执行(步骤S1001)。启动手势是用于对图像显示***100进行指示的事先的手势。具体的手势没有特别限定，例如是将手放在头上的手势。在没有检测到启动手势的期间，即使进行指示规定处理的指示手势，图像显示***100也不执行该处理。
当检测到启动手势时，视点位置计算部101接着启动计时器(步骤S1002)。该计时器是用于测量通过启动手势使指示手势有效的时间的计时器。当检测到启动手势时，视点位置计算部101可以通过在显示器104的画面201上进行规定的指示接收显示，从而向用户203提示启动手势已被检测到。另外，视点位置计算部101可以从检测到启动手势起至计时器超时为止继续在显示器104上进行指示接收显示的显示。
接着，视点位置计算部101基于按时间顺序更新的用户空间图像监视指示手势的执行(步骤S1003)。如上所述，指示手势是用于指示规定处理的手势。能够通过手势指示的处理可以有多种。在这种情况下，可以为每个处理规定不同的指示手势。
在没有检测到指示手势的期间(步骤S1003的判定为“NO”)，视点位置计算部101监视计时器有没有超时，监视指示手势直到计时器超时为止(步骤S1005的判定为“NO”的反复)。
如果在检测到指示手势之前计时器超时(步骤S1005的判定为“YES”)，则视点位置计算部101返回至步骤S1001的处理，并且监视启动手势。
如果在计时器超时之前检测到指示手势(步骤S1003的判定为“YES”)，则视点位置计算部101执行对应于指示手势的处理(步骤S1004)。然后，视点位置计算部101返回至步骤S1001的处理。
如上所述，视点位置计算部101在从时间顺序的用户空间图像中检测到规定的启动手势之后一旦检测到规定的指示手势，则执行与指示手势对应的规定处理。由于在存在两阶段的手势时执行处理，因此能够抑制错误地执行用户203未打算执行的处理。
另外，在本实施方式中示出了采用两阶段的手势的示例，但不限于此。作为另一示例，可以通过一阶段的手势来操作图像显示***100。即使在这种情况下，如果使用在通常的动作中很少进行的手势，也能够抑制误动作。另外，也可以执行以下处理：在检测到两阶段以上的事先的手势后，如果检测到规定的指示手势，则执行与该指示手势对应的处理。
另外，在本实施例中，示出了图像显示***100具有一个显示器104的示例，但不限于此。作为另一示例，图像显示***100也可以包括多个显示器104。在这种情况下，例如，存储部105保存用于表示多个显示器104的各个画面201在基准坐标空间中的位置、姿势以及形状的画面配置数据。另外，视点位置计算部101针对多个显示器104中的每一个，基于画面201的画面配置数据(画面位置数据601以及画面姿势数据602)和三维数据606，生成三维对象的显示图像，并将各个显示图像显示在显示器104的画面201上。由于将所有的显示器104的画面201的位置和姿势配置在相同的基准坐标空间中进行运算，因此无论将多个显示器104设置在怎样的位置和什么样的姿势下，都能够用共同的运算方法计算出在所有的显示器104上显示的图像。另外，由于将所有的显示器104的画面201的位置和姿势配置在相同的基准坐标空间进行运算，因此能够高精度地匹配多个显示器104的图像并使其连续。这在例如宾馆、住宅、办公室等室内景观的改善中发挥较高的视觉效果。
另外，根据本实施例的图像显示***100也可以具备各种附加功能。
例如，图像显示***100也可以包括与因特网等通信网络连接的通信装置。图像显示***100也可以经由通信装置将信息发送到Web服务器，或者从Web服务器接收信息。可以设定为通过上述手势来执行发送和接收信息的操作。
另外，图像显示***100也可以与个人计算机连接，作为显示个人计算机(PC)的图像的监视器使用。连接接口部例如是HDMI(High-Definition Multimedia Interface：高清晰度多媒体接口)(HDMI是美国HDMI许可管理公司的注册商标)或VGA(Video GraphicsArray：视频图形阵列)。虚窗和PC用监视器的模式切换等操作也可以通过上述的手势来进行。
在本实施方式中，例示了显示虚拟三维对象的图像的图像显示***100，但不限于此。作为另一示例，也可以将现实空间的图像显示在显示器104上。图11例示了显示现实空间的图像的图像显示***。
图11是根据另一实施方式的图像显示***的框图。参照图11，图像显示***1100具有图像显示装置1101和图像取得装置1103。图像显示装置1101和图像取得装置1103通过通信线路连接。例如，图像显示装置1101也可以是经由通信网络获取并显示由图像取得装置1103取得的基于实拍图像的三维数据。另外，也可以配置为图像显示装置1101和图像取得装置1103通过有线或无线的通信进行连接，由图像显示装置1101实时显示基于由图像取得装置1103取得的图像的图像。图像显示装置1101与一个实施方式中所表示的图像显示***100相同，具有视点位置计算部101、图像生成部102、图像显示部103、显示器104、两个用户空间摄像部202-1、202-2以及存储部105。另外，除了这些以外还具有声音输出部1102。图像取得装置1103具有显示空间摄像部1104、处理部1105以及声音取得部1106。
显示空间摄像部1104取得用于在显示器104上显示的实际空间即显示空间的图像。
声音取得部1106取得显示空间的声音。
处理部1105利用显示空间摄像部1104取得的图像的数据生成三维数据。然后，处理部1105将生成的三维数据和声音取得部1106取得的声音数据发送给图像显示装置1101。
处理部1105根据由显示空间摄像部1104取得的实拍图像生成三维数据的方法没有特别限定。例如，也可以将所取得的平面的实拍图像以原状态或者分割为规定尺寸的多个图像，将图像以平面的状态配置在三维空间上。作为显示空间摄像部1104，也可以使用使用了视野为180°或与其接近的宽视场角的透镜的照相机或360°摄影照相机等，将由显示空间摄像部1104拍摄的图像以粘贴在三维空间上的球面物体的内侧表面上的形式配置在三维空间上。另外，通过显示空间摄像部1104中使用了光场技术的照相机，取得光的入射方向和强度的信息，使用这些信息进行图像处理，从而得到也包含纵深信息的、拍摄了三维空间本身的数据。也可以将该数据配置在三维空间上。另外，也可以将实拍图像三维化并配置在三维空间中。也可以利用多个立体照相机拍摄具有纵深信息的实拍图像，基于该实拍图像和纵深信息生成三维数据。此时，显示空间摄像部1104是多个单体摄像部的集合体，取得从多个方向拍摄显示空间得到的图像。
如上所述，在本实施方式中，在图像取得装置1103中，显示空间摄像部1104拍摄作为显示对象的实际空间即显示空间以取得图像。处理部1105利用显示空间摄像部1104取得的图像的数据生成三维数据。然后，图像显示装置1101使用该三维数据，将从用户203的位置通过画面201观看由三维数据表现的三维空间时的图像显示在显示器上。因此，能够将实际空间的图像作为从用户视点位置看到的图像显示在显示器104上。
另外，在本实施方式中，声音取得部1106取得显示空间的声音。然后，声音输出部1102向用户空间输出该声音。因此，不仅能够再现显示空间的图像，还能够再现声音，因此用户203能够在基于显示器104的虚窗的对面以视觉和听觉感受真实空间。
根据本实施方式的画面显示***1100的利用方法没有特别限定，但可以设想用于将图像取得装置1103配置于体育场等，将来自用于观战实际体育比赛的观众席的视野在图像显示装置1101上模拟再现的用途，通过经由通信网络连接图像显示***1100，相互收发由图像取得装置1103取得的图像和声音，从而在远距离之间进行基于图像和声音的实时通信的用途等。
图12是进一步表示其他实施方式的配置示例的图。图12的其他实施方式是将本发明作为大型标牌装置1200实施的图。在图12中，设置在建筑物1203等的屋顶上的大型标牌显示器1201仅尺寸不同，基本配置与图1、图2等中说明的显示器104相同。
但是，在大型标牌装置1200中，视听大型标牌显示器1201的用户是例如在十字路口周围的非特定多个用户，难以通过与图2中说明的那样的用户空间摄像部202相同的机构实时掌握其用户视点位置。
因此，在图12的实施方式中，假设虚拟的用户1202存在于被认为是多数用户视听的多个位置(图12中为6处)，将这样的场所的用户视点位置的数据，与图6的用户视点位置数据607同样地预先存储在与图1的存储部105相同的存储部中。
然后，使用如此存储的用户视点位置数据607，执行与根据一个实施方式的图7的步骤S702、S703的处理以及图9的处理相同的控制处理。
由此，虽然不能像在图1至图9中说明的一个实施方式的情况那样正确地提供与现场的用户对应的显示像素，但通过使用大型标牌显示器1201，能够对存在于多个位置的人同时进行充分的临场感丰富的显示。
在图12的其他实施方式中，通过预先假想的方式确定用户视点位置并进行处理，但也可以使用设置在建筑物屋顶上的与图2的用户空间摄像部202相同的装置，通过摄像大致识别用户群的聚集体集中在哪个位置附近，从该识别结果取得相当于用户视点位置的信息，执行与图1至图9中说明的一个实施方式的情况相同的处理。
在以上说明的一个实施方式及其他实施方式中，作为具有能够在多个显示方向上同时显示不同图像的画面201的显示器104，如图4所说明的那样，对要素图像401由多个像素构成且将柱状透镜等透镜元件402用于每个要素图像401的示例进行了说明，但本发明不限于此。贴在表面的透镜除了柱状透镜以外，也可以使用控制光的方向的球体透镜，或者使用符合大型LED阵列尺寸的大型透镜或板。例如，代替透镜元件402，也可以使用排列有多个狭缝的视差障壁等。显示器的显示方式没有特别限定，可以是液晶显示器、等离子显示器、有机EL显示器、FED(场致发射显示器)、小型LED显示器、微型LED显示器、大型LED阵列。也可以是以背投方式从背面投射视频的板。另外，作为在多个显示方向上显示图像的方式，不限于透镜阵列方式，也可以是堆叠多个显示器的方式。也可以使用张量显示器。
符号说明
100 图像显示***
101 视点位置计算部
102 图像生成部
103 图像显示部
104 显示器
105 存储部
201 画面
202、202-1、202-2用户空间摄像部
203 用户
204 用户视点位置
205 位置
206 位置
301、301A、301B、301C视野
302、302A、302B、302C显示
401 要素图像
402 透镜元件
403 视线方向
501 显示方向
502 用户视点位置方向
503 中点方向
601 画面位置数据
602 画面姿势数据
603 画面形状数据
604 摄像位置数据
605 摄像姿势数据
606 三维数据
607 用户视点位置数据
608 显示图像数据
1100 图像显示***
1101 图像显示装置
1102 声音输出部
1103 图像取得装置
1104 显示空间摄像部
1105 处理部
1106 声音取得部
1200 大型标牌装置
1201 大型标牌显示器
1202 虚拟用户
1203 建筑物

Claims (17)

1.一种图像显示***，包括：
显示器，具有能够在多个显示方向上同时显示不同图像的画面；
存储部，用于保存画面配置数据、三维数据和用户视点位置数据，其中，所述画面配置数据表示所述画面在虚拟设定的规定的基准坐标空间中的位置、姿势及形状，所述三维数据表示所述基准坐标空间上的三维对象，所述用户视点位置数据表示所述基准坐标空间上的一个以上的用户视点位置；
图像生成部，分别针对所述一个以上的用户视点位置中的每一个，基于所述画面配置数据和所述三维数据，生成所述三维对象的显示图像，所述三维对象的所述显示图像成为从该用户视点位置通过所述画面观看所述基准坐标空间上的所述三维对象时那样的观看方式；以及
图像显示部，针对所述一个以上的用户视点位置中的每一个，使与该用户视点位置对应而生成的显示图像在从所述显示器朝向该用户视点位置的用户视点位置方向上显示。
2.根据权利要求1所述的图像显示***，其中，
所述图像生成部通过对所述三维数据应用射影变换，分别针对每个所述用户视点位置，生成通过所述画面能够看到的所述三维对象的显示图像。
3.根据权利要求1所述的图像显示***，其中，
所述图像生成部，在所述基准坐标空间上将所述三维数据的各点投影到连接该各点和所述用户视点位置得到的直线与所述画面相交的点上，从而针对所述一个以上的用户视点位置中的每一个分别生成从所述用户视点位置经由所述画面能够看到的所述三维对象的显示图像。
4.根据权利要求1至3中任一项所述的图像显示***，其中，
所述图像显示***还包括：用户空间摄像部，该用户空间摄像部对观看显示于所述显示器的所述画面上的图像的用户可能存在的用户空间进行拍摄，取得用户空间图像，
所述存储部还存储摄像部配置数据，所述摄像部配置数据用于表示所述用户空间摄像部在所述基准坐标空间中的位置和姿势，
所述图像显示***包括：图像生成部，所述图像生成部基于所述摄像部配置数据和由所述用户空间摄像部取得的所述用户空间图像，确定所述基准坐标空间上的一个以上的用户视点位置，基于该用户视点位置、所述画面配置数据和所述三维数据，生成所述三维对象的显示图像，所述三维对象的所述显示图像成为从该用户视点位置经由所述画面观看虚拟空间上的所述三维对象时那样的观看方式。
5.根据权利要求4所述的图像显示***，其中，
所述图像生成部对于每个检测出的所述用户视点位置，以从该用户视点位置上的该用户的右眼和左眼，分别经由所述画面观看所述基准坐标空间上的所述三维对象时那样的观看方式，生成右眼用显示图像和左眼用显示图像，
所述图像显示部以所述用户视点位置为界，从所述显示器向该用户的右眼侧的所述用户视点位置方向显示所述右眼用显示图像，以所述用户视点位置为界，从所述显示器向该用户的左眼侧的所述用户视点位置方向显示所述左眼用显示图像。
6.根据权利要求1至3中任一项所述的图像显示***，其中，
所述图像显示部，在所述用户视点位置方向以外的非用户视点位置方向上，由所述显示器显示基于与所述非用户视点位置方向附近的所述用户视点位置对应生成的显示图像所生成的显示图像。
7.根据权利要求1至3中任一项所述的图像显示***，其中，
所述图像显示***具有多个所述显示器，
所述存储部保存画面配置数据，所述画面配置数据用于表示所述多个所述显示器的各个画面在所述基准坐标空间中的位置、姿势以及形状，
所述图像生成部针对所述多个所述显示器中的每一个，基于所述显示器的画面配置数据和所述三维数据，生成所述三维对象的显示图像，并在所述图像显示部显示该显示图像。
8.根据权利要求4所述的图像显示***，其中，
所述图像生成部基于由不同的多个所述用户空间摄像部或不同的多个组合的所述用户空间摄像部拍摄的图像，计算与用户视点位置相当的多个位置的坐标，并基于所述多个位置的坐标计算出所述用户视点位置。
9.根据权利要求4所述的图像显示***，其中，
所述图像生成部将所述用户视点位置记录在所述存储部中，在根据由所述用户空间摄像部拍摄的用户空间图像不能确定当前的用户视点位置时，基于记录在所述存储部中的时间顺序的所述用户视点位置，推定当前的用户视点位置。
10.根据权利要求4所述的图像显示***，其中，
所述图像生成部从时间顺序的所述用户空间图像中检测出用户所做出的规定手势，执行与所述手势对应的规定的处理。
11.根据权利要求10所述的图像显示***，其中，
所述图像生成部在从时间顺序的所述用户空间图像中检测到启动手势之后一旦检测到规定的指示手势，则执行与所述指示手势对应的规定的处理，在未检测到所述启动手势时即使检测到所述指示手势也不执行所述处理。
12.根据权利要求1至3中任一项所述的图像显示***，其中，
所述图像显示***还具有显示空间摄像部，所述显示空间摄像部对作为显示对象的实际空间即显示空间进行拍摄并取得图像，
所述图像生成部利用所述显示空间摄像部取得的图像的数据生成所述三维数据。
13.根据权利要求1至3中任一项所述的图像显示***，其中，所述图像显示***还包括：
声音取得部，取得所述显示空间的声音；以及
声音输出部，向所述用户空间输出所述声音。
14.根据权利要求1至3中任一项所述的图像显示***，其中，
所述基准坐标空间上的一个以上的用户视点位置是在所述基准坐标空间上预先定义的一个以上的位置。
15.根据权利要求14所述的图像显示***，其中，
在所述基准坐标空间上预先定义的一个以上的用户视点位置与在所述用户空间中用户容易滞留的位置相对应地进行定义。
16.根据权利要求14所述的图像显示***，其中，
在所述基准坐标空间上预先定义的一个以上的用户视点位置与所述用户空间中不希望用户滞留的位置相对应地进行定义。
17.一种图像显示方法，其中，包括：
图像生成处理，分别针对虚拟设定的规定的基准坐标空间上的一个以上的用户视点位置中的每一个，基于画面配置数据和三维数据，生成所述三维对象的显示图像，所述三维对象的所述显示图像成为从该用户视点位置经由所述画面观看所述基准坐标空间上的所述三维对象时那样的观看方式，其中，所述画面配置数据用于表示具有能够在多个显示方向上同时显示不同图像的画面的显示器的所述画面在所述基准坐标空间上的位置、姿势以及形状，所述三维数据用于表示所述基准坐标空间上的三维对象；以及
图像显示处理，针对一个以上的所述用户视点位置中的每一个，在从所述显示器朝向该用户视点位置的用户视点位置方向上显示与该用户视点位置对应而生成的显示图像。
CN202280046923.3A 2021-07-01 2022-06-28 图像显示***及图像显示方法 Pending CN117716419A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-110343 2021-07-01
JP2021110343A JP2023007233A (ja) 2021-07-01 2021-07-01 画像表示システム及び画像表示方法
PCT/JP2022/025782 WO2023277020A1 (ja) 2021-07-01 2022-06-28 画像表示システム及び画像表示方法

Publications (1)

Publication Number Publication Date
CN117716419A true CN117716419A (zh) 2024-03-15

Family

ID=84689987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280046923.3A Pending CN117716419A (zh) 2021-07-01 2022-06-28 图像显示***及图像显示方法

Country Status (4)

Country Link
EP (1) EP4365887A1 (zh)
JP (1) JP2023007233A (zh)
CN (1) CN117716419A (zh)
WO (1) WO2023277020A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190281280A1 (en) * 2017-12-22 2019-09-12 Antimatter Research, Inc. Parallax Display using Head-Tracking and Light-Field Display
US11425350B2 (en) * 2018-03-08 2022-08-23 Virtualwindow Co., Ltd. Image display system
JP7472899B2 (ja) * 2019-03-19 2024-04-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2023007233A (ja) 2023-01-18
WO2023277020A1 (ja) 2023-01-05
EP4365887A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US20210072946A1 (en) Method of maintaining accuracy in a 3d image formation system
CN108292489B (zh) 信息处理装置和图像生成方法
JP7073481B2 (ja) 画像表示システム
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
WO2019123729A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015084002A (ja) ミラーディスプレイシステム、及び、その映像表示方法
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
JP6682624B2 (ja) 画像処理装置
WO2022023142A1 (en) Virtual window
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
CN117716419A (zh) 图像显示***及图像显示方法
CN212163542U (zh) 一种三维交互展示***
CN111586394A (zh) 一种三维交互展示***及其展示方法
KR102000487B1 (ko) 물고기로봇과 디스플레이를 이용한 전시용 수족관
WO2018173206A1 (ja) 情報処理装置
KR20200031259A (ko) 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication