CN111954896A - 光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法 - Google Patents

光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法 Download PDF

Info

Publication number
CN111954896A
CN111954896A CN201980025186.7A CN201980025186A CN111954896A CN 111954896 A CN111954896 A CN 111954896A CN 201980025186 A CN201980025186 A CN 201980025186A CN 111954896 A CN111954896 A CN 111954896A
Authority
CN
China
Prior art keywords
light field
information
image
dimensional shape
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980025186.7A
Other languages
English (en)
Inventor
森本哲郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Publication of CN111954896A publication Critical patent/CN111954896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及光场图像生成***，具备：形状信息取得服务器，取得表示对象物的三维形状的形状信息；以及图像生成服务器，具有形状重构部及光场图像生成部，所述形状重构部根据形状信息在虚拟空间内将对象物的三维形状重构为虚拟三维形状，所述光场图像生成部对虚拟三维形状生成虚拟空间内的规定的视点位置处的光场图像。

Description

光场图像生成***、图像显示***、形状信息取得服务器、图 像生成服务器、显示装置、光场图像生成方法及图像显示方法
技术领域
本发明涉及光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法。
本申请以2018年4月12日提交的日本专利申请第2018-076786号的优先权利益为基础，并且要求其优先权利益，在本申请中援引该申请的内容。
背景技术
在危险场所或处理的对象物处于远程地点的情况下，作业者很难直接在现场进行作业。
因此，存在从远离对象物所处位置的场所操作设置于该对象物所处场所的机械而进行作业的远程操作***。远程操作***是具备用于对对象物进行作业的机器人和远程操作装置、利用无线等对机器人进行远程操作的***(例如参照专利文献1)。
在上述的远程操作***中，处理对象物的作业者将头戴式显示器(以下记做HMD(Head Mounted Display))戴在头部，一边观察配置于现场的拍摄装置拍摄到的图像一边进行作业。
该情况下，在通常的HMD中，在观察对象物时，通过辐辏来获得对象物的深度信息，在脑内重构三维形状。
另一方面，在观察对象物时，作业者调整眼球的水晶体而使其与对象物的图像被显示的HMD的显示面对准。因而，在作业者的眼中，焦点不被调节到通过辐辏而认知的深度的位置处，因此，产生辐辏与焦点调节的不一致。
因而，作业者使用HMD进行远程操作的情况下，由于上述的辐辏与焦点调节的不一致，导致引起眼睛疲劳、晕动症等，有时会对作业(特别需要精细操作的作业)构成妨碍。
此外，作业者由于眼睛疲劳、晕动症等，无法长时间使用HMD进行远程操作。
为了消除上述的HMD中的辐辏与焦点调节的不一致，近年来开发出了采用了使用光场技术的显示器的HMD。
通过使用光场信息(从对象物的表面射出的光线的信息)，能够在一张图像中视觉辨认出对象物所具有的进深感(对象物的三维形状)，能够使作业者的脑内构建对象物的三维形状。
现有技术文献
专利文献
专利文献1:日本国特开2014-004656号公报
发明内容
发明要解决的课题
如上述那样，取得作业的对象物的光场信息，生成与该光场信息对应的图像并显示于HMD，从而，作业者能够在同一图像内的对象物的三维形状中使焦点也与所希望的深度的位置对准。
通过使用该光场信息，能够使作业者的辐辏与焦点调节一致，能够抑制眼睛疲劳、晕动症等，能够期待容易进行精细作业及长时间作业。
然而，光场信息是光场中的光线的信息，是从使视点错开规定距离的多个例如n×m个矩阵的拍摄图像的集合(光场图像)得到的光场中的上述的光线的信息。
如图11所示，在同一平面状中，在x方向及y方向上使视点位置(拍摄位置)错开，通过视点位置分别不同的n×m个拍摄装置401、例如在3×3的不同的9个视点处分别排列的9个拍摄装置401，分别拍摄对象物403。该9个视点位置不同的拍摄图像作为具有从对象物403的9个方向上的光线的信息(光场信息)的光场图像402而被生成。θ是从光场图像的中心垂直地穿过的轴与y轴的平面上的角度。Φ是从光场图像的中心垂直地穿过的轴与x轴的平面上的角度。
该光场图像402分别以规定的分辨率被拍摄，因此，具有与分辨率对应的像素量的灰度。因此，光场信息的数据量为(像素数×灰度)×光场图像的张数，是非常大的。
因而，将远程拍摄的光场图像发送至进行对HMD进行显示的处理的服务器时，所发送的数据量非常大，因此通信负荷增大，光场信息的数据发送花费需要。
由于该光场图像的数据发送花费时间，因此，在将图像、特别是动态图像显示于HMD时等需要周期性地进行光场信息的更新，可能导致光场信息的传送缓慢而HMD中的图像的显示处理延迟，或者导致产生图像的缺失，有时会对远程操作中的作业产生妨碍。
本发明鉴于上述状况而做出，提供一种光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法，能够通过减少发送的光场信息的信息量来减轻通信负荷，抑制HMD中的图像的显示处理延迟、图像缺失的产生。
解决课题的手段
本发明的第1方式涉及光场图像生成***，具备：形状信息取得服务器，取得表示对象物的三维形状的形状信息；以及图像生成服务器，具有形状重构部及光场图像生成部，所述形状重构部根据所述形状信息在虚拟空间内将所述对象物的三维形状重构为虚拟三维形状，所述光场图像生成部生成所述虚拟三维形状在所述虚拟空间内的规定的视点位置处的光场图像。
本发明的第2方式在上述第1方式的光场图像生成***中，也可以是，所述图像生成服务器中的所述光场图像生成部，以所述虚拟空间内的任意的视点位置及视点方向，通过虚拟拍摄装置拍摄所述虚拟三维形状，从所述任意的视点位置及视点方向生成光场图像。
本发明的第3方式在上述第1方式或第2方式的光场图像生成***中，也可以是，所述形状信息取得服务器，根据由拍摄装置拍摄所述对象物而得的拍摄图像，生成该对象物的所述形状信息。
本发明的第4方式在上述第1方式至第3方式中任一项所述的光场图像生成***中，也可以是，所述形状信息是拍摄所述对象物而得的拍摄图像中的各像素的灰度信息及深度信息的各信息。
本发明的第5方式在上述第1方式至第3方式中任一项所述的光场图像生成***中，也可以是，所述形状信息是由所述对象物的特征点构成的三维点群信息、以及各特征点的灰度信息的各信息。
本发明的第6方式在上述第4方式或第5方式的光场图像生成***中，也可以是，所述灰度信息是作为颜色信息的R颜色成分、G颜色成分及B颜色成分的灰度。
本发明的第7方式在上述第1方式至第6方式中任一项所述的光场图像生成***中，也可以是，所述形状信息由从配置在不同的视点位置及视点方向的多个拍摄装置拍摄到的多个拍摄图像抽取的信息构成。
本发明的第8方式涉及图像显示***，具备：上述任意的光场图像生成***；图像生成服务器，根据光场图像生成显示图像；以及显示装置，所述显示装置具备显示部，该显示部中，至少包括前面透明显示器和后面显示器的2层以上显示器配置成俯视时对应的像素重叠，所述图像生成服务器分别生成在所述显示器分别显示的、对所述光场图像的所述像素的灰度信息进行了压缩的显示图像。
本发明的第9方式涉及形状信息取得服务器，与图像生成服务器一起配置于光场图像生成***中，所述图像生成服务器具有根据形状信息在虚拟空间内将所述对象物的三维形状重构为虚拟三维形状的形状重构部、以及生成所述虚拟三维形状在所述虚拟空间内的规定的视点位置处的光场图像的光场图像生成部，所述形状信息取得服务器取得表示所述对象物的三维形状的所述形状信息。
本发明的第10方式涉及图像生成服务器，与取得表示对象物的三维形状的形状信息的形状信息取得服务器一起配置于光场图像生成***中，具备：形状重构部，根据所述形状信息，在虚拟空间内，将所述对象物的三维形状重构为虚拟三维形状；以及光场图像生成部，对所述虚拟三维形状，生成所述虚拟空间内的规定的视点位置处的光场图像。
本发明的第11方式涉及显示装置，与上述第1方式至第6方式中任一项所述的光场图像生成***、以及根据光场图像生成显示图像的图像生成服务器一起配置于图像显示***中，所述显示装置具备显示部，该显示部中，至少包括前面透明显示器和后面显示器的2层以上显示器配置成俯视时对应的像素重叠，将所述图像生成服务器所生成的、在所述显示器分别显示的对所述光场图像的所述像素的灰度信息进行了压缩的显示图像，分别显示于各个所述显示器。
本发明的第12方式涉及光场图像生成方法，包括：形状信息取得过程，取得表示对象物的三维形状的形状信息；形状重构过程，根据所述形状信息，在虚拟空间内，将所述对象物的三维形状重构为虚拟三维形状；以及光场图像生成过程，对所述虚拟三维形状，生成所述虚拟空间内的规定的视点位置处的光场图像。
本发明的第13方式涉及图像显示方法，包括：形状信息取得过程，取得表示对象物的三维形状的形状信息；形状重构过程，根据所述形状信息，在虚拟空间内，将所述对象物的三维形状重构为虚拟三维形状；光场图像生成过程，对所述虚拟三维形状，生成所述虚拟空间内的规定的视点位置处的光场图像；以及显示图像生成过程，对显示装置中的、具备至少包括前面透明显示器和后面显示器的2层以上显示器的显示部，分别生成在所述显示器分别显示的、对所述光场图像的所述像素的灰度信息进行了压缩的显示图像，所述2层以上显示器配置成俯视时对应的像素重叠。
发明效果
如以上说明那样，根据本发明的上述方式，能够提供一种光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法，能够通过减少发送的光场信息的信息量来减轻通信负荷，抑制HMD中的图像的显示处理延迟、图像缺失的产生。
附图说明
图1是表示本发明的第1实施方式的光场图像生成***的构成例的图。
图2是表示从拍摄图像取得的三维形状信息及灰度信息的各信息的概念图。
图3是表示通过由以矩阵状排列的虚拟摄像机拍摄复原出的对象物体200的虚拟三维形状来生成光场图像的概念图。
图4是说明三维空间内的光场的概念图。
图5是表示由第1实施方式的光场图像生成***进行的、光场图像生成的处理的动作例的流程图。
图6是表示使用了本发明的光场图像生成***的、第2实施方式的图像显示***的构成例的图。
图7是表示第2实施方式中的HMD42的显示部42A的构成例的概念图。
图8是说明光场图像与显示于显示部42A的显示图像的对应关系的概念图。
图9是表示由本实施方式的图像显示***进行的、虚拟三维形状的立体视用的显示图像生成的处理的动作例的流程图。
图10是表示使用了本发明的第3实施方式的图像显示服务器6的、图像显示***的构成例的图。
图11是说明对象物的光场图像的拍摄的概念图。
图12是说明对象物体200的三维形状信息的深度图像(深度由灰度来表示的图像)及彩色图像的生成的图。
图13是说明通过UV展开进行的、表示对象物体200的三维形状信息的深度图像及彩色图像的生成的图。
具体实施方式
＜第1实施方式＞
以下，参照附图说明本发明的第1实施方式的光场图像生成***。图1是表示本发明的第1实施方式的光场图像生成***的构成例的图。
图1中，光场图像生成***具备形状信息取得服务器1、图像生成服务器2。形状信息取得服务器1与图像生成服务器2分别经由信息通信网500进行数据的收发。拍摄装置3_1及拍摄装置3_2拍摄对象物体200，将拍摄到的拍摄图像向形状信息取得服务器1输出。或者，拍摄装置3_1及拍摄装置3_2在有来自形状信息取得服务器1的访问的情况下，拍摄对象物体200，将拍摄到的拍摄图像对形状信息取得服务器1输出。
拍摄装置3_1及拍摄装置3_2分别例如是拍摄对象物体200的二维图像的摄像机，分别将拍摄图像作为对象物体200的三维形状信息(形状信息，是由特征点构成的三维点群信息或者作为深度图像的深度信息与作为颜色图像(彩色图像)的颜色信息的组合)，向形状信息取得服务器1输出(情形#1)。拍摄装置3_1及拍摄装置3_2分别从不同视点拍摄对象物体200而作为拍摄图像。在情形#1的情况下，也可以是，由拍摄装置3_1的一台以不同视点拍摄2张以上的拍摄图像。
此外，拍摄装置3_1及拍摄装置3_2分别例如是RGB(Red、Green、Blue)-D(Depth)摄像机，是拍摄对象物体200的二维图像的摄像机，分别将拍摄图像作为对象物体200的三维形状信息(深度信息及颜色信息的组合)向形状信息取得服务器1输出(情形#2)。在情形#2的情况下，也可以是仅由拍摄装置3_1的一台从一个视点拍摄拍摄图像。
此外，拍摄装置3_1及拍摄装置3_2分别例如是三维计测装置，利用光(激光)切断法、或者条纹投影法，将由表示对象物体200的三维形状的特征点构成的三维点群，作为对象物体200的三维形状信息(三维点群或者深度图像、以及特征点处的颜色信息)，向形状信息取得服务器1输出(情形#3)。在该情形#3的情况下，由于从放射的激光的反射光取得形状信息，因此无法取得三维点群的特征点各自的颜色信息。
此外，拍摄装置3_1及拍摄装置3_2分别例如是光场摄像机(例如摄像机阵列方式、编码开口方式或者微透镜阵列方式)，从由该光场摄像机拍摄到的拍摄图像取得光线信息。然后，利用所取得的光线信息，求出表示对象物体200的三维形状的特征点的三维形状信息(三维点群信息或者作为深度图像的深度信息)及该特征点的颜色信息(例如，颜色成分的R成分、G成分、B成分的各灰度)。然后，将该三维形状信息作为对象物体200的三维形状信息，对形状信息取得服务器1输出(情形#4)。
此外，使用上述的情形#1至情形#4中分别拍摄到的拍摄图像，在对根据各自的拍摄图像求出的特征点的深度信息及颜色信息求取匹配性之后进行合成(关于该合成的算法留待后述)，将其合成结果，将由表示对象物体200的三维形状的特征点构成的三维点群，作为对象物体200的三维形状信息(三维点群信息或者作为深度图像的深度信息与颜色信息的组合，向形状信息取得服务器1输出(情形#5)。
形状信息取得服务器1具备拍摄图像输入部11、三维形状信息生成部12、三维形状信息输出部13及存储部14。
拍摄图像输入部11从拍摄装置3_1及拍摄装置3_2分别输入表示对象物体200的形状的三维形状信息，并暂时写入、存储于存储部14。
三维形状信息生成部12从存储部14读入三维形状信息，根据读入的三维形状信息，生成对图像生成服务器2发送的对象物体200的包含深度信息(几何学信息)及颜色信息的三维形状信息。
·情形#1的情况
三维形状信息生成部12根据以不同视点拍摄到的2张拍摄图像，使用立体匹配法将对象物体200的几何学信息作为虚拟三维空间内的对象物体200的特征点的三维点群来生成。三维形状信息生成部12在二维图像为彩色图像的情况下，对作为深度信息的几何学信息，作为特征点的灰度信息(与特征点对应的像素的颜色成分RGB各自的灰度的信息，即由R成分、G成分、B成分的灰度构成的颜色信息)而赋予R成分、G成分及B成分各自的灰度，作为三维形状信息。
·情形#2的情况
三维形状信息生成部12将作为三维形状信息而从拍摄装置3_1、拍摄装置3_2供给的、三维形状的特征点的灰度信息和作为各自的几何学信息的深度信息，作为对图像生成服务器2发送的三维形状信息。此外，也可以构成为，根据从拍摄装置3_1、拍摄装置3_2供给的、三维形状的特征点的灰度信息和各自的深度信息，生成特征点的虚拟三维空间内的三维点群，将该三维点群作为几何学信息。三维形状信息生成部12在三维点群(深度信息)的特征点的灰度信息为R成分、G成分、及B成分的灰度的情况下，对作为几何学信息的深度信息，作为特征点的灰度信息(与特征点对应的像素的颜色成分RGB的R成分、G成分及B成分各自的灰度的信息，即颜色信息)而赋予R成分、G成分及B成分各自的灰度，作为三维形状信息。
图2是表示从拍摄图像取得的三维形状信息及灰度信息的各信息的概念图。图2的(a)示出了RGB-D摄像机取得的深度信息、颜色信息的灰度信息的各信息。在此，深度信息是三维点群或者深度图像(深度由灰度表示的图像)。拍摄装置3_1及拍摄装置3_2分别拍摄对象物体200(计测三维形状)，作为三维形状信息，生成对象物体200的各特征点的深度信息(灰度显示)212、以及由于拍摄的图像是彩色图像而由特征点的R成分、G成分及B成分的灰度构成的灰度信息213(颜色信息)。
此外，在取得从多个不同视点由RGB摄像机拍摄到的多个几何学信息(三维点群或者深度图像的深度信息)的情况下，三维形状信息生成部12将这些多个几何学信息中的特征点统一，在虚拟三维空间内生成从多个视点能够观察的三维点群或者深度图像并将其作为深度信息，对深度信息的特征点附加颜色信息而作为三维形状信息。
·情形#3的情况
返回图1，三维形状信息生成部12将作为几何学信息而被供给的、由表示对象物体200的三维形状的虚拟三维空间内的特征点构成的三维点群，作为对象物体200的三维形状信息。在此，如已经描述过的那样，从激光的反射仅取得几何的形状，而得不到三维点群中的特征点各自的颜色信息，因此，作为三维形状信息，仅为三维点群或者深度图像的几何学信息。
然而，通过由其他摄像机拍摄对象物体200、取得其拍摄图像的像素与三维点群的特征点的匹配性，从而能够对各三维点群或者深度图像中的特征点，作为颜色信息而赋予R成分、G成分及B成分各自的灰度。该情况下，能够使三维形状信息包含深度信息及颜色信息的各信息。
·情形#4的情况
三维形状信息生成部12从光场摄像机拍摄到的拍摄图像抽取光线信息。然后，三维形状信息生成部12根据该光线信息，例如使用摄影测绘法，生成作为几何学信息而被供给的由表示对象物体200的三维形状的虚拟三维空间内的特征点构成的三维点群或者深度图像。该三维点群是对象物体200的几何学信息。在此，在光场摄像机拍摄到的拍摄图像为彩色图像的情况下，各三维点群中的特征点上，作为颜色信息而被赋予R成分、G成分、及B成分各自的灰度，作为三维形状信息。
·情形#5的情况
通过将情形#1至情形#4中分别得到的深度信息及颜色信息(三维形状信息)组合、合成而作为新的三维形状信息。
然而，摄像机、RGBD摄像机、三维计测装置及光场摄像机各自的拍摄装置，彼此分辨率、几何学位置及姿势、镜头的变形等不同。因而，在拍摄对象物体200之前，对印刷有格子或点图案的平面的板、或者形状为既知的三维形状等的校正对象，以各拍摄装置可拍摄的各种姿势及位置拍摄多个拍摄图像。然后，对应于该拍摄图像中拍摄到的校正对象的形状，推测同一三维空间内的各拍摄装置(摄像机等)的相对的位置·姿势及镜头参数。需要根据其推测结果预先对各拍摄装置的位置·姿势分别取得同一三维空间内的相对的拍摄位置及拍摄方向的匹配性。由此，将根据由各拍摄装置拍摄到的拍摄图像生成的对象物体200的三维形状的特征点，在同一三维空间内进行合成、统一，取得与统一结果中的、密集的特征点分别对应的深度信息及颜色信息。
图2的(b)示出了光场摄像机及RGBD摄像机分别取得的深度信息及灰度信息的各信息。该图2的(b)示出了将根据光场摄像机及RGBD摄像机各自的拍摄图像生成的几何学信息(三维点群或者深度图像)合成而得到的深度信息及颜色信息(灰度信息)。
光场摄像机及RGBD摄像机分别拍摄对象物体200，作为三维形状信息，生成对象物体200的各特征点的深度信息，并在拍摄到的图像为彩色图像的情况下作为特征点的颜色信息，生成由R成分、G成分、及B成分的灰度构成的灰度信息。
然后，对根据RGBD摄像机的拍摄图像生成的深度信息222(深度图像)，合成根据光场摄像机的拍摄图像生成的深度信息232，作为对象物体200的深度信息。此外，同样，对根据RGBD摄像机的拍摄图像生成的灰度信息223，合成根据光场摄像机的拍摄图像生成的灰度信息233，作为对象物体200的灰度信息(作为颜色信息的、特征点的R成分、G成分、及B成分的灰度)。
在此，光场摄像机相比于RGBD摄像机，一般而言视角较窄，因此，拍摄的区域的范围比RGBD摄像机小。另一方面，光场摄像机相比于RGBD摄像机，分辨率较高，可取得的特征点数较多，能够取得密集的深度信息及颜色信息。由此，在深度信息及颜色信息各自中，分别生成特征点稀疏的区域和密集的区域。
然而，作为用途，在对象物体200的整体三维形状中存在想要局部地详细观察的区域的情况下，也可以构成为，利用根据对该想要详细地观察的区域由光场摄像机拍摄到的拍摄图像求出的密集的特征点，对根据由RGBD摄像机拍摄到的拍摄图像求出的稀疏的特征点进行补全，来进行深度信息及颜色信息各自的合成。
在进行上述的深度信息、颜色信息各自的合成时，对特征点密集的区域与稀疏的区域的边界线部分附加渐变(gradation)，使特征点数从稀疏的区域朝向密集的区域缓缓地增加，这样的话在利用者观察光场图像时，能够使边界线部分不明显。另一方面，在想要使边界线部分明确的情况下，将特征点稀疏的区域与密集的区域单纯地合成来作为对象物体200的三维形状信息的深度信息和颜色信息，从而，利用者能够容易地视觉辨认出当前利用光场摄像机观察哪里、即哪里是密集的区域。
三维形状信息输出部13将三维形状信息生成部12所生成的作为三维形状信息的深度信息及颜色信息分别作为光场信息，经由信息通信网500对图像生成服务器2发送。
在此，在作为光场信息而发送光场图像的情况下，如图11所示那样，需要发送在n×m、例如3×3的不同的9处的各个视点位置拍摄到的9张拍摄图像。如已经说明的那样，各拍摄图像按照每个像素而具有R成分、G成分及B成分各自的灰度。因而，在使拍摄图像的分辨率增加或者使取得的光线信息增加的情况下，拍摄图像中的数据量进一步增加。
然而，如上述那样，通过作为由虚拟三维空间内的对象物体200的特征点构成的三维点群，将作为对象物体200的几何学信息的深度信息、各特征点的颜色信息作为三维形状信息而发送，从而能够减少发送的数据量，与以往的光场图像的发送相比能够高速地发送光场信息。
此外，关于传送，在三维形状信息中，将几何学信息中的特征点分别变换为取得了匹配性的深度图像和彩色图像而发送，从而，能够使用光场图像及RGBD图像，将包含特征点稀疏的区域和密集的区域的、深度信息及颜色信息分别在稀疏的区域及密集的区域的特征点的信息被保持的状态下，在光场信息中作为三维形状信息从形状信息取得服务器1对图像生成服务器2发送。
图12是说明表示对象物体200的三维形状信息的深度图像和彩色图像的生成的图。图12中，在虚拟三维空间370中生成了对象物体200的虚拟三维形状371。该虚拟三维形状371如上述那样，生成时使用光场图像及RGBD图像，因此存在特征点密集的区域和稀疏的区域。在该虚拟三维空间370中，由虚拟摄像机375及376分别拍摄该虚拟三维形状371。然后，根据虚拟摄像机375(右侧的摄像机)拍摄到的拍摄图像(实际为投影的图像，即正投影)，生成颜色信息(彩色图像)375_1及深度信息(深度图像)375_2的各信息，根据虚拟摄像机376(左侧的摄像机)拍摄到的拍摄图像(实际为投影的图像，即正投影)，生成颜色信息(彩色图像)376_1及深度信息(深度图像)376_2的各信息。
然后，将上述颜色信息375_1及376_1、深度信息375_2及376_2分别作为对象物体200的三维形状信息对形状信息取得服务器1输出。
通过作为深度图像而发送深度信息，相比于作为三维点群的各个特征点的三维空间内的坐标值进行发送，能够减少数据量。此外，在发送深度图像的情况下，能够使用一般的图像压缩的算法，能够进一步减少数据量，因此对于动画的发送是特别有效的。
在由多边形进行了发送的情况下也是，由于需要表示多边形的形状或坐标值的数据、进而表示纹理的粘贴位置的数据等，因此，数据量增加很多。
此外，也可以是，使用球体或圆柱，不是上述的在二维平面上作为拍摄图像将三维形状信息的各信息的特征点进行正投影，而是使三维形状信息中的特征点的深度信息及颜色信息分别与位置信息建立对应，分别作为深度图像、彩色图像进行UV展开，作为与图12同样的图像来发送三维形状信息。
图13是说明通过UV展开进行的、表示对象物体200的三维形状信息的深度图像及彩色图像的生成的图。
在虚拟三维空间350中生成了对象物体200的虚拟三维形状351。该虚拟三维形状351与图12同样，生成时使用了光场图像及RGBD图像，因此存在特征点密集的区域和稀疏的区域。在虚拟三维空间350中，生成以虚拟三维形状351的重心位置为中心、将该虚拟三维形状351包含在内的球体352。然后，对该球体352的内面，投影虚拟三维形状351的特征点的颜色信息(彩色图像)(进行UV展开)而生成彩色图像360，在该投影的部分对从球体352起至特征点为止的距离即深度信息，生成作为灰度信息的深度图像(未图示)。
图13中也是，与图12同样，该虚拟三维形状351如上述那样，生成时使用了光场图像及RGBD图像，因此存在特征点密集的区域和稀疏的区域。
通过作为深度图像而发送深度信息，从而相比于作为三维点群的各个特征点的三维空间内的坐标值进行发送，能够减少数据量。此外，在发送深度图像的情况下，能够使用一般的图像压缩的算法，能够进一步减少数据量，因此对于动态图像的发送特别有效。
另外，在图12及图13各自的情况下，由于特征点密集的区域的分辨率与稀疏的区域的分辨率不同，因此需要分割区域进行发送。
而且，在图13的利用了UV展开的情况下，与图12相比能够获得更大的视场角，能够具有对象物体200的全方位的三维形状信息(深度信息及颜色信息)地进行发送。
图像生成服务器2具备三维形状信息输入部21、三维形状重构部22，光场图像生成部23及存储部24的每个。
三维形状信息输入部21从形状信息取得服务器1，输入包含作为表示对象物体200的形状的几何学信息的深度信息、几何学信息中的特征点的颜色信息的三维形状信息，并暂时写入、存储于存储部14。
三维形状重构部22根据包含深度信息及颜色信息的三维形状信息对对象物体200的三维形状，在虚拟三维空间中，作为虚拟三维形状进行重构(复原)处理。该三维形状的复原处理使用一般使用的手法的任意的复原三维形状的手法。
在该复原手法中，根据光场图像生成***被使用的用途，复原出的虚拟三维形状有时需要是细腻(漂亮)的。对应于使用用途，根据所必要的细腻度，能够适当地选择以下的复原的手法。
作为虚拟三维形状的一个例子，也可以是，将几何学形状的三维点群或者深度图像本身进行了复原的虚拟三维形状(三维形状模型)。此外，作为其他例子，也可以是，使用几何学形状的三维点群或者深度图像，计算各特征点的三维坐标，求出更高密度的点群数据(Dense point cloud)，将该高密度的点群数据，作为复原后的虚拟三维形状(三维形状模型)。而且，作为其他例子，还可以是，使用几何学信息的三维点群或者深度图像，计算各特征点的三维坐标，求出更高密度的点群数据，根据该点群数据制作网格数据，对应于特征点的RGB的灰度，对网格数据的各个颜色进行补全，从而复原出最终的虚拟三维形状(三维形状模型)。
此外，也可以构成为，对存储部24写入预先利用对象物体200的三维形状、例如CG(Computer Graphics)生成的三维形状的数据而使其存储，将其与复原后的上述虚拟三维形状进行合成。
例如，内窥镜上设置的摄像机所拍摄的区域狭窄(视角狭窄)，例如在拍摄胃的内部时，初学者有时很难判定所拍摄的部分是胃的哪个场所。此时，三维形状重构部22从存储部24读出预先对胃的内部利用CG生成的三维形状，将其与复原后的虚拟三维形状进行合成。
由此，光场图像生成部23能够在利用CG生成的三维形状的心脏中生成虚拟三维形状被聚焦的光场图像。利用者通过观看该光场图像，能够明确地识别出自身利用内窥镜观察的心脏的部位相当于整体的哪个位置。
在此，心脏的三维形状的数据例如根据MRI(Magnetic Resonance Imaging)等的图像使用CG而生成，与内窥镜的拍摄位置之间的几何学的匹配性被预先取得，CG的三维形状与虚拟三维形状在同一三维空间内以位置被整合的状态配置。
此外，上述的将CG的三维形状与虚拟三维形状合成的技术，还能够作为MR(MixedReality，在实际图像中重叠显示CG的虚拟图像)指引(manual)而使用。例如，在进行汽车的发动机的分解的情况下，对利用CG生成的发动机整体的三维形状，合成利用者所观察的部位的虚拟三维图像，重叠用于说明为了分解而从哪个螺钉开始拆卸等信息、位置的名称或功能的图像，构成三维形状。然后，光场图像生成部23在三维空间中，根据将利用CG生成的发动机的三维图像、利用者观察的区域的虚拟三维形状、说明的图像等合成而得的形状，生成光场图像。由此，利用者能够观察作为AR(Augmented Reality)的图像，初学者也能够进行发动机的分解及各部分功能的学习。
光场图像生成部23通过由虚拟三维空间内的虚拟摄像机(虚拟拍摄装置)拍摄三维形状重构部22复原出的、虚拟三维空间内的对象物体200的虚拟三维形状，而生成光场图像。
即，在虚拟三维空间中，与图11所示同样，在错开了规定距离的视点位置，以n×m的矩阵状配置虚拟摄像机，从n×m个不同位置拍摄对象物体200，将n×m张拍摄图像作为光场图像生成(取得)。
此外，光场图像生成部23将所生成的光场图像写入、存储于存储部24。
图3是表示通过由以矩阵状排列的虚拟摄像机拍摄所复原出的对象物体200的虚拟三维形状来生成光场图像的概念图。
图3中，对虚拟三维空间内的对象物体200的虚拟三维形状311，从该虚拟空间内的任意的视点，由以5(＝n)×5(＝m)的矩阵状排列的25台虚拟摄像机，作为光场图像，得到R(red)颜色成分的灰度图像312r、G(green)颜色成分的灰度图像312g及B(blue)颜色成分的灰度图像312b。
结果，在虚拟三维空间内，从任意的视点都能够容易地得到由25张拍摄图像构成的光场图像(分别由颜色成分R、颜色成分G及颜色成分B的各自的灰度图像构成的拍摄图像)。
在图11所示的实际空间中拍摄光场图像的情况下，每当改变视点进行拍摄时，都需要拍摄新的光场图像并发送。
然而，如果是在虚拟三维空间内，则由于存在对对象物体200的三维形状进行了复原的虚拟三维形状，因此，只要形状不变化，就不需要复原新的虚拟三维形状，能够在虚拟三维空间中自由地从任意的视点得到虚拟三维形状的光场图像。
图4是说明三维空间内的光场的概念图。
如图4的(a)所示那样，由以矩阵状配置的多个拍摄装置(或者光场摄像机)拍摄对象物体200_1及对象物体200_2的各自。
由此，在各个拍摄装置中，通过所配置的位置，拍摄到视点位置错开的拍摄图像。在该拍摄图像的各自中，将配置的位置作为视点位置，拍摄到从对象物体200_1及对象物体200_2各自的表面上的不同部分射出的光线(不同方向的光线)。由此，能够在对象物体200_1及对象物体200_2各自的表面上的每个部分得到向多个方向(光线方向)射出的光线的信息。
由此，通过对拍摄图像分别进行几何学处理，能够得到图4的(b)所示的光场(光线空间)信息。
图4的(b)所示的光线空间内的坐标点V(Vx，Vy，Vu)处的光线的沿着光线方向的亮度由以下示出的(1)式等来表示。θ是光线方向的垂直方向的角度(由x轴及y轴生成的二维平面上的角度)，
Figure BDA0002718956240000161
是光线方向的平行方向的角度(由x轴及u轴生成的二维平面上的角度)。
Figure BDA0002718956240000162
因此，如图4的(c)所示那样，在光线空间中，与实际空间同样，从视点方向(视线方向)观察到的二维图像能够被观察为不同。在此，视点方向是指与将光线空间用平面进行了切断的、由截面C1或者截面C2所示的截面垂直的方向。
关于上述的光线空间，无论是在根据实际空间内的光场图像生成的虚拟三维空间中复原的对象物体200的虚拟三维形状，还是在图像生成服务器2中的虚拟三维空间中复原的对象物体200的虚拟三维空间，都同样成立。
此外，在图像生成服务器2使用虚拟三维空间内的对象物体200的虚拟三维形状生成光场图像时，能够任意地设定生成光线空间的拍摄摄像机的视点位置及视点方向，因此，在从对象物体200离开的场所(远程地点)，也能够与在实际空间中同样地拍摄对象物体200的光场图像。
图5是表示由本实施方式的光场图像生成***进行的、光场图像生成的处理的动作例的流程图。
步骤S101：
拍摄装置3_1及拍摄装置3_2分别在与使用光场图像的场所远离的远程地点，在被固定的状态下从规定的视点位置拍摄对象物体200。在此，作为一个例子，拍摄装置3_1及拍摄装置3_2分别使用RGB-D摄像机。
然后，拍摄装置3_1及拍摄装置3_2分别将表示对象物体200的三维形状的、各自的视点位置处的几何学信息#1及几何学信息#2对形状信息取得服务器1输出。
此时，拍摄图像输入部11将从拍摄装置3_1及拍摄装置3_2分别供给的几何学信息#1、几何学信息#2分别写入、存储于存储部14。
步骤S102：
三维形状信息生成部12从存储部14读出几何学信息#1及几何学信息#2，在虚拟空间内，取得几何学信息#1及几何学信息#2的各自的特征点的匹配性，进行几何学信息#1、几何学信息#2各自的特征点的统一。
然后，三维形状信息生成部12利用几何学信息#1及几何学信息#2各自的灰度信息、深度信息，将表示对象物体200的三维形状的三维点群(或者深度图像)，作为几何学信息而在虚拟三维空间内生成。然后，三维形状信息生成部12对三维点群(或者深度图像)中的各个特征点，作为颜色信息而赋予颜色成分RGB的灰度信息，作为对象物体200的三维形状信息。
然后，三维形状信息生成部12将生成的三维形状信息的数据写入、存储于存储部14。
步骤S103：
三维形状信息输出部13从存储部14读出三维形状信息，经由信息通信网500对图像生成服务器2输出。
此时，如图12及图13所说明的那样，将作为几何学信息的深度信息、以及该三维形状的特征点的颜色信息的各信息，作为由几何学上具有匹配性的深度图像、彩色图像分别构成的三维形状信息进行发送，从而使用一般的图像压缩，能够减少数据量，能够进一步减轻三维形状信息的传送的负荷(传送量)。
三维形状信息输入部21将从形状信息取得服务器1供给的、对象物体200的三维形状信息的数据，写入、存储于存储部24。
步骤S104：
三维形状重构部22从存储部24读出作为光场信息的三维形状信息的数据，对对象物体200的三维形状在虚拟三维空间内进行重构(复原)，作为对象物体200的虚拟三维形状而生成。
然后，三维形状重构部22将在三维虚拟空间中生成的虚拟三维形状的数据写入、存储于存储部24。
步骤S105：
光场图像生成部23从存储部24读出虚拟三维形状，在虚拟三维空间内的任意的视点位置，由虚拟摄像机(光场摄像机)拍摄虚拟三维形状的光场图像。
然后，光场图像生成部23将拍摄到的光场图像写入、存储于存储部24。
通过上述的构成，根据本实施方式，由形状信息取得服务器1取得对象物体200的三维形状信息，将该三维形状信息的数据向图像生成服务器2发送，图像生成服务器2利用被供给的三维形状信息复原对象物体200的虚拟三维形状，因此，在形状信息取得服务器1和图像生成服务器2相对于各自的一方而另一方相对地处于远程地点的情况下，作为光场信息而发送三维点群、颜色信息等三维形状信息，因此，能够减轻信息通信网500中的数据的收发的通信负荷，与原样发送光场图像的情况相比，能够高速地发送光场信息。
由此，根据本实施方式，在对象物体200所存在的远程地点，与以往相比能够高速地获得光场图像。
此外，根据本实施方式，由于在虚拟三维空间内复原对象物体200的虚拟三维形状，因此能够将虚拟三维空间放大或者缩小为任意的尺寸，并且能够通过虚拟摄像机从任意的视点位置容易地得到光场图像。
＜第2实施方式＞
以下，作为本发明的第2实施方式，参照附图说明使用了本发明的第1实施方式的光场图像生成***的图像显示***。图6是表示使用了本发明的光场图像生成***的、第2实施方式的图像显示***的构成例的图。
以下，在图6的第2实施方式中，仅说明与图1的第1实施方式不同的构成及动作。形状信息取得服务器1是与第1实施方式同样的构成。图像生成服务器2A是在第1实施方式的图像生成服务器2中追加了光场图像输出部25的构成。此外，作为图像显示***，追加了包含显示图像生成终端4及显示部42A的HMD42的构成。此外，在本实施方式中，显示图像生成终端4与HMD42为一体，例如也可以构成为，形成为在HMD42的功能部中包含显示图像生成终端4的功能。
光场图像输出部25读出存储部24存储的、由光场图像生成部23生成的光场图像。然后，光场图像输出部25将读出的光场图像对显示图像生成终端4输出。
显示图像生成终端4基于从光场图像输出部25供给的光场图像，生成在HMD42的显示部42A显示的显示图像。然后，显示图像生成终端4将生成的显示图像对HMD42(显示装置的一个例子)输出。
HMD42利用未图示的内部的显示控制部，将从显示图像生成终端4供给的显示图像对显示部42A进行显示。HMD42被戴在观察对象物体200的虚拟三维形状的观察者的头部。
图7是表示本实施方式的HMD42的显示部42A的构成例的概念图。如图7所示那样，显示部42A构成为，作为前面透明显示器的前面液晶面板201与作为后面显示器的后面液晶面板202这2张液晶面板以彼此的显示面平行、且对应的像素在俯视时重叠的方式对置地层叠。前面液晶面板201比后面液晶面板202距离观察者的眼(目镜112)更近地配置。本实施方式中，说明了显示部42A由2张液晶面板构成的情况，但是也可以是层叠3张以上的多张来构成。在该多个张液晶面板的构成中，配置在除了作为最后面的后面显示器(后面液晶面板202)以外的后面显示器的前面的、其他液晶面板分别为透明的液晶面板。
前面液晶面板201和后面液晶面板202分别为，与目镜112的光轴正交的面与各自的显示面平行地配置。
在前面液晶面板201与后面液晶面板202之间，为了使各自的显示面以规定的间隔分离而设置有规定宽度(光轴方向的宽度)的隔离物204。
目镜112配置在光轴与前面液晶面板201、后面液晶面板202的显示面垂直的位置。
背光灯203配置在与后面液晶面板202的与前面液晶面板201对置的显示面的里面对置位置。
通过上述的显示部42A的构成，戴上了HMD42的观察者经由目镜112观察前面液晶面板201和后面液晶面板202的各自，通过由从前面液晶面板201、后面液晶面板202分别出射的光线构成的光场(光线空间)，能够视觉辨认到对象物体200的虚拟三维形状的立体感。
为了如上述那样使观察者立体地视觉辨认到虚拟三维形状，需要将作为由图11所示的以矩阵状配置的拍摄装置拍摄到的多个拍摄图像的、光场图像402，在前面液晶面板201和后面液晶面板202各自上作为规定的图像进行显示。即，通过对前面液晶面板201和后面液晶面板202的各自分别显示规定的图像，来构成对从虚拟三维形状的表面出射的光线进行再现的光场。由此，在光场内，根据图4所示的任意的截面(例如，截面C1、截面C2的视点方向)不同，在前面液晶面板201和后面液晶面板202中，使观察者的焦点对准时观察到的像素的重合的组合不同。因而，根据使观察者的焦点对准的位置，从前面液晶面板201和后面液晶面板202上的重叠的像素透过的光线方向及亮度变化，虚拟三维形状的观察部位不同。因而，观察者能够利用自身的眼的焦点调节功能立体地视觉辨认到显示部42A中的虚拟三维形状。
图8是说明光场图像与显示部42A所显示的显示图像的对应关系的概念图。
在前面液晶面板201和后面液晶面板202各自上分别显示有显示图像201A、显示图像202A。该显示图像201A及显示图像202A分别是对光场图像所具有的光场的光线的信息进行了压缩的图像。
显示图像201A及显示图像202A分别具有光场图像中的光场中的光线射出的位置及方向的信息。该光场图像的压缩是根据液晶面板的张数、利用非负矩阵因子分解法(rank-1NMF法)对光场图像中的光线的信息进行压缩而进行的。
图8中，通过上述的压缩，例如，根据光场图像312(图3)生成的显示图像202A被显示于后面液晶面板202，显示图像201A被显示于前面液晶面板201。
结果，在观察者的眼200E的网膜中，成像出显示图像201A及显示图像202A各自上分别显示的显示图像201A、显示图像202A。此时，在观察者的网膜，通过经由目镜112，而成像出在分离规定距离的虚拟屏幕301和虚拟屏幕302各自上虚拟地显示的显示图像201A及显示图像202A。虚拟屏幕301对应于前面液晶面板201，虚拟屏幕302对应于后面液晶面板202。
由此，观察者将前面液晶面板201及后面液晶面板202各自显示的、显示图像201A、显示图像202A分别重叠而进行观察。
如已经描述的那样，根据使观察者的焦点对准的位置不同，从前面液晶面板201和后面液晶面板202上的重叠的像素透过的光线方向及亮度、即显示图像201A、显示图像202A各自的像素的重叠会变化。因而，能够观察与光场中的视点对应的观察图像303A(将虚拟三维形状投影到截面上的二维图像)，能够在显示部42A上立体地视觉辨认到虚拟三维形状。
图9是表示由本实施方式的图像显示***进行的、虚拟三维形状的立体视用的显示图像生成的处理的动作例的流程图。图9中，步骤S101至步骤S105与图5的步骤S101至步骤S5同样。以下，说明步骤S106至步骤S108的处理。
步骤S106：
光场图像输出部25将由光场图像生成部23生成的光场图像从存储部24对显示图像生成终端4发送。
显示图像生成终端4对从图像生成服务器2供给的光场图像进行压缩，生成在前面液晶面板201及后面液晶面板202各自上分别显示的显示图像201A、显示图像202A。
步骤S107：
显示图像生成终端4将生成的显示图像201A及显示图像202A分别对HMD42输出。
步骤S108：
HMD42的显示控制部将显示图像201A及显示图像202A的各自分别显示于前面液晶面板201、后面液晶面板202。
通过上述的构成，根据本实施方式，通过形状信息取得服务器1取得对象物体200的三维形状信息，将该三维形状信息的数据向图像生成服务器2发送。然后，图像生成服务器2利用被供给的三维形状信息复原对象物体200的虚拟三维形状，因此，在形状信息取得服务器1和图像生成服务器2分别位于远程地点的情况下，作为光场信息而发送三维点群或颜色信息等三维形状信息，因此，能够减轻信息通信网500中的通信负荷，与原样发送光场图像的情况相比，能够高速地得到光场信息而生成光场图像。
由此，根据本实施方式，能够在对象物体200所存在的远程地点，对HMD42等，比以往高速地供给根据光场图像生成的显示图像。
此外，在本实施方式中，作为光场显示器，说明了HMD42的显示部42A具有多张液晶面板的构成。然而，在光场显示器中，也可以设为视差屏障方式的构成，其中，使用视差屏障(parallax barrier)空间地分割视野，显示部对光场中的光线进行显示。或者，在光场显示器中，也可以设为双凸方式的构成，其中，使用双凸(lenticular)透镜的微透镜阵列空间地分割视野，显示部对光场中的光线进行显示。此外，也可以设为采用了使用衍射光栅和显示器的方式的构成。在这些方式的情况下，显示图像生成终端4根据光场图像生成与各自的构成的光场显示器的方式对应的显示图像。
＜第3实施方式＞
以下，作为本发明的第3实施方式，参照附图说明采用了将本发明的第1实施方式的形状信息取得服务器1与第2实施方式的图像生成服务器2各自的构成结合而得的图像显示服务器6的、图像显示***。图10是表示采用了本发明的第3实施方式的图像显示服务器6的、图像显示***的构成例的图。
图10中，图像显示服务器6中设置有：第1实施方式中的形状信息取得服务器1的拍摄图像输入部11及三维形状信息生成部12；第1实施方式中的图像生成服务器2中的三维形状重构部22及光场图像生成部23；以及具有第2实施方式中的显示图像生成终端4的功能的显示图像生成部41。此外，存储部14A是形状信息取得服务器1中的存储部14与图像生成服务器2中的存储部24综合在一起的构成。
三维形状信息生成部12在虚拟三维空间中将对象物体200的特征点的三维点群(或者深度图像)、该特征点的颜色信息作为三维形状信息而生成，写入、存储于存储部14A。
三维形状重构部22从存储部14A读出上述三维形状信息，在虚拟三维空间中根据作为深度信息的三维点群(或者深度图像)、三维点群的特征点的颜色信息，将对象物体200的三维形状重构为虚拟三维形状，写入、存储于存储部14A。
然后，光场图像生成部23将对象物体200的虚拟三维形状从存储部14A读出。
此外，光场图像生成部23在虚拟三维空间内通过虚拟摄像机从任意的视点方向拍摄对象物体200的虚拟三维形状，生成光场图像，写入、存储于存储部14A。
显示图像生成部41A从存储部14A读出光场图像，进行已说明过的压缩处理，将所生成的显示图像201A及显示图像202A分别经由缆线42B或者无线对HMD42输出。此外，如第2实施方式所记载的那样，作为光场显示器，也可以不使用HMD42的层叠方式的显示器的方式，而使用视差屏障方式或者双凸方式的显示器。
如上述那样，根据本实施方式，在虚拟三维空间中复原对象物体200的虚拟三维形状，因此，能够形成观察者的任意的视点方向的光场(光线空间)，无需如以往那样每当改变视点方向时拍摄光场图像，能够减少观察者的拍摄工序中的工时。
此外，根据本实施方式，在图像显示服务器6中，压缩光场图像，生成在HMD42的显示部42A显示的显示图像201A及显示图像202A的各自，因此，能够提高处理速度，能够实时地执行针对动画的显示图像的生成，观察者能够无延迟地观察虚拟三维形状。
此外，根据本实施方式，不是将光场图像，而是将显示图像201A及显示图像202A分别经由缆线42B或者无线对HMD42输出，因此，能够减轻数据传输的负荷，提高发送速度，从而，能够实时地进行显示部42A中的动画等的图像显示，观察者能够无延迟地在HMD42中观察虚拟三维形状。
另外，也可以是，将用于实现本发明中的图1中的形状信息取得服务器1及图像生成服务器2、图6中的图像生成服务器2A及显示图像生成终端4、图10中的图像显示服务器6的各自的功能的程序，记录在计算机可读取的记录介质中，通过使计算机***读入并执行记录介质所记录的程序，来进行对象物的虚拟三维形状的光场图像的拍摄、或者生成向HMD的显示部显示的显示图像的控制。另外，在此提到的“计算机***”包括OS、***设备等硬件。
此外，“计算机***”还包括具备主页提供环境(或者显示环境)的WWW***。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可移动介质、内置于计算机***的硬盘等存储装置。而且，“计算机可读取的记录介质”还包括如在经由因特网等网络或电话线路等通信线路发送了程序的情况下成为服务器或云端的计算机***内部的挥发性存储器(RAM)那样、一定时间保持程序的记录介质。
此外，上述程序也可以从存储装置等中保存有该程序的计算机***，经由传送介质，或者通过传送介质中的传送波，向其他计算机***传送。在此，传送程序的“传送介质”是指如因特网等网络(通信网)、电话线路等通信线路(通信线)那样具有传送信息的功能的介质。此外，上述程序也可以是用于实现所述的功能的一部分。而且，也可以是通过与计算机***中已记录的程序的组合来实现上述的功能的、所谓的差异文件(差异程序)。
附图标记的说明
1……形状信息取得服务器
2……图像生成服务器
3-1，3-2……拍摄装置
4……显示图像生成终端
11……拍摄图像输入部
12……三维形状信息生成部
13……三维形状信息输出部
14，14A，24……存储部
21……三维形状信息输入部
22……三维形状重构部
23……光场图像生成部
24……存储部
25……光场图像输出部
41……显示图像生成部
42……HMD
42A……显示部
500……信息通信网。

Claims (13)

1.一种光场图像生成***，具备：
形状信息取得服务器，取得表示对象物的三维形状的形状信息；以及
图像生成服务器，具有形状重构部及光场图像生成部，所述形状重构部根据所述形状信息在虚拟空间内将所述对象物的三维形状重构为虚拟三维形状，所述光场图像生成部生成所述虚拟三维形状在所述虚拟空间内的规定的视点位置处的光场图像。
2.如权利要求1所述的光场图像生成***，其中，
所述图像生成服务器中的所述光场图像生成部以所述虚拟空间内的任意的视点位置及视点方向，通过虚拟拍摄装置拍摄所述虚拟三维形状，从所述任意的视点位置及视点方向生成光场图像。
3.如权利要求1或2所述的光场图像生成***，其中，
所述形状信息取得服务器根据由拍摄装置拍摄所述对象物而得的拍摄图像，生成该对象物的所述形状信息。
4.如权利要求1至3中任一项所述的光场图像生成***，其中，
所述形状信息是拍摄所述对象物而得的拍摄图像中的各像素的灰度信息及深度信息的各信息。
5.如权利要求1至3中任一项所述的光场图像生成***，其中，
所述形状信息是由所述对象物的特征点构成的三维点群信息、以及各特征点的灰度信息的各信息。
6.如权利要求4或5所述的光场图像生成***，其中，
所述灰度信息是作为颜色信息的R成分、G颜色成分及B颜色成分的灰度。
7.如权利要求1至6中任一项所述的光场图像生成***，其中，
所述形状信息由从配置在不同的视点位置及视点方向的多个拍摄装置拍摄到的多个拍摄图像抽取的信息构成。
8.一种图像显示***，具备：
所述权利要求1至7中任一项所述的光场图像生成***；
图像生成服务器，根据光场图像生成显示图像；以及
显示装置，
所述显示装置具备显示部，该显示部中，至少包括前面透明显示器和后面显示器的2层以上显示器配置成俯视时对应的像素重叠，
所述图像生成服务器分别生成在所述显示器分别显示的、对所述光场图像的所述像素的灰度信息进行了压缩的显示图像。
9.一种形状信息取得服务器，
与图像生成服务器一起配置于光场图像生成***中，所述图像生成服务器具有根据形状信息在虚拟空间内将所述对象物的三维形状重构为虚拟三维形状的形状重构部、以及生成所述虚拟三维形状在所述虚拟空间内的规定的视点位置处的光场图像的光场图像生成部，
所述形状信息取得服务器取得表示所述对象物的三维形状的所述形状信息。
10.一种图像生成服务器，
与取得表示对象物的三维形状的形状信息的形状信息取得服务器一起配置于光场图像生成***中，具备：
形状重构部，根据所述形状信息，在虚拟空间内，将所述对象物的三维形状重构为虚拟三维形状；以及
光场图像生成部，对所述虚拟三维形状，生成所述虚拟空间内的规定的视点位置处的光场图像。
11.一种显示装置，
与所述权利要求1至6中任一项所述的光场图像生成***、以及根据光场图像生成显示图像的图像生成服务器一起配置于图像显示***中，
所述显示装置具备显示部，该显示部中，至少包括前面透明显示器和后面显示器的2层以上显示器配置成俯视时对应的像素重叠，
将所述图像生成服务器所生成的、在所述显示器分别显示的对所述光场图像的所述像素的灰度信息进行了压缩的显示图像，分别显示于各个所述显示器。
12.一种光场图像生成方法，包括：
形状信息取得过程，取得表示对象物的三维形状的形状信息；
形状重构过程，根据所述形状信息，在虚拟空间内，将所述对象物的三维形状重构为虚拟三维形状；以及
光场图像生成过程，对所述虚拟三维形状，生成所述虚拟空间内的规定的视点位置处的光场图像。
13.一种图像显示方法，包括：
形状信息取得过程，取得表示对象物的三维形状的形状信息；
形状重构过程，根据所述形状信息，在虚拟空间内，将所述对象物的三维形状重构为虚拟三维形状；
光场图像生成过程，对所述虚拟三维形状，生成所述虚拟空间内的规定的视点位置处的光场图像；以及
显示图像生成过程，对显示装置中的、具备至少包括前面透明显示器和后面显示器的2层以上显示器的显示部，分别生成在所述显示器分别显示的、对所述光场图像的所述像素的灰度信息进行了压缩的显示图像，所述2层以上显示器配置成俯视时对应的像素重叠。
CN201980025186.7A 2018-04-12 2019-04-11 光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法 Pending CN111954896A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-076786 2018-04-12
JP2018076786 2018-04-12
PCT/JP2019/015745 WO2019198784A1 (ja) 2018-04-12 2019-04-11 ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法

Publications (1)

Publication Number Publication Date
CN111954896A true CN111954896A (zh) 2020-11-17

Family

ID=68163697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025186.7A Pending CN111954896A (zh) 2018-04-12 2019-04-11 光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法

Country Status (6)

Country Link
US (1) US11961250B2 (zh)
EP (1) EP3779892A4 (zh)
JP (1) JP7377413B2 (zh)
KR (1) KR20200144097A (zh)
CN (1) CN111954896A (zh)
WO (1) WO2019198784A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022616A (zh) * 2022-08-08 2022-09-06 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
CN114363530B (zh) * 2022-01-18 2022-08-30 北京拙河科技有限公司 基于亿级像素设备的云端视频监控方法与监控平台
JP2023128268A (ja) * 2022-03-03 2023-09-14 キヤノン株式会社 情報処理装置、情報処理方法、画像生成装置、画像生成方法及びプログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285260A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 多視点画像の符号化方法及び任意視点画像の生成方法
JP2006287592A (ja) * 2005-03-31 2006-10-19 Namco Bandai Games Inc 画像生成装置、電子機器、画像生成方法及びプログラム
JP2008263528A (ja) * 2007-04-13 2008-10-30 Univ Nagoya 画像情報処理方法及び画像情報処理システム
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
KR20130085142A (ko) * 2012-01-19 2013-07-29 삼성전자주식회사 라이트 필드 홀로그램 생성 장치 및 방법
US20140092281A1 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示***
US20160307372A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
KR101670970B1 (ko) * 2015-05-15 2016-11-01 한양대학교 에리카산학협력단 3차원 디스플레이 장치, 3차원 디스플레이 방법 및 이를 이용한 헤드업 마운트 디스플레이 장치
JP6134874B1 (ja) * 2017-01-10 2017-05-24 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
CN107545586A (zh) * 2017-08-04 2018-01-05 中国科学院自动化研究所 基于光场极限平面图像局部的深度获取方法及***
KR101817756B1 (ko) * 2016-12-28 2018-01-11 (주)앤미디어 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
CN107851333A (zh) * 2015-07-28 2018-03-27 株式会社日立制作所 图像生成装置、图像生成***以及图像生成方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3453086B2 (ja) * 1999-05-18 2003-10-06 日本電信電話株式会社 三次元表示方法およびヘッドマウントディスプレイ装置
JP4192640B2 (ja) * 2003-03-19 2008-12-10 セイコーエプソン株式会社 ブロック内のエッジを検出しながら処理を行う画像処理装置、および画像処理方法
JP2011233141A (ja) * 2010-04-05 2011-11-17 Kddi Corp 自由視点画像伝送のためのサーバ装置、プログラム及び自由視点画像伝送方法
JP5974668B2 (ja) 2012-06-25 2016-08-23 国立大学法人 筑波大学 マニピュレーションシステム
JP2014135006A (ja) * 2013-01-11 2014-07-24 Canon Inc 画像処理装置、画像処理方法、およびプログラム
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) * 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
EP3371573B1 (en) * 2015-11-04 2022-06-15 Magic Leap, Inc. Light field display metrology
WO2018072817A1 (en) * 2016-10-18 2018-04-26 Photonic Sensors & Algorithms, S.L. A device and method for obtaining distance information from views
JP2018076786A (ja) 2016-11-07 2018-05-17 アイシン精機株式会社 電動ポンプ
JP6915368B2 (ja) * 2017-04-28 2021-08-04 凸版印刷株式会社 多焦点視覚出力方法、多焦点視覚出力装置
CN109143576B (zh) * 2017-06-27 2021-01-22 京东方科技集团股份有限公司 显示***及其显示方法、交通工具
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
WO2019140414A1 (en) * 2018-01-14 2019-07-18 Light Field Lab, Inc. Systems and methods for rendering data from a 3d environment

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285260A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 多視点画像の符号化方法及び任意視点画像の生成方法
JP2006287592A (ja) * 2005-03-31 2006-10-19 Namco Bandai Games Inc 画像生成装置、電子機器、画像生成方法及びプログラム
JP2008263528A (ja) * 2007-04-13 2008-10-30 Univ Nagoya 画像情報処理方法及び画像情報処理システム
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
KR20130085142A (ko) * 2012-01-19 2013-07-29 삼성전자주식회사 라이트 필드 홀로그램 생성 장치 및 방법
US20140092281A1 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示***
US20160307372A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
KR101670970B1 (ko) * 2015-05-15 2016-11-01 한양대학교 에리카산학협력단 3차원 디스플레이 장치, 3차원 디스플레이 방법 및 이를 이용한 헤드업 마운트 디스플레이 장치
CN107851333A (zh) * 2015-07-28 2018-03-27 株式会社日立制作所 图像生成装置、图像生成***以及图像生成方法
KR101817756B1 (ko) * 2016-12-28 2018-01-11 (주)앤미디어 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
JP6134874B1 (ja) * 2017-01-10 2017-05-24 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
CN107545586A (zh) * 2017-08-04 2018-01-05 中国科学院自动化研究所 基于光场极限平面图像局部的深度获取方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHAO, HY；ZHENG, M；YANG, P ；ZHAO, SJ: "Depth extraction of low-texture region using a light field camera", OPTICAL ENGINEERING, vol. 56, no. 7, 31 December 2017 (2017-12-31), pages 1 - 3 *
孙试翼;匡翠方;刘旭: "基于光场成像的表面三维重构", 应用光学, no. 02, 15 March 2017 (2017-03-15), pages 65 - 69 *
江雷: "基于深度信息虚拟视点生成", 现代计算机(专业版), no. 03, 25 January 2018 (2018-01-25), pages 47 - 51 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022616A (zh) * 2022-08-08 2022-09-06 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Also Published As

Publication number Publication date
EP3779892A1 (en) 2021-02-17
KR20200144097A (ko) 2020-12-28
US20210042948A1 (en) 2021-02-11
JPWO2019198784A1 (ja) 2021-04-30
US11961250B2 (en) 2024-04-16
WO2019198784A1 (ja) 2019-10-17
EP3779892A4 (en) 2021-05-05
JP7377413B2 (ja) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111954896A (zh) 光场图像生成***、图像显示***、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法
JP7076447B2 (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
KR102561425B1 (ko) 웨어러블 3d 증강 현실 디스플레이
KR101094118B1 (ko) 3차원 프로젝션 디스플레이
JP4649219B2 (ja) 立体画像生成装置
EP1143747B1 (en) Processing of images for autostereoscopic display
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
CN211128024U (zh) 3d显示设备
CN106507096B (zh) 一种具有超大视角的追踪式地面光场3d显示方法及***
JP4817425B2 (ja) 画像表示システム及び画像表示方法
CN108259883A (zh) 图像处理方法、头戴式显示器以及可读存储介质
CN112929636A (zh) 3d显示设备、3d图像显示方法
US10148931B2 (en) Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
JP4042356B2 (ja) 画像表示システムおよび画像表示システム用画像補正サービス方法
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
JP2006254240A (ja) 立体画像表示装置、その方法及びプログラム
KR100927234B1 (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
JP6846165B2 (ja) 画像生成装置、画像表示システム及びプログラム
JPH05266215A (ja) 画像表示装置
JP2001218231A (ja) 立体画像を表示する装置および方法
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
Zhang et al. Effects of a retroreflective screen on depth perception in a head-mounted projection display
Hill Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination