CN1608386A - 三维图像的投影 - Google Patents

三维图像的投影 Download PDF

Info

Publication number
CN1608386A
CN1608386A CNA028260279A CN02826027A CN1608386A CN 1608386 A CN1608386 A CN 1608386A CN A028260279 A CNA028260279 A CN A028260279A CN 02826027 A CN02826027 A CN 02826027A CN 1608386 A CN1608386 A CN 1608386A
Authority
CN
China
Prior art keywords
screen
image
phase
view
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028260279A
Other languages
English (en)
Inventor
安德鲁·卢克雅尼特萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NeurOK LLC
Original Assignee
NeurOK LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NeurOK LLC filed Critical NeurOK LLC
Publication of CN1608386A publication Critical patent/CN1608386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2605Arrangement of the sub-holograms, e.g. partial overlapping
    • G03H2001/261Arrangement of the sub-holograms, e.g. partial overlapping in optical contact
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00Optical components
    • G03H2223/13Phase mask
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Holo Graphy (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

这里公开了使用液晶显示屏和相位屏幕投影物体的真实三维图像的三维投影***和相关方法。投影***的某个实施例能够包括能够在相位屏幕上投影“振幅全息图”图像的,从而产生可观看的三维图像的成像***。公开的成像***使用至少一个液晶显示屏,一个用于计算平坦图像信息和控制液晶屏和相位屏幕的图像产生***。屏幕具有记录在上面的规则的“相位”信息,它可以是不依赖于将投影的三维物体的已知的单个相位或相位加振幅全息图。在本发明的优选实施例中,投影***使用一种图像产生***,它使用神经网络反馈计算来计算适当的平坦图像信息和任意给定时刻将显示在液晶显示器上的适当的图像。

Description

三维图像的投影
相关申请的参考
本申请要求2001年10月24日申请的美国临时先专利申请序列号60/335,557的申请日的利益。
技术领域
本发明涉及三维图像的投影。本发明尤其涉及利用立体方位(aspect)图像的并行信息处理进行三维图像投影的装置和相关方法。
背景技术
投影显示器使用聚焦在一个扩散器上的图像向用户呈现一幅图像。投影可以从扩散器与用户的同一侧完成,或者在使用电影放映机的情况下,从扩散器与用户相反的一侧完成。图像典型地产生在一个或多个“显示器”,比如小型液晶显示设备上,该显示设备反射或透射一种图案的光,该图案由它的组分可转换像素形成。这样的液晶显示器通常用微电子处理技术制造,从而显示器中的每个格状区域,或“像素”是一个其反射或透射特性能够由电信号控制的区域。在液晶显示器中,根据施加到特定像素的信号,入射到那一像素的光或者被反射、或者被部分反射,或者被像素阻挡。在一些情况下,液晶显示器是透射设备,其中通过任何像素的透射能够在一个范围内阶梯状变化(灰度级),该范围从光完全阻挡的状态延伸到入射光完全透射的状态。
当一均匀光束从液晶显示器反射(或透射通过)时,光束获得一个空间强度轮廓,它依赖于像素的透射状态。通过电子调整像素的透射(或灰度级)以对应于一理想的图像,在液晶显示器上显示一图像。该图像能够成像在一个散射屏上用于直接观看,或者它能够成像在一些中间图像表面,自该表面图像能够由目镜放大给出一个虚像。
图像的三维显示在现代社会有很多潜在应用,它们一直是电子成像***的目标。例如,从飞行员到医师的专业人员培训现在经常依靠三维图像的显示。而且,一幅图像的多个侧面能够观看,从而例如在对人体或机械部件进行检查的模拟期间,不用改变数据或转换图像,观看者能够就看到那些部件的多角度和多视点的连续三维图像是很重要的。
从而,实时的三维图像显示长期以来在各种技术应用中被感兴趣。迄今为止,现有技术中已经知道几种技术用于产生三维和/或测定容量的图像。这些技术在复杂度和产生的效果上不同,包括通过只要求心理深度暗示在一个两维显示上模拟三维图像的计算机图形;设计用来使观看者心理地融合两个视网膜图像(一个左眼的图像,一个右眼的图像)为一个给出深度感知的图像的立体效果显示;重新构造从物体反射的实际波阵面结构的全息图像;和通过激活在显示的容量内的各种深度的实际光源建立具有真实的物理高度、深度和宽度的三维图像的测定容量显示。
基本上,三维成像技术能够分为两类:建立真实的三维图像的一类;建立看到三维图像的幻觉的一类。第一类包括全息显示,变焦距合成,旋转屏和发光二极管(“LED”)板。第二类包括要求心理深度暗示的计算机图形,和根据两个(左和右)视网膜图像的心理融合的立体效果成像。立体效果成像显示能够再细分为要求使用专用眼镜的***(例如,头戴型显示器和偏振滤光眼睛)和根据不需要使用专用眼睛的自动立体效果技术的***。
近来,自动立体效果技术已经广泛报道,称为实时全彩色三维显示最合意的技术。立体效果的原理是根据两个不同视点的同时成像,视点对应于一个观看者的左眼和右眼,产生两维图像的深度感知。在立体效果成像中,使用从不同的地位对物体摄影的常规技术记录图像,不同的地位对应于观看者的两眼之间的距离。
平常,对从观看投影到屏幕上的一个物体的立体效果图像而接收一空间印象的观看者来说,必须确保左眼只看到左图像,右眼只看到右图像。尽管这一效果能够用戴帽子或眼睛获得,但是为了取消这一限制已经开发了自动立体效果技术。但是,传统上,自动立体效果***通常地需要观看者的眼睛定位在距离观看屏幕的特定位置和距离(通常称为“观看区”),从而产生立体效果。
增大对自动立体效果显示的有效观看区的一种方法是建立多个同时观看区。但是,该方案强制大振幅增加了图像处理设备的带宽需要。而且,大量的研究已经关注于通过跟踪与屏幕相关联的眼睛/观看者位置并电子调整成像装置的发射特性来保持立体图像,从而消除观看区的限制。因此,使用快速的现代计算机和运动传感器,能够连续记录观看者的身体和头运动以及计算机中对应的图像适应,能够用立体投影产生环境和物体(虚拟现实)的空间印象。由于图像变得更复杂,实现该方案的现有技术已经证明越来越没有用处。
由于立体幻觉的特性,对该技术来说满足关于真实视觉效果:物理深度暗示的基本需要的观看者的感知是困难的。在自动立体效果中能够提供无焦点适应性调节、汇聚或两眼的不一致,并且现有技术的自动立体效果***中只能从优有限的观看区域中的离散位置观察到视差。
而且,不考虑设备的实现,立体效果显示还有很多固有问题。主要问题在于只有从一个位置观看时任意立体效果对给出正确的透视。从而,自动立体效果显示***必须能够感知观看者的位置并随着观看者的运动再次产生具有不同的透视的立体成对图像。在现有技术中这是不能克服的困难任务。而且,由于缺乏物理暗示,即使对高清晰度立体效果图像,观看者也会发生距离、速度和形状的错误判断。立体效果***固有地给出与汇聚和物理暗示冲突的深度暗示,由于前者使用固定焦点调节,从而与由后者提供立体效果深度信息不一致。该不匹配引起视觉混乱和疲劳,并是很多人在观看立体效果三维图像时产生头痛的一部分原因。
然而,在电子显示***中近来的工作已经集中在各种立体效果观看***的开发上,它们显然最容易适用于电子三维成像。全息成像技术,尽管在通过重新建立从三维物体上反射光的实际波阵面提供真实的三维图像方面比传统的以立体效果为基础的技术先进,但比其他三维成像技术更复杂。全息图像记录和重建的基础现有技术在图1a、图1b和图1c中说明。图1a说明了一种普遍接受的产生全息图的方法。一个相干光束由分光器源103分为两个光束。第一光束105向物体102前进,而第二光束104(通常称为“主”光束)直接到记录媒体101。第一光束105从物体102反射,并接着与记录媒体101(一个全息板或胶片)上的第二(主)光束104干涉。这两个光束重叠从而在记录媒体中被记录为一全息图。图1b示出了记录的全息图100在记录媒体101上的呈现。
一旦全息图100用根据图1a的方式记录,则能够用于重建该物体的全息图像110。如果另一个第二“主”光束104发送到图2b所示的记录的全息图,则光波阵面将在全息图表面中以预定角度形成。该光波阵面将对应于三维物体的全息图像104。相反,如果相干光,比如第一光束105发送到原始三维物体102,接着作为反射光束106反射到全息图100,如图1c所示,接着全息图把光束104′反射到图像源(对应于图1a的“主”光束)。这是通常由光学相关器使用的原理。但是,全息成像技术还没有完全适用于实时电子三维显示。
提供几个方位或“多方位(multi aspect)”显示从而用户想要时能够看到特定物体的很多方位和图像是理想的。以灵活的方式进行这样的观看,从而观看者观看立体图像时不用对观看者的头的位置进行限制会更加有用。最后,对这样的一个***来说能够提供更好的三维图像质量,同时不需要专用帽子即可操作会是理想的。
因此,在技术中仍然需要不用专用帽子就能够将高质量的三维图像投影到多个观看位置的改进的方法和装置。
发明内容
考虑到前述和其他的未满足的需要,本发明的一个目的是提供一种三维图像***,能够实现一特定物体的多方位和视野的投影。
同样,本发明的一个目的是提供用于多方位三维成像的装置和相关方法,它不限制观看者在受限制的观看区域中就能提供高清晰度图像。本发明的再一个目的是这样的装置和相关方法不需要观看者利用专用观看设备,比如帽子或眼镜。
而且,本发明的一个目的是提供真实的三维显示器和相关的成像方法,它能够用电子产生和控制的图像显示全息图像。
进而,本发明的一个目的是提供一种三维显示器和相关成像方法,当与相位屏幕成对时能够使用已经被计算产生三维图像的图像来显示全息图像。
为了实现这些和其他目的,根据本发明的三维投影***和相关方法使用液晶显示屏,或多个液晶显示屏,和物体的振幅全息显示投影其上的一个屏幕。根据本发明的投影***的实施例包括能够数字计算图像信息并使用该信息控制液晶显示器的特性的一个成像***。计算的图像信息与理想的三维图像景象相关。计算的图像信息使液晶显示器以这样的方式被控制,图像产生在显示器上,且光通过显示器并碰撞屏幕,与屏幕上的相位信息相互作用产生可观看的三维图像。该成像***包括一个或多个液晶显示屏,一个图像产生***,用于执行与三维图像产生相关的计算并控制液晶屏,和一个屏幕。在这样的实施例中,屏幕具有记录在其上的规则的“相位”信息,它能够是不依赖于将被投影的三维物体的仅相位的或混合相位振幅的全息图。
在本发明的优选实施例中,用于显示一幅图像的多个方位,从而建立三维观看体验的***和方法利用至少两个液晶屏,一个用于控制液晶显示屏的图像产生***,和产生三维可视图像的相位屏幕。在这样的优选实施例中的图像产生***是一个自动立体效果图像产生***,它使用神经网络反馈计算来计算将在任意给定时刻显示的适当的立体效果图像对。
根据本发明的某些实施例,分离的若干组液晶屏能够用于每种颜色,从而能够获得全彩色显示。在一个这样的实施例中,单个液晶屏能够提供用于红光、蓝光和绿光中的每一个。在一个实施例中,投影***是三色彩色连续投影***。在该实施例中,投影***具有用于例如三种不同颜色,比如红、绿和蓝的三个光源。图像显示器连续显示图像的红、绿和蓝分量。液晶显示器和光源连续转换,从而当显示红色图像时,对应的液晶显示器由红色光源发出的光照射。当由适当的液晶显示器显示图像的绿色部分时,显示器用来自绿色光源的光照射,等等。
现在将参照附图详细说明本发明的各种优选方面和实施例。
附图说明
图1a、图1b和图1c是现有技术中使用的产生全息图的一种方法和这样的全息图的特性的说明。
图2是说明由根据本发明的实施例的一个投影***产生全息图像的示意图。
图3是说明根据本发明的实施例的投影***的示意图。
图4是说明本发明的实施例中使用的成像处理单元的计算和控制结构的示意图。
图5是说明根据本发明的实施例获得的光线的立体效果方向的示意图。
图6是说明根据本发明的实施例的一个处理方法的流程图,其中自动控制适当的立体效果图像的显示。
图7是说明根据本发明的实施例的能够用于控制多方位图像数据的显示的适当的神经网络的示意图。
具体实施方式
在本发明的优选实施例中本发明是用至少两个液晶屏,一个用于控制液晶屏的图像产生***和一个相位屏显示一幅图像的多个方位,从而建立三维观看体验的***和方法。
如图2所示,本发明使用具有记录在其上的规则的“相位”信息F的屏幕112。这能够是不依赖于将投影的三维物体的公知的仅相位或混合相位振幅全息图。特别是,本发明能够使用“thick Denisyuk’s”全息图,但不限于此。例如,一个屏幕能够用具有特殊的聚合物层的玻璃制成,该玻璃具有由激光产生的复杂(complex)表面。
为了在相位屏幕上显示三维物体o的图像110′,第一步是考虑“相位”屏幕的特性和将被成像的期望的三维物体,计算至少一个“平坦的”(即二维)图像。下面关于自动立体效果图像对的计算说明这一计算过程。本领域普通技术人员将很容易理解,就像本发明的实施例中需要的一样,那些计算能够容易地应用到计算一个图像。上面提到的平坦图像实质上是一个振幅全息图。这里,这些平坦的计算的图像能够概念上称为F+0,或F-0,其中F表示期望的图像的相位信息,0表示整个三维物体图像。这些图像显示在液晶显示屏113上并投影到(与光源114结合产生光束111)相位屏幕,在那里由于屏幕和计算图像的交互作用,相位信息F被分离出去。结果建立了真实的全息波阵面115并从而建立物体0的真实三维图像110′。尽管该投影通常用常用光实现,但是也可能用相干光源:R,G,B。由于屏幕中有“相位”,相位信息用作为分光器,并只有三维图像出现在屏幕上。
在现有技术的通常接受的方法中,全息图用光或用三维物体图像照亮。本发明通过一“振幅全息图(amplitude holograms)”来照射一“相位”表面。在特定情况下,“相位”屏幕能够是任何一种具有规则函数的表面,而不只是“相位”全息图。实际三维图像包括具有不同相位和振幅的许多光波。但是,传统的液晶显示器只能重新建立振幅信息。因此本发明利用一个屏幕,它包含已知的相位信息(或者,相位加振幅)。结果,该屏幕能够在特别计算的只有振幅的图像信息(以在液晶显示屏上产生并在屏幕上成像的图像的形式提供)中加入适当的相位信息,从而再构造真实的三维图像光结构。因此,在本发明的说明书中,屏幕称为“相位”屏幕,而计算的二维图像称为“振幅全息图”。
根据本发明的方案的一个重大进步是能够投影大的三维图像。而且,它是一个经济实用的方法,因为它与建立大全息图相比更有可能建立具有规则“相位”结构的大屏幕。
另一个优点在于计算出现在液晶显示屏中的“振幅全息图”。当记录一典型的全息图时,每个点必须沿着整个全息图分布。该处理需要高质量记录材料和全息图的一个场景中所有物体必须固定。通过使用计算的图像,本发明能够把多余的部分最小化并在具有比照片材料的分辨率更低的液晶屏中显示“全息图”。
在本发明的替换的实施例中,分离的液晶屏能够用于每种主要颜色,以产生多彩色显示。
原则上,对于“相位”屏幕,相位结构恰好是任意、预定、规则函数***。该函数***必须是完整的,并与下降的冗余目标正交。特别是,本发明能够使用诸如正弦和余弦的三角函数或沃尔什函数(即,也能够是非三角函数)。
图像计算
现在将对于一个例子说明用于计算适用于本发明的图像信息的方法,该方法基于用至少两个液晶显示屏产生用于自动立体效果成像的图像对。本领域普通技术人员将很容易理解该示例性的计算方法如何能够使用在本发明的实施例中。
现在参照图3,计算装置1提供对照明子***2和在由空间掩蔽5分离的两个考虑的液晶显示屏4和6上图像的显示的控制。由计算装置1控制的照明源2照射透射性液晶显示器4和6,它们显示由计算装置1提供给它们的图像。
图4说明了计算装置1的细节。本发明包括一个提供给存储单元12立体象对或方位的数据库8。存储单元12具有几个功能。最初存储单元12将从立体象对数据库8中提取并存储特定立体象对。
存储单元12向处理块14提供理想的立体象对,从而产生计算的图像。计算的图像能够从处理块14直接发送到液晶显示屏和发光单元控制器16或保存在存储单元12中,以便由控制单元16读取。单元16接着向适当的液晶显示屏4、6提供计算的图像以及控制照射透射性液晶显示屏4、6的发光。处理块14也能够向液晶显示器和发光控制单元16提供指令,从而提供适当的照明。
对所有的自动立体效果显示器来说,计算装置1产生的图像需要是一个由观看者位置信号10表示的观看者位置的函数。本技术领域中已知各种产生适当的观看者位置信号的方法。例如,授予Street的美国专利5,712,732说明了一种自动计算观看者位置和距离的自动立体效果图像显示***。Street的显示***包括距离测量装置,允许***按照相对于屏幕的距离和位置(左—右)确定观看者头部的位置。同样,授予Popovich的美国专利6,101,008指教了利用数字成像设备实时跟踪观看者的位置并使用跟踪的位置适当修正显示图像。
应当注意到存储单元12保持液晶显示器的各个单元或元件的累计信号。从而存储单元12和处理块14具有累计并分析向着“相位”屏幕穿过液晶显示屏的相关屏幕元件的光。
参照图5,它是根据本发明的能够由液晶显示屏产生的光束运动的图。尽管关于将显示立体左、右眼视野的一对成组的液晶显示屏进行了显示和说明,但是能够对到达相位屏幕的投影“振幅全息图”作出类似的计算。在该图示中,说明了三屏液晶显示***。在该例子中,显示器包括呈现在近屏18,掩蔽屏20和远图像屏22上的图像。这些屏的相对位置是已知的,并输入到处理块用于后面的图像显示。尽管说明了能够保存图像信息的液晶显示屏,但是掩蔽屏20也能够是更简单的空间掩蔽设备,比如扩散器。
为观看者呈现每个立体象对所需的信息的不同部分通过向每个屏发送适当计算的图像而显示在屏板18,20和22的每个元件中。在该图示中,左眼36看到发送到该屏的计算的图像的在屏板18上的一部分28。由于屏实际上是可透射的,左眼也看到显示在掩蔽液晶显示屏20上的计算图像的一部分26。另外,再由于每个液晶显示屏的透射系数,左眼36也看到显示在远液晶显示屏22上的计算图像的一部分24。以这种方式,计算图像的期望的部分是由观看者的左眼看到的部分。
显示器通常是单色设备:每个像素或“打开”或“关闭”,或设置到中间强度级。显示器通常不能单独控制图像的多于一种色彩分量的强度。为了提供彩色控制,一个显示***可以使用三对独立的液晶显示器。三对液晶显示器中每一对由分离的光源照射,光源具有激发人眼中三种类型的锥体之一的光谱成分。三个显示器中每个反射(或透射)构成彩色图像的一个色彩分量的一个光束。三个光束接着通过棱镜,二色滤波器***和/或其他光学元件合并为一单个彩色图像光束。
同样,右眼34看到近屏18上的计算图像的相同部分28,以及看到显示在掩蔽屏20上的计算图像的一部分30,以及远屏22上的计算图像的一部分32。计算图像的这些部分是用于计算从相位屏导致的投影图像的那些部分。
由观看者的右眼和左眼看到的计算图像的这些部分构成由观看者看到的两个景象,从而产生一个立体图像。
参照图6,说明用于本发明的图像处理数据流程。前面提到的存储单元12,处理块14和液晶显示控制器和照明控制器16调节从远屏22发出的光辐射和掩蔽20和近屏18的透射系数。
关于一个物体的多个考虑的二维(2-D)图像(即多个计算图像)的信息,每一个都在液晶显示屏上多个不同区域中进行描述,并且有选择地,关于观看者的右眼和左眼的位置的信息由处理块14进行调整。
对应于近屏18的一部分18的透射信号,对应于左眼和右眼各自(26,30)的掩蔽20和对应于左眼和右眼各自的图像的那些部分(24,32)的发光辐射的远屏22的透射系数跟随设置程序被输入到处理块中。
接着识别来自所有屏的单元的光信号,它们被引导向每个观看者的右眼和左眼。在该例子中,来自单元28、26和24的信号全部引向观看者的左眼36,而来自块28、30和32的信号被引向观看者的右眼34。
这些左眼和右眼信号中每一个在求和操作38种被求和,产生一个用于左眼42和右眼40的值。这些信号接着在比较操作48中与每个方位的图像的相关部分和物体方位44和46的图像的相关区域相比较。
紧记信号当然是观看者眼睛位置的函数,检测的信号能够有某种程度的改变。来自比较的任何误差对每个近屏、掩蔽屏和远屏的每个单元被识别。每个误差接着与设置阈值信号进行比较,如果误差信号超过设置阈值信号,处理块控制改变对应于远屏22单元的至少一部分的照明辐射的信号,并改变液晶显示器的掩蔽屏和近屏单元的至少一部分的透射系数。
如果作为观看者位置移动的结果,关于物体的计算图像的信息发生改变,处理块感知该运动并将对应于远屏单元照明辐射的信号以及掩蔽屏和近屏单元的透射系数输入到存储单元中,直到信息被修改。当观看者位置改变足够远以至需要一个新的视野时,该视野或图像从数据库中提取并进行处理。
在一个简单的例子中,如图3所示,本发明包括两个透射液晶显示屏。远屏4和最近(下文称为近)屏6由放置空间掩蔽5的间隙分离。该掩蔽可以是纯相位(例如,两面凸状或无规则屏)、振幅或复杂的透明度。这些屏幕由计算机1控制。由该***形成的观看图像根据观看者的眼睛的位移形成一个自动立体效果三维图像。必须解决的一个问题是用于在观看者眼中合成立体图像的远屏和近屏上图像的计算(即,计算图像)。
一种解决该问题的方法是假定L和R是立体图像的左和右对,对于观看者眼睛位置的观看区域是固定的。为了简明将假定一振幅型的空间掩蔽。
如图5所示,两个光束将进入通过近屏18上的任意单元z 28,从而进入眼睛34和36的瞳孔。这些光束将分别从点a(z)26和c(z)30,b(z)24和d(z)32经过掩蔽20和远屏22。左眼36中的图像是下式的总和:
SLz=Nz+Ma(z)+Db(z)                               (等式1)
其中N是近屏18上像素的强度,M是掩蔽20上像素的强度,D是远屏22上像素的强度。
另外对于右眼34,总和为:
SRz=Nz+Mc(z)+Dd(z)                               (等式2)
当光直接通过近屏18的所有像素z(n)时,图像SL和SR形成在观看者的视网膜上。计算的目的是优化近屏18和远屏22上的计算图像以获得
SL→L,                                              (Rel.1)
SR→R。                                              (Rel.2)
其中L和R表示物体的真实图像。
能够证明不可能获得任意的左图像L和右图像R的精确解决方案。这就是为什么本发明想要找到对于N和D的可能分布中接近的解决方案,以产生最小二次不等(disparity)函数(目标和计算图像之间):
ρ ( SL - L ) → N , D min - - - ( Rel . 3 )
ρ ( SR - R ) → N , D min - - - ( Rel . 4 )
其中ρ(x)是一个不等函数,像素强度的极限对固定的M在0≤N≤255,0≤D≤255内变化。
一个人工神经网络(“NN”)能够先进地用于解决本发明实施例中的问题,因为它允许并行处理,并由于DSP集成方案应用的可能性。
图7的神经网络结构用于解决这个问题。50是一个三层NN。输入层52包括一个神经元,它把单位刺激传播到隐藏层54的神经元。隐藏层54的神经元形成三个组,分别对应于近屏,远屏和掩蔽屏。输出层56的神经元形成两个组,对应于图像SL和SR。神经元的数目对应于液晶显示屏像素的数目。对应于近屏和远屏的突触(synatptic)权值Wij是调整参数,掩蔽的Wij是常数。隐藏层神经元之间的突触连接对应于***的光学方案:
                                  (等式4)
非线性函数是值[0-255]中的S型(sigmoid)函数:
F ( x ) = 255 1 + exp ( - X )               (等式5)
NN的函数能够用下式表示:
     (等式6)
Y k = F ( Σ k V ik X j ) - O NN               (等式7)
其中ONN是NN的输出。
任意神经元中的输出信号是来自远屏、近屏和掩蔽的至少一个信号的总和。NN的输出(根据(6),(7)),对应于观看者的左和右眼,由以下等式给出:
Yk(左)=F(Xz+Xa(z)+Xb(z))=F(Nz+Ma(z)+Db(z))                                      (等式8)
Yk(右)=F(Xz+Xc(z)+Xd(z))=F(Nz+Mc(z)+Dd(z))                         (等式9)
上述等式由等式(1)和(2)推导出。
误差函数则是所有误差的总和并能够用以下等式表示:
                      (等式10)
其中E表示误差项。
从(8)明显可知当E、误差达到0值时(即在NN学习期间),隐藏层的输出将对应于将在屏幕上照射的期望的计算图像。
在NN学习期间,权值Wij初始具有随机值。这些随机值接着连续在每个学习的重复期间由NN改善。反向传播方法(BackProp)用于教授NN:
Figure A0282602700192
                            (等式11)
其中α是学习的速度。试验表明可接受的精度根据(10)学习在10-15次重复时获得,对于一些图像能够在100次重复时获得很低的误差。计算显示误差等级和光学方案,比如图像L和R的形状,近屏、远屏和掩蔽之间的距离和观看者眼睛位置之间的强依赖性。
为了获得对于光学参数的微小变化的更稳定的解决方案,能够使用两种替换的方法。
第一方法包含误差函数(9)的修改,通过加入正则化项:
Figure A0282602700193
         (等式12)
其中β是正则化参数。
第二方法包含在NN的训练期间观看者眼睛位置小范围的随机变化。这些方法都能够用于放大三维观看的区域。
除“BackProp”以外的训练方法也可被使用。例如,能够替代使用共轭梯度方法,其中使用以下三个等式:
Wij(t)=Wij(t-1)+α(t)Sij(t-1)                    (等式13)
S i , j ( t ) = - G ij ( t ) + | | G ij ( t ) | | 2 | | G ij ( t - 1 ) | | 2 S ij ( t - 1 1 ) 0                 (等式14)
G ij ( t ) = dE d W ij                   (等式15)
应当理解等式(13)-(15)包含Fletcher-Reeves的一变量,并能够加速NN的训练程序5-10倍。
使用本发明的典型***包括两个具有1024×768分辨率的15″AM液晶显示器和基于Intel Pentium III-500MHz处理器的用于进行立体图像处理的计算机***。在这样的***中,最好屏之间的距离近似5mm,并且掩蔽包含一扩散器。适当的扩散器类型是由加利福尼亚的Premier Lighting of Van Nuys获得的Gam熔接号10-60,它对点强度光束具有近似75%的透射系数,对可视莫阿干涉条纹图案产生较小散射。计算机模仿该神经网络用于获得必须照射在近屏和远屏上的计算图像,从而在预定区域获得分离的左右图像。神经网络模仿显示器和观看者眼睛位置的光学方案,从而把立体图像的误差最小化。
通过跟随该设置程序的处理块,对应于近屏和远屏单元的透射系数的信号输入到存储单元。下一步是识别能够从所有的屏单元引导向至少一个观看者的左眼和右眼的光信号。接着比较引导向每只眼睛的识别光信号与相关物体的设定的2-D立体象对图像的对应区域。
对于每个屏的每个单元,在能够引导向相关眼睛的识别光信号和同样的眼睛应当看到的相关物体方位的立体图像的识别的相关区域之间识别误差信号。每个接收的误差信号与设置阈值信号比较。如果误差信号超过设置的阈值信号,处理块控制器的上述程序改变对应于屏幕单元的信号。重复上述程序直至误差信号变得低于设置阈值信号或设置时间周期上升(up)。
也有可能解决两个观看者在两个(或多个)不同方向重新构建的两个(或多个)不同物体情况下的计算。必须特别提到所有的计算能够并行执行;能够为此目的设计DSP处理器。
也应当注意到本发明的***也可以用于多个观看者同时观看影像。该***简单地识别各个观看者的位置(或者设置特定观看区)并实施适合于多观看者的图像。
为了适应使用一个设定的图像观看区的***从而允许观看者移动,一个观看者位置信号输入到***中。用于确定SL和SR的算法可使用用于光学几何学的变量,观看者位置信号用于确定那些变量。而且,观看者位置信号对于根据光学几何学计算,确定显示哪个立体象对。几种已知的技术能够用于产生观看者位置信号,包括已知的用于虚拟现实(“VR”)应用的头部/眼睛跟踪***,比如但不限于,观看者安装的射频传感器,三角形化红外和超声波***和使用图像数据的视频分析的基于照相机的机械视觉。
如本领域的熟练技术人员易于理解的,在本发明的某些实施例中,光源可以是宽带白光源,例如白炽灯、感应灯、荧光灯或电弧灯等。在其他实施例中,光源可以是一组具有不同颜色的单色光源,例如红、绿和蓝色。这些光源可以是发光二极管(LED)、激光二极管或其他单色和/或相干光源。
在本发明的实施例中,液晶显示屏包括可转换元件。如本领域所公知的,通过调整应用到每个单独的彩色屏对的电场,***提供用于对从光源获得的光进行彩色平衡的装置。在另一实施里中,各彩色屏***可被用于顺序色彩转换。在该实施例中,屏对包括红、蓝和绿可转换屏对。这些屏对中每组按顺序每次激活一个,并显示循环通过将被显示的图像的蓝、绿和红分量。屏对和对应的光源以比人眼的整合时间快的速率(小于100微秒)与显示器上的图像同步转换。可以理解,这样则有可能使用单独的一对单色显示器来提供彩色三维图像。
尽管这里已经显示并表述了本发明的优选实施例,但是对本领域技术人员来说很显然这些实施例仅仅以示例的方式提供。在不脱离本申请公开的发明范围的条件下,很多非实质的变化、改变和替换将对本领域技术人员来说很明显。因此,本发明意图由后附的权利要求限定其精神和范围。

Claims (20)

1、一种产生物体的三维图像的方法,所述方法包括:
-获得一个相位屏幕,所述相位屏幕具有表现其上的已知信息;
-在显示器上生成一个平坦图像,所述平坦图像表示振幅全息图,所述振幅全息图表示从所述物体的全息图像和所述屏幕中的所述已知信息计算得到的振幅信息;和
-从所述的显示器投影所述平坦图像到所述屏幕,以使它与所述屏幕的所述已知相位信息合并产生所述物体的三维图像。
2、根据权利要求1的方法,其中表现在所述相位屏幕上的所述已知信息包括相位信息。
3、根据权利要求2的方法,其中所述屏幕的所述相位信息与所述振幅全息图相干涉,产生所述物体的三维图像。
4、根据权利要求1的方法,其中表现在所述相位屏幕上的所述已知信息包括混合的相位-振幅信息。
5、根据权利要求4的方法,其中所述屏幕的所述混合相位-振幅信息与所述振幅全息图相干涉,产生所述物体的三维图像。
6、根据权利要求1的方法,其中所述显示器是一个透射性液晶显示器。
7、根据权利要求1的方法,其中所述振幅信息被迭代计算,以减少所述物体的所述三维图像的误差。
8、根据权利要求1的方法,其中所述计算的振幅信息由以下步骤获得:
-估算显示所述平坦图像时由所述显示器的各个像素产生的光波分量;
-由所述估算的光波分量和所述屏幕的已知信息的预期交互作用,计算一个物体得到的三维图像;
-比较得到的三维图像和期望的三维图像,获得误差程度;和
-调整所述平坦图像,直到所述误差达到预定阈值。
9、根据权利要求8的方法,其中所述计算的所述振幅信息的步骤是使用一神经网络被执行的。
10、一种用于产生物体的三维图像的***,所述***包括:
-一个相位屏,所述相位屏具有表现其上的已知信息;
-一个能够显示二维图像的透射性显示器;
-一个显示控制***,包含一个计算设备,所述显示控制***适于控制所述透射性显示器的像素,并且所述计算设备适于产生表示一个振幅全息图的平坦图像,所述振幅全息图表示振幅信息,所述振幅信息由所述计算设备使用所述屏幕上的已知信息计算得出,从而当所述平坦图像投影到所述屏幕上时产生所述物体的全息图像;和
-一个光源,用于照射所述透射性显示器,从而在所述屏幕上投影所述平坦图像,所述光源由所述显示控制***控制。
11、根据权利要求10的***,其中表现在所述相位屏幕上的所述已知信息包括相位信息,并且其中所述屏幕的所述相位信息与所述振幅全息图干涉,产生所述物体的三维图像。
12、根据权利要求10的***,其中表现在所述相位屏幕上的所述已知信息包括混合的相位-振幅信息,并且其中所述屏幕的所述混合相位振幅信息与所述振幅全息图干涉,产生所述物体的三维图像。
13、根据权利要求10的***,其中所述屏幕由具有聚合物层的玻璃制成,所述屏幕具有由激光在其中产生的复杂表面。
14、根据权利要求10的***,其中所述透射性显示器是液晶显示器。
15、根据权利要求10的***,包括至少三个透射性显示器和至少三个光源,每个所述透射性显示器和每个所述光源适于产生所述平坦图像的三个彩色分量中的一个,所述平坦图像的所述彩色分量可组合产生所述物体的全彩色三维图像。
16、根据权利要求10的***,其中在所述计算设备中迭代计算所述振幅信息,以降低所述物体的所述三维图像中的误差。
17、根据权利要求10的***,其中所述计算设备使用一神经网络以降低所述物体的所述三维图像中的误差。
18、根据权利要求10的***,其中所述计算设备根据以下步骤操作计算所述振幅信息:
-估算显示所述平坦图像时由所述透射性显示器的各个像素产生的光波分量;
-由所述估算的光波分量和所述屏幕的已知信息的预期交互作用,计算一个物体的得到的三维图像;
-比较得到的三维图像和期望的三维图像,获得误差程度;和
-调整所述平坦图像,直到所述误差达到预定阈值。
19、根据权利要求18的***,其中用于计算所述振幅信息的所述步骤使用一神经网络执行。
20、根据权利要求10的***,其中所述显示控制***还包括用于感应所述三维图像的观看者的空间取向,并且其中所述计算设备适于调整所述产生的平坦图像,以使所述观看者能够感觉到所述三维图像。
CNA028260279A 2001-10-24 2002-10-24 三维图像的投影 Pending CN1608386A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US33555701P 2001-10-24 2001-10-24
US60/335,557 2001-10-24

Publications (1)

Publication Number Publication Date
CN1608386A true CN1608386A (zh) 2005-04-20

Family

ID=23312277

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028260279A Pending CN1608386A (zh) 2001-10-24 2002-10-24 三维图像的投影

Country Status (6)

Country Link
US (1) US20030122828A1 (zh)
EP (1) EP1442613A1 (zh)
JP (1) JP2005508016A (zh)
KR (1) KR20040076854A (zh)
CN (1) CN1608386A (zh)
WO (1) WO2003036993A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010072067A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息投影实时三维显示***及方法
CN101238488B (zh) * 2005-08-04 2010-08-04 皇家飞利浦电子股份有限公司 用于产生或重建三维图像的方法和***
CN102271261A (zh) * 2010-06-07 2011-12-07 天瀚科技股份有限公司 立体影像撷取及播放装置
CN102815267A (zh) * 2012-07-30 2012-12-12 江西好帮手电子科技有限公司 一种全息投影倒车影像方法及其***
CN107221019A (zh) * 2017-03-07 2017-09-29 武汉唯理科技有限公司 图表转换方法及装置
CN109925053A (zh) * 2019-03-04 2019-06-25 杭州三坛医疗科技有限公司 手术路径的确定方法、装置和***、可读存储介质
CN110161796A (zh) * 2019-07-01 2019-08-23 成都工业学院 一种基于双透镜阵列的立体投影装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337303A (ja) * 2002-05-17 2003-11-28 Canon Inc 立体画像表示装置および立体画像表示システム
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US7336290B2 (en) * 2004-01-07 2008-02-26 Texas Instruments Incorporated Method and apparatus for increasing a perceived resolution of a display
FR2913552B1 (fr) * 2007-03-09 2009-05-22 Renault Sas Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant
EP1975675B1 (en) * 2007-03-29 2016-04-27 GM Global Technology Operations LLC Holographic information display
US8115698B2 (en) * 2007-08-28 2012-02-14 Dell Products, L.P. Methods and systems for image processing and display
US8506085B2 (en) * 2007-08-28 2013-08-13 Dell Products, L.P. Methods and systems for projecting images
DE102007045897A1 (de) * 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
KR100929960B1 (ko) 2008-02-25 2009-12-09 (주)성삼 영상 구현 장치 및 이에 있어서 스크린 구조물
WO2010077221A1 (en) * 2008-12-29 2010-07-08 Hewlett-Packard Development Company, L.P. Dynamically reconfigurable holograms
US8797382B2 (en) 2009-04-13 2014-08-05 Hewlett-Packard Development Company, L.P. Dynamically reconfigurable holograms for generating color holographic images
US9299312B2 (en) 2011-05-10 2016-03-29 Nvidia Corporation Method and apparatus for generating images using a color field sequential display
US8711167B2 (en) * 2011-05-10 2014-04-29 Nvidia Corporation Method and apparatus for generating images using a color field sequential display
WO2012154993A1 (en) * 2011-05-10 2012-11-15 Nvidia Corporation Method and apparatus for generating images using a color field sequential display
KR20130085553A (ko) 2011-12-20 2013-07-30 한국전자통신연구원 프로젝션 기반의 디지털 홀로그램 디스플레이 시스템 및 그 방법
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2018021984A1 (en) * 2016-07-28 2018-02-01 Cy Vision Inc. System and method for high-quality speckle-free phase-only computer-generated holographic image projection
WO2019017972A1 (en) * 2017-07-21 2019-01-24 Hewlett-Packard Development Company, L.P. RECORDING AND DISPLAYING LUMINOUS FIELDS
KR102277096B1 (ko) * 2019-12-30 2021-07-15 광운대학교 산학협력단 인공지능 및 딥러닝 기술을 이용한 디지털 홀로그램의 생성 방법
CN113096204B (zh) * 2021-02-28 2023-12-15 内蒙古农业大学 一种利用风积沙构建驻波场的彩色立体显示方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3307997B2 (ja) * 1992-10-13 2002-07-29 富士通株式会社 表示装置
FR2699289B1 (fr) * 1992-12-15 1995-01-06 Thomson Csf Ecran de projection holographique et procédé de réalisation.
DE69422803T2 (de) * 1993-03-03 2000-06-15 Graham Stewart B. Street Bildausrichtung und Gerät
JPH09284676A (ja) * 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
US6259450B1 (en) * 1996-06-05 2001-07-10 Hyper3D Corp. Three-dimensional display system apparatus and method
EP0881843A3 (en) * 1997-05-28 2005-04-06 Nippon Telegraph And Telephone Corporation Method and apparatus for transmitting or processing images.
US6101008A (en) * 1998-10-16 2000-08-08 Digilens, Inc. Autostereoscopic display based on electrically switchable holograms
JP4433355B2 (ja) * 2000-05-25 2010-03-17 大日本印刷株式会社 透過型ホログラムの作製方法
US6563612B1 (en) * 2000-08-07 2003-05-13 Physical Optics Corporation Collimating screen simulator and method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238488B (zh) * 2005-08-04 2010-08-04 皇家飞利浦电子股份有限公司 用于产生或重建三维图像的方法和***
WO2010072067A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息投影实时三维显示***及方法
CN101939703B (zh) * 2008-12-25 2011-08-31 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8890932B2 (en) 2008-12-25 2014-11-18 Afc Technology Co., Ltd. Holographic projection real-time 3D display system and method
CN102271261A (zh) * 2010-06-07 2011-12-07 天瀚科技股份有限公司 立体影像撷取及播放装置
CN102815267A (zh) * 2012-07-30 2012-12-12 江西好帮手电子科技有限公司 一种全息投影倒车影像方法及其***
CN107221019A (zh) * 2017-03-07 2017-09-29 武汉唯理科技有限公司 图表转换方法及装置
CN109925053A (zh) * 2019-03-04 2019-06-25 杭州三坛医疗科技有限公司 手术路径的确定方法、装置和***、可读存储介质
CN109925053B (zh) * 2019-03-04 2021-06-22 杭州三坛医疗科技有限公司 手术路径的确定方法、装置和***、可读存储介质
CN110161796A (zh) * 2019-07-01 2019-08-23 成都工业学院 一种基于双透镜阵列的立体投影装置
CN110161796B (zh) * 2019-07-01 2023-04-18 成都工业学院 一种基于双透镜阵列的立体投影装置

Also Published As

Publication number Publication date
US20030122828A1 (en) 2003-07-03
WO2003036993A1 (en) 2003-05-01
KR20040076854A (ko) 2004-09-03
JP2005508016A (ja) 2005-03-24
EP1442613A1 (en) 2004-08-04

Similar Documents

Publication Publication Date Title
CN1608386A (zh) 三维图像的投影
US6843564B2 (en) Three-dimensional image projection employing retro-reflective screens
US20040227992A1 (en) Three-dimensional free space image projection employing Fresnel lenses
US5570208A (en) Stereoscopic display method of hologram and its forming method and stereoscopic display apparatus
CN101414425B (zh) 显示装置及其显示方法
US6985290B2 (en) Visualization of three dimensional images and multi aspect imaging
US20050122549A1 (en) Computer assisted hologram forming method and apparatus
EP0590913A1 (en) Stereoscopic display method and apparatus
US20050146788A1 (en) Software out-of-focus 3D method, system, and apparatus
CA2100109C (en) Stereoscopic display apparatus and method
JPH04504786A (ja) 三次元ディスプレイ装置
EP0580353B1 (en) Stereoscopic display apparatus and method
CN1656420A (zh) 立体和多方位图像的显像的***与方法
CN101061415A (zh) 用于三维成像的复合双lcd面板显示器
CN107148590A (zh) 显示设备和显示控制方法
CN107430217A (zh) 虚拟和增强现实***和组件的改进制造
Zhong et al. Reproducing reality with a high-dynamic-range multi-focal stereo display
Takaki et al. 72-directional display having VGA resolution for high-appearance image generation
JP2001508553A (ja) 立体ホログラムディスプレイ(holdisp)
EP0588617A2 (en) Apparatus and method for providing a hologram and a method for forming such a display
Zanker et al. A new look at Op art: towards a simple explanation of illusory motion
JP2006507718A (ja) 空間像を立体的に生成するための光学的構成要素をシミュレートする方法
JPH0540449A (ja) 表示媒体ならびにその製造方法および装置
CN115236871A (zh) 基于人眼跟踪和双向背光的桌面式光场显示***及方法
Vasilev Design and development of a state-of-the-art Universal Laboratory for Virtual Reality, Real-time Simulation and Human-Machine Interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication