CN103635952B - 基于时域心理视觉调制的图像/信息显示***及方法 - Google Patents
基于时域心理视觉调制的图像/信息显示***及方法 Download PDFInfo
- Publication number
- CN103635952B CN103635952B CN201280027728.2A CN201280027728A CN103635952B CN 103635952 B CN103635952 B CN 103635952B CN 201280027728 A CN201280027728 A CN 201280027728A CN 103635952 B CN103635952 B CN 103635952B
- Authority
- CN
- China
- Prior art keywords
- composition
- modulation
- image
- temporal
- viewing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0264—Details of driving circuits
- G09G2310/0297—Special arrangements with multiplexing or demultiplexing of display data in the drivers for data electrodes, in a pre-processing circuitry delivering display data to said drivers or in the matrix panel, e.g. multiplexing plural data signals to one D/A converter or demultiplexing the D/A converter output to multiple columns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种图像/视频处理和光电显示技术领域的基于时域心理视觉调制的图像/信息显示***及方法,该***包括与人眼视觉***互动的彼此配合的高速显示装置和辅助观看装置;辅助观看装置以控制从高速显示装置的显示面到人眼的光强传递率的方法来实现对构图基序列的时域幅度调制。本发明不仅能够用同一显示装置为多用户显示他们各自所需的不同画面,而且能够解决时分复用方法克服不了的画面亮度不足和可生成的画面数少的问题。
Description
技术领域
本发明涉及的是一种图像/视频处理和光电显示技术领域的***及方法,具体是一种利用高刷新率的显示装置实现的基于时域心理视觉调制(TemporalPsycho-VisualModulation,TPVM)的多重图像/信息并行显示***及方法。
背景技术
人眼视觉***无法分辨超过临界闪烁频率(flickerfusionfrequency,约60Hz)的光学信号。而现代的光电显示设备可以工作在120Hz,240Hz甚至更高的频率。例如,新型的变形反射镜器件和光栅光阀装置能够达到88kHz的高刷新率。受立体显示技术的驱动,目前主流的LCD或者PDP显示器也已经能够支持120Hz或者240Hz的刷新率。高速的光电显示装置能够在可见光谱范围内播出大大超越单个观众能够分辨的信息。因此,单个显示装置有可能利用其高刷新率和人眼的心理视觉冗余,为多个观众提供各自独立的视觉信号。
挖掘高速显示设备信息的心理视觉冗余的最直接方式是时分复用,如Kulik等提出了基于时分复用和偏振的六画面显示***,如A.Kulik,A.Kunert,S.Beck,R.Reichel,R.Blach,A.Zink,andB.FYoehlich在文献《C1x6:astereoscopicsix-userdisplayforco-locatedcollaborationinsharedvirtualenvironments》(ACMTransationofGraphics,vol.30,no.6,2011.)以及索尼公司的双画面显示技术通过一个显示器为佩戴同步液晶眼镜的两个观众在不同的时隙轮流提供画面US2010/0177172A1,公开日2010-07-15,“Stereoscopicscreensharingmethodandapparatus”(立体屏幕分享***及方法)、US2010/0177174,公开日2010-07-15,“3Dshutterglasseswithmodeswitchingbasedonorientationtodisplaydevice”(指向显示设备的具有状态切换功能的三维开关眼镜)均记载了通过时分复用技术实现三维现实的方法,然而,由于时分复用技术完全忽略了显示的各图像信号间的相关性,无法有效利用高速显示设备对人眼的心理视觉冗余。有效的观众数K只能随着显示设备的刷新率而线性增加,而所获得的画面亮度随K的增加而线性减弱,因此上述方法在两个以上的用户使用时主观画面质量将大幅度下降。基于时分复用的显示器的另一个致命缺陷是它无法为裸眼观众呈现所需图像。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于时域心理视觉调制的图像/信息显示***及方法,通过时域调制的方式充分利用了高速显示设备的视觉冗余和视频信号内在的统计相关性。在本发明中,高速显示设备以某时序播出一系列构图基。不同于时分复用显示方式中每时刻显示的均为完整图像,任一个时刻播出的TPVM的构图基只是多副图像的共有的组成部分或一副图像的组成部分,所述构图基系列被辅助观看装置进行时域幅度调制后方能形成完整的图像。由于对同一系列构图基不同的时域幅度调制可以形成不同的画面,多个用户可以通过各自的辅助观看装置对这些构图基做不同调制再通过自己的人眼视觉***融合成所需图像。TPVM显示机制不仅能够用同一显示装置显示多画面,而且能够解决时分复用方法所不能克服的画面亮度不足和能生成的不同画面数少等问题。
本发明涉及一种基于时域心理视觉调制的图像/信息显示***,如图1所示,该***包括高速显示装置和与之彼此配合且与人眼视觉***互动的辅助观看装置。
所述的辅助观看装置通过调节从高速显示装置的显示面到人眼的光强传递率实现对高速显示装置播出的构图基序列的时域幅度调制。
一个或多个用户使用辅助观看装置对一高速显示装置播出的构图基序列作特定的时域幅度调制,可以在该显示装置的屏幕上读取与无辅助观看装置的其他人所看到的不同的信息/图像。
所述的辅助观看装置以像素或像素块为单位,各单位之间独立地实现构图基序列的时域幅度调制。进一步地,该辅助观看装置通过对高速显示装置到人眼的光线从全阻隔、半透明到全通过,即0至1之间任意调节的加权,实现对构图基序列的幅度调制。更进一步地,该辅助观看装置可为光强调节装置,例如两片分别对应左右眼的主动液晶片,该光强调节装置通过与高速显示装置实现有线或无线同步,获取对应的调制权重作为控制信号,改变或调节其透光率。
本发明涉及一种全新的基于时域心理视觉调制(TPVM)的图像/信息显示方法,通过以某时序播出构图基序列x1,x2,...,xM,M为一个正整数,这些构图基经过时域调制或直接进人人眼而合成图像。
所述的合成图像具体是指:不同观众通过不同的时域调制权重向量对同一构图基序列作不同的时域调制来获取自己需要的图像,或在不进行时域调制情况下直接获取图像。
所述的构图基序列x1,x2,...,xM是一组用于合成K个目标图像,记为y1,y2,...,yK,的M个二维构件信号,其中:目标图像yk,1≤k≤K,是以调制权重向量wk=(wk1,wk2,...wkM)对x1,x2,...,xM操作并继由人眼视觉***融合而成,即yk=wk1x1+wk1x2+...+wkMxM。调制权重向量w1,w2,...,wK需与播出的构图基序列同步地传输到辅助观看装置以形成K个目标图像。
上述K个目标图像组成一个N×K矩阵Y,其第k列,1≤k≤K,为包含N个像素的图像yk;所涉及的M个构图基组成一个N×M矩阵X,即矩阵X的M个列为x1,x2,...,xM。合成K个目标图像所需的对M个构图基的时域调制操作对应一个M×K调制权重矩阵W,以使得Y=XW。调制权重矩阵W的列向量w1,w2,...,wK用来加权x1,x2,...,xM以形成y1,y2,...,yK。因为光线能量不能为负值,且调制权重即液晶片的透光率也非负,X和W为非负矩阵。那么,给定K个目标图像Y,计算如下非负矩阵分解(NMF):
便可得到合成Y所需的M个构图基和K个调制权重向量。上式中的尺度调整系数s,1≤s≤M用来保证每个观众获得足够的亮度。
所述的辅助观看装置与高速显示装置进行有线或无线同步以获取对应的时域幅度调制的权重作为控制信号来改变显示装置到人眼的光强传递率。
所述的辅助观看装置对左右眼分别实施时域幅度调制。
预处理是减小本发明实施时的计算复杂度,尤其是在实时应用中,的有效方法。给定一集或一类画面,生成它们所需的构图基序列及相应的时域调制权重向量可以被提前计算并存储,以便在需要时实时取出去驱动高速显示装置和辅助观看装置。
本发明之新型信息/图像显示***还可以包括耦合于一个或多个用户的辅助观看装置的人眼定位装置,这些定位装置与所述高速显示***通讯并给出各用户眼睛的即时位置,以便为提供与各用户的视点和视角相关的画面去计算并调整高速显示装置播出的构图基序列和相应的时域调制参数。
所有通过上述方式显示出的图像中有一个特别的图像,称为普通视图,该普通视图的全部显示构图基不被调制直接由人眼视觉***融合所形成的图像,即我们日常不通过任何观看装置所看到的画面。普通视图可以被描述为y0=x1+x2+...+xM,M是大于或等于2的正整数,与之对应地,构图基经过时域调制后生成的图像称为层视图(即yk,1≤k≤K)。
通过适当选择构图基集x1,x2,...,xM和时域上的调制权重向量w1,w2,...,wK,在为使用辅助观看装置的一个或多个用户提供各自所需的图像yk(层视图)的同时,也给不使用辅助观看装置的其他用户提供另一个有意义的图像(普通视图)y0=x1+x2+...+xM。
上述能够同时为使用和不使用辅助观看装置的用户提供不同图像内容是TPVM技术的最具代表性独特功能。这项功能为本发明开辟了许多目前显示技术无能为力的新的应用。为了实现上述功能,所述的时域调制权重向量w1,w2,...,wK和M个构图基x1,x2,...,xM以使如下线性***:
得到充分地满足,其中C(M)为一个与M有关的常数用于调节层视图和普通视图的亮度。
附图说明
图1为本发明成像原理示意图;
图中:高速显示装置播出一构图基序列,该构图基序列经同步液晶眼睛进行时域幅值调制后进入人眼被大脑感知为目标图像。
图2为实施例1中单显示器同时为多用户提供不同画面的显示示意图;
图中:多个用户可以通过各自的辅助观看装置对同一个构图基序列做不同的时域幅度调制再通过自己的人眼视觉***融合成各自所需的图像。
图3为实施例1中多用户用各自的空间可变的调制权重的辅助观看装置独立地观察挖掘三维医学数据的效果图;
图中:不同用户通过空间变化的调制权重在各自感兴趣的区域并以不同的3D透视方式对三维场景观察。
图4为实施例3中利用普通视图与层视图的异化视觉体验实现信息保密显示示意图。
图5为实施例3中利用普通视图与层视图的异化视觉体验实现同一内容的多语种显示示意图。
图6为实施例3中二维和三维兼容的同屏幕显示示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1:多用户虚拟现实显示
TPVM技术所实现的独特的单设备多画面显示功能为虚拟现实、增强现实等应用添加了一个全新的社会属性的维度。
如图2所示,为一例基于TPVM原理的单显示器同时为多用户提供不同画面的新型显示***,在该实施例中多个用户可以通过各自的辅助观看装置对同一个构图基序列做不同的时域幅度调制再通过自己的人眼视觉***融合成各自所需的图像。
在虚拟现实和增强现实的应用中,本发明可以通过传感器获取用户运动/位置等信息,从而为多用户实时提供各自特定视角的画面,同时这些用户又共处于同一个物理空间里,因此他们能够无阻隔自然地互相交流、互动。但是,这种浸入式多用户相互无间的体验是头盔式虚拟现实显示器做不到的。举例来说,多个用户可以同时从不同视角共同观看一场球赛,因此他们之间关于球是否出界的争论会变得更有趣。
本发明还为虚拟现实和增强现实平台上多用户实现协作、互动式训练和学习提供了技术支持。例如,多名医生在虚拟环境中演练一台疑难手术,医生们用各自佩戴的观看装置都可以得到对应自己视角的病人的3D图像,同时还可以面对面地交流并配合。如果用头戴式显示设备的话,医生们之间因彼此看不到而无法交流与配合。
其他的全新虚拟现实、增强现实的用户体验可以通过在空域里调整能够同步的辅助观看装置(如液晶镜片)的调制权重来实现,当辅助观看装置以像素或像素块为单位,各单位之间独立地实现构图基序列的时域幅度调制时,以图3为例,则能够实现医学领域中的3D化多层独立显示,具体为:多层人体解剖图像经配准后以构图基的形式通过高速显示器播出,如图3所示,第1个构图基为人体外表,第2个构图基为骨架,第3个构图基为内脏,等等。医生和学生使用各自的辅助观看装置,其镜片分为中心区域和***区域(见图3),中心区域和***区域的调制权重分别为:
wi=(wi1,wi2,...,wiK)∈[0,1]K和wo=(wo1,wo2,...,woK)∈[0,1]K,
通过选择适当的wi和wo值,用户可以获得3D对象的穿透式观看体验。例如,通过选择wi=(0,0,1)和wo=(1,0,0),用户可以让外部皮肤半透明而看到人体的内部器官并得到其准确位置。对显示对象更复杂的Alpha混合半透明视觉效果也可以通过空域里改变同步观看装置时域调制权重来得到。TPVM技术还可以对3D数据有其它的观看方式。例如,将3D数据中的各个切面x1,x2,...,xM由高速显示设备循环播出,用户佩戴的观看设备采用以同心圆方式变化的调制权重,这样就可实现对3D数据的漏斗状“下挖”式观看。
与基于头戴式显示设备的虚拟现实和增强现实***相比,基于TPVM技术的虚拟现实和增强现实***变得更简单,更轻便,性价比更高。这是因为TPVM把原本在头戴式显示设备HMD完成的图像渲染所需的海量计算分配到了一个功能强大的中心渲染器(非负矩阵分解求解)、一个高速显示设备和观众们自身的人眼视觉***,而每个用户仅需一个轻便的LC眼镜或类似的观看装置。给定一个虚拟环境,它所对应的构图基集可以提前计算出并存储起来供以后反复利用,这种支持TPVM的预处理可大大降低实时虚拟现实和增强现实***的整体计算量。同时,由于用户仅需要实时获得构图基的调制权重,用户和服务器之间的通信带宽需求很小。与现有技术的整幅图像在用户端的重绘相比,本发明中的客户端与服务器间的通信量可以被忽略不计。
实施例2:单个高刷新率显示设备实现2D和3D画面互不干扰地同时显示
如式(2)所示,通过适当选择构图基集x1,x2,...,xM和时域调制权重向量集w1,w2,...,wK,本发明可以在同一屏幕上为使用辅助观看装置的一个或多个用户提供各自所需的图像yk,1≤k≤K,的同时,也给不使用辅助观看装置的其他用户提供另一个有意义的图像(普通视图)y0=x1+x2+...+xM。一个实用意义很大的例子是向下兼容的立体显示***。在这类***中,共有K=2个层视图yL和yR,它们分别对应立体显示的左眼和右眼画面,这里的普通视图y0是同一立体场景的某个2D画面。以下所述是一个不失一般性的向下兼容的立体显示***的实现方案。
为了能够在同一屏幕上为多用户同时显示3D和2D的画面,上述向下兼容的立体显示***联合选择2个时域调制权重向量wL=(wL1,wL2,...wLM)和wR=(wR1,wR2,...wRM)和M个构图基x1,x2,...,xM以充分满足如下线性***:
其中:C(M)为一个与M有关的常数。给定一幅3D画面(yR,yL)和一幅对应的2D画面y0,求解上述线性***可获得生成这些画面的M个构图基x1,x2,...,xM和M维调制向量wL和wR。通过高速显示设备播出的M个构图基x1,x2,...,xM不作任何时域调制而由人眼视觉***直接融合将形成上述的2D画面y0,而同一组构图基x1,x2,...,xM经过辅助观看装置用M维调制向量wL和wR调制后,将在人眼视觉***中分别融合为3D画面的左眼图像yL和右眼图像yR。
另外,还有许多较上述解线性***方法更容易工程实现的算法。例如上述的M个构图基x1,x2,...,xM可以通过求解如下最小二乘问题来获得:
上式中的拉格朗日乘数λ用来平衡2D和3D的画面质量。系数α决定了2D画面的整体亮度,通过对其调整,可以用来抑制或消除2D画面的重构失真。求解所获得的构图基x1,x2,x3,x4经高速显示设备播出,通过同步观看装置用权重wL=(1,0,0,0)和wR=(0,...,1,...0)调制,分别为使用这些同步观看装置的用户提供3D场景的左眼和右眼的画面。同时,不使用辅助观看装置的用户看到的普通视图y0=x1+x2+...+xM则为上述3D场景的某个2D画面。
下面是另一个更简单的计算2D和3D兼容显示***的构图基的方法。不失一般性,以M=4为例,可按经验或机器学习直接取:
x1=yL,x2=αy0-yL,x3=yR,x4=αy0-yR(4)上式中隐含的调制权重为wL=(1,0,0,0)和wR=(0,0,1,0),尺度调整系数α在此实现方法中的取值区间是[1,4]。在基于TPVM技术的2D和3D兼容显示***中,作为2D呈现的默认视图y0可以是左眼图像yL,也可以是右眼图像yR,或是其它位于yL和yR之间的某个视角对应的图像。而且默认视图的选择可以随时间改变。其2D画面y0的设计目标是尽量降低重构画面的失真。为了避免或降低画面闪烁感,2D画面y0选择方式的转换应在视频场景切换时进行。
以上关于基于TPVM技术的2D和3D兼容显示方法及***的描述仅为众多可能实施例中的几个,这不妨碍本发明相关行业一般从业者理解并对此方案进行相应改变和变通。一切与之相关的具有相同功能的方法和设备均应在本专利的保护范围之内。
实施例3:高刷新率显示设备实现信息隐藏显示
通过巧妙利用呈现给使用和不使用辅助观看装置的用户的画面的差异,TPVM显示方法与***还可为诸多应用实现“眼见不为实”的特殊视觉效果,具体方式如下:
采用两组构图基,具体为:包含保密信息的第一组构图基和包含干扰或伪装信号的第二组构图基,当该构图基序列在高速显示装置上播出时,无授权的辅助观看装置或裸眼用户看不到保密信息,只有被授权的用户能通过辅助观看装置看到保密信息。例如,当普通视图y0和层视图yk被故意设计成画面及语义上不同而又被同一物理空间的人群同时可见,则普通视图y0可以作为层视图yk的伪装,从而达到信息隐藏显示的目的。这里普通视图y0的作用是误导或屏蔽无辅助观看装置的旁观者们,而合法用户通过加密同步的辅助观看装置,可以得到层视图yk传递的保密信息。这类保密显示方法与***使得用户能够在公共场合读取保密信息同时又不担心被偷窥,如图4所示。基于TPVM技术的保密显示***的安全性高于隐私贴膜,因为后者仅能减小屏幕的可读视角范围,不能阻止来自于用户背后的偷窥。通过与触摸屏相配合,本发明还可以用来设计隐私输入键盘,用于自动柜员机、电子支付终端、密码锁等产品。
上述的基于TPVM的保密显示方法与***可有很多的实现方案。下述仅是一个实施例。假设一个显示设备能够在不引起不适闪烁的条件下输出M个构图基,给定一个保密图像y1和一个起掩护作用的普通视图y0,本发明的保密显示方法选择M个构图基x1,x2,...,xM和相应调制权重w1,w2,...,wM以充分满足如下线性***:
其中C(M)为一个与M有关的常数。求解上述***所获得的M个构图基x1,x2,...,xM通过高速显示设备播出,无辅助观看装置者看到的是掩护图像y0,而使用由调制权重w1,w2,...,wM驱动的辅助观看装置的合法用户却看到的是保密图像y1。
下面是另一个更简单、便于实时实现的信息安全显示***的实施例。一个120Hz显示器播出M=2个构图基x1,x2来构成用于掩护的普通视图y0和保密图像y1。为了保密图像的可读性,可设x1=y1,即等价调制权重w=(w1,w2)=(1,0)。在给定x1和w的条件下,剩余的构图基x2应该满足y0=x1+x2。这里一个最简单的方法是让x2=n-x1从而将掩护图像y0设计为随机噪声n。
在本发明的另一类应用中,普通视图y0的功能并不是掩盖保密信息,而是为用户群提供某些默认显示内容,同时,一个或多个层视图yk,1≤k≤K,K为正整数,为部分有特殊需求的观众提供一种或多种特定专属信息。上述普通视图和一个或多个层视图由同一显示器显示,但层视图对应的画面需要经过辅助观看装置的时域调制才能形成。举例来说,在公众前的主持人、教师、艺人在发言时等常常希望能够在不为听众觉察的情况下获得台词或提示。TPVM显示方法与***可以将台词、提示等辅助信息显示在屏幕上,但仅为使用辅助观看装置的发言者所见。在此情况下,普通视图是针对普通观众的演讲材料,而层视图还包含发言者所需的提示信息。同理,本发明还可以实现在同一显示屏上对内容作多种语言的注释,例如普通视图可以显示某一通用语言,如英语,而K个层视图yk,1≤k≤K,可以显示其它K个语种如汉语、法语、日语等等,该***及其功能参见图5。
本发明另外可应用于包含多个参与者和观众的电子游戏中,即当采用三组构图基,具体为:包含生成左眼画面的第一组构图基、生成右眼画面的第二组构图基以及用于抵消目标2D画面中重影的第三组构图基,当该构图基序列在高速显示装置上播出时,无辅助观看装置的观众看到的是无重影的2D画面,而用辅助观看装置的用户看到的则是3D画面。如图6所示,游戏主机能够为佩戴观看装置的参与者提供主动视角的3D画面,同时为众多观众提供同一虚拟场景的2D画面。这一特性对于基于虚拟现实的训练和学习***尤为重要。训练的参与者能够在浸入虚拟环境的同时,与同伴保持物理上的共同的存在感,同时,训练的指挥者可以通过传统的2D画面对参与者给出相应指导。
Claims (19)
1.一种基于时域心理视觉调制的图像/信息显示***,其特征在于,包括高速显示装置和与之彼此配合且与人眼视觉***互动的辅助观看装置;
所述的辅助观看装置通过调节从高速显示装置的显示面到人眼的光强传递率实现对高速显示装置播出的构图基序列的时域幅度调制;
所述的构图基序列包括三组构图基,具体为:用于生成左眼画面的第一组构图基、用于生成右眼画面的第二组构图基以及用于抵消目标2D画面中重影的第三组构图基,当该构图基序列在高速显示装置上播出时,无辅助观看装置的观众看到的是无重影的2D画面,而用辅助观看装置的用户看到的则是3D画面。
2.根据权利要求1所述的***,其特征是,一个或多个用户使用辅助观看装置对一高速显示装置播出的构图基序列作特定的时域幅度调制,以便在从该显示装置读取与无辅助观看装置的其他人所看到的不同的信息/图像。
3.根据权利要求1所述的***,其特征是,所述的辅助观看装置以像素或像素块为单位,各单位之间独立地实现构图基序列的时域幅度调制。
4.根据权利要求1或2或3所述的***,其特征是,所述的辅助观看装置通过对高速显示装置到人眼的光线从全阻隔、半透明到全通过,即0至1之间任意调节的加权,实现对构图基序列的幅度调制。
5.根据权利要求1或2或3所述的***,其特征是,所述的辅助观看装置为光强调节装置,该装置与高速显示装置进行有线或无线同步以获取对应的时域幅度调制的权重作为控制信号来改变显示装置到人眼的光强传递率。
6.根据权利要求4所述的***,其特征是,所述的辅助观看装置为光强调节装置,该装置与高速显示装置进行有线或无线同步以获取对应的时域幅度调制的权重作为控制信号来改变显示装置到人眼的光强传递率。
7.根据权利要求1或2或3所述的***,其特征是,所述的辅助观看装置对左右眼分别实施时域幅度调制。
8.根据权利要求4所述的***,其特征是,所述的辅助观看装置对左右眼分别实施时域幅度调制。
9.根据权利要求1或2所述的***,其特征是,所述的构图基序列包括两组构图基,具体为:包含保密信息的第一组构图基和包含干扰或伪装信号的第二组构图基,当该构图基序列在高速显示装置上播出时,无授权的辅助观看装置或裸眼用户看不到保密信息,只有被授权的用户能通过辅助观看装置看到保密信息。
10.根据权利要求1或2或3所述的***,其特征是,所述的***还包括耦合于一个或多个辅助观看装置的人眼定位装置,这些定位装置与所述高速显示***通讯并给出各用户眼睛的即时位置,使得本发明之***能为提供与各用户的视点和视角相关的画面去计算并调整高速显示装置播出的构图基序列和相应的时域调制参数。
11.根据权利要求1或2或3所述的***,其特征是,一集或一类画面所需的构图基序列及时域幅度调制的权重通过提前计算并存储供以后多次使用,以减小本发明各方法及应用的计算复杂度。
12.一种基于时域心理视觉调制的图像/信息显示方法,其特征在于,以某时序播出构图基序列x1,x2,...,xM,M为一个正整数,这些构图基经过时域调制后进入人眼由人眼视觉***合成成像,或直接进入人眼由人眼视觉***合成成像;
所述的构图基序列x1,x2,...,xM是一组用于合成K个目标图像,即y1,y2,...,yK的M个二维构件信号,其中:任一目标图像yk,1≤k≤K,是以时域调制权重向量wk=(wk1,wk2,...wkM)对构图基序列x1,x2,...,xM实施时域调制并继由人眼视觉***融合而成,即yk=wk1x1+wk2x2+...+wkMxM,K个目标图像组成一个N×K矩阵Y,其第k列,1≤k≤K,为包含N个像素的图像yk;所涉及的M个构图基组成一个N×M矩阵X,即矩阵X的M个列为x1,x2,...,xM,合成K个目标图像所需的对M个构图基的时域调制操作对应一个M×K调制权重矩阵W,以使得Y=XW,调制权重矩阵W的列向量w1,w2,...,wK用来加权x1,x2,...,xM以形成y1,y2,...,yK,因为光线能量不能为负值,且调制权重即液晶片的透光率也非负,X和W为非负矩阵,那么,给定K个目标图像Y,计算如下非负矩阵分解:
subjectto0≤W≤1,0≤X≤1
便可得到合成Y所需的M个构图基和K个调制权重向量,尺度调整系数s,1≤s≤M用来保证每个观众获得足够的亮度;
所述的时域调制权重向量w1,w2,...,wK和M个构图基x1,x2,...,xM以使如下线性***
得到充分地满足,其中C(M)为一个与M有关的常数,如此产生的构图基集x1,x2,...,xM和时域调制权重向量集w1,w2,...,wK在为使用辅助观看装置的一个或多个用户提供各自所需的图像yk,1≤k≤K,的同时,也给不使用辅助观看装置的其他用户提供另一个有意义的图像y0=x1+x2+...+xM;
当目标图像的数量为3个,即给定一个3D场景的左眼画面yL和右眼画面yR以及同一3D场景的某一个2D画面y0,以充分满足如下线性***
为目标去选择2个M维时域调制权重向量wL=(wL1,wL2,...wLM),wR=(wR1,wR2,...wRM)和M个构图基(x1,x2,...,xM),其中C(M)为一个与M有关的常数,如此求得的构图基序列x1,x2,...,xM,与相应的时域调制权重向量wL=(wL1,wL2,...wLM)和wR=(wR1,wR2,...wRM)相配合,能够在同一显示器上为戴3D眼镜的观众呈现一个3D画面,与此同时也为不用3D眼镜的用户呈现一个同一3D场景的2D画面。
13.根据权利要求12所述的方法,其特征是,所述的合成图像具体是指:不同观众通过不同的时域调制权重向量对同一构图基序列作不同的时域调制来获取自己需要的图像,或在不进行时域调制情况下直接获取图像。
14.根据权利要求12所述的方法,其特征是,所述的M个构图基x1,x2,...,xM通过求解如下最小二乘问题来获得:
其中:拉格朗日乘数λ用来平衡2D和3D的画面质量,系数α决定了2D画面的整体亮度,通过对其调整,可以用来抑制或消除2D画面的重构失真。
15.根据权利要求12或13所述的方法,其特征是,在M个构图基x1,x2,...,xM中分别置mL个构图基为a·yL,置mR个构图基为b·yR,mL,mR为正整数,mL+mR<M,a和b为正实数,并以此对应地选择其余的M-mL-mR构图基为补偿帧使得普通视图y0=x1+x2+...+xM成为对应上述3D场景的某一个2D画面,即通过补偿帧实现消除2D画面里的重影。
16.根据权利要求12或13所述的方法,其特征是,当构图基的个数为4个,则构图基具体为:x1=yL,x2=αy0-yL,x3=yR,x4=αy0-yR,其对应的调制权重为wL=(1,0,0,0)和wR=(0,0,1,0),尺度调整系数α在此实现方法中的取值区间是[1,4]。
17.根据权利要求12所述的方法,其特征是,当目标图像的数量为2个,即一个保密图像y1和一个起掩护作用的普通视图y0,选择M个构图基x1,x2,...,xM和相应调制权重w1,w2,...,wM以充分满足如下线性***
其中C(M)为一个与M有关的常数,用调制权重w1,w2,...,wM对构图基序列x1,x2,...,xM进行时域调制后被人眼视觉***呈现为保密图像y1,而构图基序列x1,x2,...,xM不经时域调制则被人眼视觉***呈现为普通视图y0。
18.根据权利要求17所述的方法,其特征是,所述的M个构图基x1,x2,...,xM中包括两个分别用于生成保密图像y1和普通视图y0的构图基x1,x2,其中:x1≈y1,y0=x1+x2。
19.根据权利要求17或18所述的方法,其特征是,所述的普通视图y0采用随机噪声图像n,构图基x2=n-x1,使得保密图像y1=x1且被随机噪声图像y0=x1+x2=n所掩盖。
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161457859P | 2011-06-22 | 2011-06-22 | |
USUS61/457859 | 2011-06-22 | ||
US61/457,859 | 2011-06-22 | ||
US201161457944P | 2011-07-14 | 2011-07-14 | |
US61/457,944 | 2011-07-14 | ||
USUS61/457944 | 2011-07-14 | ||
US201161573060P | 2011-08-22 | 2011-08-22 | |
US61/573,060 | 2011-08-22 | ||
USUS61/573060 | 2011-08-22 | ||
US61/632,564 | 2012-01-18 | ||
USUS61/632564 | 2012-01-18 | ||
US201261632564P | 2012-01-26 | 2012-01-26 | |
PCT/CN2012/077353 WO2012175039A1 (zh) | 2011-06-22 | 2012-06-21 | 基于时域心理视觉调制的图像/信息显示***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103635952A CN103635952A (zh) | 2014-03-12 |
CN103635952B true CN103635952B (zh) | 2016-06-15 |
Family
ID=47422034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280027728.2A Active CN103635952B (zh) | 2011-06-22 | 2012-06-21 | 基于时域心理视觉调制的图像/信息显示***及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9578314B2 (zh) |
CN (1) | CN103635952B (zh) |
WO (1) | WO2012175039A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101872859B1 (ko) * | 2012-01-20 | 2018-06-29 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
US9536351B1 (en) * | 2014-02-03 | 2017-01-03 | Bentley Systems, Incorporated | Third person view augmented reality |
CN104869385B (zh) * | 2015-04-07 | 2017-12-15 | 上海交通大学 | 基于心理视觉调制显示技术的影院多字幕*** |
CN104881264A (zh) * | 2015-05-29 | 2015-09-02 | 上海交通大学 | 在心理视觉调制技术中用于实现裸眼视图的方法 |
CN104881699B (zh) * | 2015-05-29 | 2018-02-09 | 上海交通大学 | 基于时域心理视觉调制的二维码内嵌***及显示方法 |
CN105472366B (zh) * | 2015-12-07 | 2016-11-02 | 京东方科技集团股份有限公司 | 基于心理视觉调制的图像处理方法、装置及显示设备 |
CN105516707A (zh) | 2015-12-07 | 2016-04-20 | 京东方科技集团股份有限公司 | 安全显示方法、显示装置以及安全显示*** |
CN106791797A (zh) * | 2017-03-14 | 2017-05-31 | 京东方科技集团股份有限公司 | 一种双视显示的方法和装置 |
CN107332612A (zh) * | 2017-05-23 | 2017-11-07 | 上海交通大学 | 基于时域心理视觉调制的可见光导盲***及隐藏方法 |
US11115649B1 (en) * | 2020-03-04 | 2021-09-07 | Facebook Technologies, Llc | Systems and methods for synchronizing eyewear devices with displays |
CN114125176B (zh) * | 2021-10-08 | 2024-02-13 | 北卡科技有限公司 | 一种基于心理视觉调制的信息安全显示方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134148A (ja) * | 1995-09-27 | 1997-05-20 | Texas Instr Inc <Ti> | 空間的光変調器における最適パルス幅変調パターンの決定 |
US6232963B1 (en) * | 1997-09-30 | 2001-05-15 | Texas Instruments Incorporated | Modulated-amplitude illumination for spatial light modulator |
WO2004068213A1 (ja) * | 2003-01-28 | 2004-08-12 | Sophia Inc. | 画像表示装置 |
CN101512625A (zh) * | 2006-08-30 | 2009-08-19 | 日本电气株式会社 | 图像处理设备、图像处理方法及其程序、显示设备和图像显示*** |
CN101966393A (zh) * | 2009-07-16 | 2011-02-09 | 索尼计算机娱乐美国有限责任公司 | 显示器观看***和基于活动跟踪优化显示器画面的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2158495A (en) * | 1994-03-28 | 1995-10-17 | Magma, Inc. | Two-dimensional and three-dimensional imaging device |
US8225229B2 (en) * | 2006-11-09 | 2012-07-17 | Sony Mobile Communications Ab | Adjusting display brightness and/or refresh rates based on eye tracking |
WO2008090851A1 (ja) * | 2007-01-26 | 2008-07-31 | Nec Corporation | 画像処理装置、方法及びプログラム並びに表示装置 |
US20100079585A1 (en) * | 2008-09-29 | 2010-04-01 | Disney Enterprises, Inc. | Interactive theater with audience participation |
JP2011118302A (ja) * | 2009-12-07 | 2011-06-16 | Toshiba Mobile Display Co Ltd | 表示装置、シャッターメガネ、及び、表示システム |
US20110254829A1 (en) * | 2010-04-16 | 2011-10-20 | Sony Ericsson Mobile Communications Ab | Wearable electronic device, viewing system and display device as well as method for operating a wearable electronic device and method for operating a viewing system |
-
2012
- 2012-06-21 CN CN201280027728.2A patent/CN103635952B/zh active Active
- 2012-06-21 US US14/128,509 patent/US9578314B2/en active Active
- 2012-06-21 WO PCT/CN2012/077353 patent/WO2012175039A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134148A (ja) * | 1995-09-27 | 1997-05-20 | Texas Instr Inc <Ti> | 空間的光変調器における最適パルス幅変調パターンの決定 |
US6232963B1 (en) * | 1997-09-30 | 2001-05-15 | Texas Instruments Incorporated | Modulated-amplitude illumination for spatial light modulator |
WO2004068213A1 (ja) * | 2003-01-28 | 2004-08-12 | Sophia Inc. | 画像表示装置 |
CN101512625A (zh) * | 2006-08-30 | 2009-08-19 | 日本电气株式会社 | 图像处理设备、图像处理方法及其程序、显示设备和图像显示*** |
CN101966393A (zh) * | 2009-07-16 | 2011-02-09 | 索尼计算机娱乐美国有限责任公司 | 显示器观看***和基于活动跟踪优化显示器画面的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2012175039A1 (zh) | 2012-12-27 |
CN103635952A (zh) | 2014-03-12 |
US9578314B2 (en) | 2017-02-21 |
US20140132744A1 (en) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103635952B (zh) | 基于时域心理视觉调制的图像/信息显示***及方法 | |
Urey et al. | State of the art in stereoscopic and autostereoscopic displays | |
Wu et al. | Temporal psychovisual modulation: A new paradigm of information display [exploratory dsp] | |
US20180122143A1 (en) | Hybrid photonic vr/ar systems | |
US7787009B2 (en) | Three dimensional interaction with autostereoscopic displays | |
JP5904620B2 (ja) | 情報表示装置 | |
Wetzstein et al. | Compressive light field displays | |
WO2011048993A1 (ja) | 画像表示装置および立体画像表示システム | |
US10397559B2 (en) | Display method, display apparatus, and display system | |
Zhai et al. | Multiuser collaborative viewport via temporal psychovisual modulation [applications corner] | |
CN102421002A (zh) | 一种实现多视频内容互不干扰观看的方法及*** | |
Pölönen et al. | Subjective measures of presence and discomfort in viewers of color‐separation‐based stereoscopic cinema | |
CN104155840A (zh) | 基于高速投影机的360°全视差三维显示装置和方法 | |
WO2016004656A1 (zh) | 自适应追踪式立体显示装置及其显示方法 | |
Wu et al. | Backward compatible stereoscopic displays via temporal psychovisual modulation | |
Hua | Past and future of wearable augmented reality displays and their applications | |
Borner et al. | A family of single-user autostereoscopic displays with head-tracking capabilities | |
KR20120070363A (ko) | 입체영상표시장치 및 그 구동방법 | |
Surman et al. | Towards the reality of 3D imaging and display | |
JP2005175538A (ja) | 立体映像表示装置及び映像表示方法 | |
Jinnin et al. | Evaluation of usefulness of 3D views for clinical photography | |
JP2012518830A (ja) | 立体プレゼンテーションシステム | |
JP2005175539A (ja) | 立体映像表示装置及び映像表示方法 | |
Watanabe et al. | 68‐3: A Super‐Multiview Display with Horizontal and Vertical Parallax by Time Division and Color Multiplexing | |
KR20120031401A (ko) | 입체영상표시장치 및 그 구동방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |