CN109769113A - 显示***及显示影像的显示方法 - Google Patents
显示***及显示影像的显示方法 Download PDFInfo
- Publication number
- CN109769113A CN109769113A CN201810654285.9A CN201810654285A CN109769113A CN 109769113 A CN109769113 A CN 109769113A CN 201810654285 A CN201810654285 A CN 201810654285A CN 109769113 A CN109769113 A CN 109769113A
- Authority
- CN
- China
- Prior art keywords
- viewer
- vector
- left eye
- right eye
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明揭露一种随观看者视线改变显示内容的显示***以及显示方法。具体来说,本发明的显示***以及方法根据观看者的左右眼位置判断观看者的视线,当观看者在第一位置时呈现一第一画面,且当观看者从第一位置移到第二位置时呈现一第二画面。
Description
技术领域
本发明涉及一种显示***以及方法,特别是有关一种随观看者视线改变显示内容的显示***以及方法。
背景技术
人眼的视域(field of view,FOV)有一定的界线,因此必须透过不停的更换视线才可以增加看到的范围。举例来说,假设在真实世界中有一台汽车位于一观看者的正前方,因为视域的限制,观看者仅能看到的汽车的正面。但如果观看者稍为往右边移动,将视线由右侧往左边看,就会看到部分汽车正面以及部分侧面的影像。通过移动,在真实世界中视域可以无限地被延伸。然而如果画面是透过显示装置呈现时,受限于显示装置尺寸的关系,影像仅能以符合显示装置的尺寸呈现,能显示的信息也有限。
此外,已知的平面画面利用透视法使得物件(例如一台汽车)在显示装置的屏幕上呈现立体的视觉效果。但是,透视法是一种将三维实体影像压缩至平面呈现的方法,这样的平面立体物件是静态的,在观赏者转变观赏视线后,所看物件的角度及样貌并不会因此而改变,这与我们在真实世界中所体验到的现象不同,大大减损了显示画面呈现的真实感。
发明内容
本发明的一些实施例揭露一种显示***,包括有:一影像获取模块,用于获取一观看者的脸部影像;一处理单元,与影像获取模块连接,其中处理单元根据观看者的脸部影像计算观看者的一左眼位置以及一右眼位置,其中处理单元根据左眼位置计算一左眼向量并根据右眼位置计算一右眼向量,其中处理单元根据左眼向量以及右眼向量计算得到一左眼视像以及一右眼视像,处理单元对左眼视像以及右眼视像进行影像融合处理得到一融合影像;以及一显示装置,与处理单元连接,用于显示融合影像。
本发明的另一些实施例揭露一种可以随着观看者视线改变显示内容的显示***。本发明的显示***包括有:一影像获取模块,用于获取观看者位于一第一位置的第一脸部影像,以及获取观看者在一第二位置的第二脸部影像;一处理单元,与影像获取模块连接。处理单元进行以下步骤:根据观看者的第一脸部影像计算观看者的一第一左眼位置以及一第一右眼位置,根据第一左眼位置计算一第一左眼向量并根据第一右眼位置计算一第一右眼向量,根据第一左眼向量以及第一右眼向量计算得到一第一左眼视像以及一第一右眼视像,处理单元对第一左眼视像以及第一右眼视像进行影像融合处理得到一第一融合影像。处理单元另外根据观看者的第二脸部影像计算观看者的一第二左眼位置以及一第二右眼位置,根据第二左眼位置计算一第二左眼向量并根据第二右眼位置计算一第二右眼向量,根据第二左眼向量以及第二右眼向量计算得到一第二左眼视像以及一第二右眼视像,处理单元对第二左眼视像以及第二右眼视像进行影像融合处理得到一第二融合影像。此外,本发明的显示***还包括一显示装置,与处理单元连接。其中当观看者在第一位置时,显示装置显示第一融合影像;而当观看者位于第二位置时,显示装置显示第二融合影像。
本发明的又一些实施例揭露一种随着观看者的视线改变显示内容的方法。本发明的显示方法包括有:获取观看者位于一第一视线位置时的一第一脸部影像;根据第一脸部影像计算观看者的一第一左眼位置及一第一右眼位置;根据观看者的第一左眼位置及第一右眼位置,计算一第一左眼向量以及一第一右眼向量;根据第一左眼向量计算一第一左眼视像且根据第一右眼向量计算一第一右眼视像;将第一左眼视像与该第一右眼视像进行影像融合处理以得到一第一融合影像;以及当观看者位于第一视线位置时显示第一融合影像。进一步地,本发明的显示内容还包括:获取观看者位于一第二视线位置时的一第二脸部影像;根据第二脸部影像计算观看者的一第二左眼位置及一第二右眼位置;根据观看者的第二左眼位置及第二右眼位置,计算一第二左眼向量以及一第二右眼向量;根据第二左眼向量计算一第二左眼视像且根据第二右眼向量计算一第二右眼视像;将第二左眼视像与该第二右眼视像进行影像融合处理以得到一第二融合影像;以及当观看者位于第二视线位置时显示第二融合影像。
本发明计算器装置利用处理单元根据影像获取模块获取的脸部影像计算观看者的双眼所见的虚拟物件的左眼视像及右眼视像,并将左眼视像与右眼视像融合为相应呈现视线的融合影像。对观看者来说,显示装置所显示的虚拟物件看起来更为真实。此外,当观看者变换观赏视线,本发明还公开的显示***与方法应用前述的原则,融合出视线转换后的观看者所应见到的虚拟物件的融合影像。因此,虚拟物件可以随着观看者变换观赏视线而转换至相应的画面,让观看者有更佳的体验。有关本发明之前述及其他技术内容、特点与功效,在以下配合参考图式的实施例的详细说明中,将可清楚的呈现。
附图说明
图1是应用本发明显示***在一智能汽车的示意图。
图2是本发明显示***的功能方块示意图。
图3是本发明实施方式观看者与显示***的示意图。
图4是本发明实施方式观看者的脸部影像示意图。
图5是本发明实施方式观看者的脸部数据特征示意图。
图6是本发明实施方式产生左眼向量与右眼向量的示意图。
图7是本发明实施方式产生左眼视像及右眼视像的示意图。
图8是本发明实施方式将左侧图像信息、右侧图像信息融合为融合影像的示意图。
图9是本发明实施方式显示***随观看者视线改变显示内容的示意图。
图10是本发明实施方式产生第二左眼向量与第二右眼向量的过程示意图。
图11是本发明实施方式产生第二左眼视像及第二右眼视像的示意图。
图12是本发明实施方式将第二左侧图像信息以及第二右侧图像信息融合为第二融合影像的示意图。
图13是本发明另一实施方式的显示***的示意图。
图14是本发明另一实施方式的透镜模块的示意图。
图15是本发明另一实施方式透镜模块投射交织的融合影像的示意图。
图16是本发明实施方式的一显示方法流程示意图。
图17是本发明实施方式的另一显示方法流程示意图。
图18A及图18B是本发明实施方式又一显示方法流程示意图。
图19A是本发明实施方示观看者在显示装正前方所看到的显示画面的示意图。
图19B是本发明实施方示观看者由图19A的观看位置移往左方观看显示装置时在显示装置上所看到的显示画面的示意图。
图19C是本发明实施方示观看者由图19A的观看位置移往右方观看显示装置时在显示装置上所看到的显示画面的示意图。
图20是本发明实施方示透镜模块投射交织的融合影像至N个子视域的示意图。
附图标记:
1000:第一位置;2000:第二位置;6000:智慧汽车;1:底盘;2:车架;20:座舱;3:显示***;31:影像获取模块;32:显示装置;33:处理单元;34:透镜模块;345:多个透镜条;4:物件;401:第一左眼向量;402:第一右眼向量;405:第二左眼向量;406:第二右眼向量;41:第一左眼视像;42:第一右眼视像;43:第一重叠区;45:第二左眼视像;46:第二右眼视像;47:第二重叠区;481:视条像;49:虚拟空间;5:第一脸部影像;50:脸部特征信息;500:头部位置;501:第一左眼位置;502:第一右眼位置;51:第一脸部模型;6:第二脸部影像;60:第二脸部特征信息;600:第二头部位置;601:第二左眼位置;602:第二右眼位置;61:第二脸部模型;7:第一融合影像;8:第二融合影像;9:头部;91:左眼;92:右眼;FOV:视域;S:子视域;LFOV:左眼视域;RFOV:右眼视域;P:位置向量;E1:左眼位置向量;E2:右眼位置向量。
具体实施方式
本发明揭露一显示***以及方法。本发明的显示***与方法可根据观看者的视线产生对应该视线的影像画面,透过本发明的显示***,物件可以呈现在模拟真实世界中随观看者观看视线变化而变化的效果,进一步使得物件的显示更具真实性。此外,本发明也可根据观看者的视线变化提供不同的显示影像,达到视域(field of view,FOV)延伸的效果。
图1是将本发明的显示方法以及显示***3实施在一种智能汽车6000的示意图。智能汽车6000包括一底盘1、一车架2及一显示***3。车架2设置于底盘1上且具有一座舱20。须注意的是本发明的显示***以及方法并不限于仅能应用于智能汽车上,任何配备有显示***的应用,例如手持装置等等均可采用本发明所揭露的方法与***。
图2是根据本发明实施例的显示***3功能方块图。如图所示,显示***3包括一影像获取模块31、一显示装置32及一处理单元33。影像获取模块31及显示装置32可设置于座舱内,处理单元33耦接于影像获取模块31及显示装置32。实施上,影像获取模块31可为一摄影机或任何具有获取影像功能的装置。显示装置32可以是但不限于一数字车用仪表板(digital vehicle instrument cluster)、一中控面板(central console panel)或一抬头显示器(head-up display)。处理单元33可以是但不限于一车用电子单元(ElectronicControl Unit,ECU)。
如前所述,不论预显示图像中的物件是立体或是平面的,一般显示装置仅能以平面地方式显示这些图像。不论怎么由什么方向观看显示装置,这些图像都不会有任何的变化,因此对观看者来说,显示装置能够呈现的视域范围是固定不变的。
图3是解释本发明显示***3操作的示范示意图。如图所示,观看者(例如图1所示的驾驶9)面对显示装置32。有一影像获取模块31面对着观看者。物件4为一个预显示于显示装置32的立体物件(例如一立方体)。虽然显示装置32为一平面的显示装置,但由于本发明的显示***3所产生的效果可以让显示面随着观看者的视线而改变,所以视觉空间上便可在显示装置32的延伸处产生一虚拟空间49的效果,如此一来物件4便以原本的立体形式呈现在虚拟空间49中。视观看者的视线而定,显示***3再判断需将物件4的哪部分显示于显示装置32上。如前述,在已知技术以透视法的方式将立体物件以平面的方式呈现。因为透视法是一种将三维实体影像压缩至平面呈现的方法,因此在压缩后必定会造成图像数据的遗失以及扭曲。然而在本发明中,所有关于物件4的图像数据均会被保留。
图4至图8解释本发明的显示***3如何判断观看者的视线并改变显示画面。具体来说,图4是一观看者(例如:驾驶9)的一脸部影像5的示意图;图5是脸部影像5对应的脸部模型51及相应的脸部特征信息50的示意图;图6是本发明产生左眼向量401(虚线)与右眼向量402(实线)的示意图;图7是本发明根据左眼向量401以及右眼向量402分别产生一左眼视像41(虚线)及一右眼视像42(实线)的示意图。图8是根据本发明将虚拟物件4的左眼视像41以及右眼视像42融合为一融合影像7的示意图。
首先,如图1及图3所示,当观看者(例如:驾驶9)坐在智慧汽车6000的座舱20内时,观看者的头部9面向智慧汽车6000的前方。其中在观看者的面前位置设置有影像获取模块31及显示装置32。观看者能透过显示装置32观看一显示画面。其中显示画面中有一物件4。
接着,图4所示为影像获取模块获取观看者的一脸部影像5;其中91以及92分别为观看者的左眼及右眼。如图5所示,处理单元根据脸部影像5定义脸部特征信息50;此外,处理单元可以选择性的先建立脸部模型51后再定义脸部特征信息50。脸部模型以及脸部特征的建立方法可以透过一般已知影像辨识与图像处理的方法进行,本发明不再赘述。在本实施例中,脸部特征信息至少包括一左眼位置501及一右眼位置502;此外脸部特征信息50也可包括一头部位置500。
由于影像获取模块31是固定在座舱20内(如图1所示),所以影像获取模块31的位置为已知且固定。物件4在虚拟空间49中的位置对处理单元33来说也是已知。根据这些相对位置,处理单元33可以建立一个坐标***,而坐标***的原点可以设在虚拟空间49的某一定点。举例来说,坐标***的原点可以定义在显示物件(例如物件4)的一点(例如物件4的一质量中心或一体积中心)或是虚拟空间49的正中间。在本实施例中假设坐标***的原点为物件4的中心。根据建立好的坐标***,如图6所示,处理单元33可以得到从影像获取模块31的位置至物件4的一位置向量P。
接着,根据建立好的坐标***处理单元33计算得到影像获取模块31相对于左眼位置501的一左眼位置向量E1,以及从影像获取模块31的位置至右眼位置502的右眼位置向量E2。在本实施例中,观看者的左眼位置501以及右眼位置502是用来判断观看者观看显示装置32的视线(包括方向以及角度)。或者,本发明也可直接从观看者的脸部特征信息中直接定义一个使用者的头部位置500来判断观看者的视线。举例来说,观看者的头部位置500可为两眼的中心位置,鼻尖位置,或由其他各脸部特征信息的相对角度位置定义,本发明不限于任何形式。
在本实施例中,观看者的观看视线可根据其左眼以及右眼的位置501和502判断。在这样的假设提前下,如图6所示,处理单元33便可根据位置向量P、左眼位置向量E1及右眼位置向量E2,分别计算从左眼位置501至虚拟物件4的一左眼向量401以及从右眼位置502至虚拟物件4的一右眼向量402。接着,如图7所示,分别沿着左眼向量401及右眼向量402朝前方扩展开,处理单元33便可根据已知的视域(Field of View,FOV)分别计算出一左眼视域LFOV(图7虚线的一锥形区域)及一右眼视域RFOV(图7实线的一锥形区域),并在物件4所在位置的平面上处(也即,物件4的景深位置)分别形成一左眼视像41(如图7虚线所示的该锥形区域的一底面)及一右眼视像42(如图7实线所示的该锥形区域的一底面)。
在真实世界中人类的左眼和右眼能看到的信息不尽相同。对同一物件来说,左眼能看到较多物件左边的信息,而右眼能看到较多物件右边的信息。如上所述,在本发明中物件4的所有信息都会被保留,而为了贴近真实世界的视觉效果,本发明的显示***针对两眼各别的位置产生对应两眼的图像,再透过影像融合(image fusion)的方式将所有的图像信息完整的合并在一起。相对于已知技术的显示***仅能提供单一视线的影像,本发明显示***所产生的影像较为真实且贴近实际生活体验。
图8为本发明显示***根据左眼视像41以及右眼视像42产生显示于显示装置的示意图。如图所示,左眼视像41与右眼视像42具有一重叠区43。此外,左眼视像41还包括物件4的左侧图像信息;左侧图像信息可以理解为观看者用左眼单独看物件4时可以看到的图像数据。同样地,右眼视像42也包括物件4的右侧图像信息;右侧图像信息可以理解为观看者用右眼单独看物件4时可以看到的图像数据。左侧图像数据以及右侧图像数据均包括位于重叠区43中物件4的重叠图像信息。在本发明一实施例中,处理单元可先将位于重叠区43内的左侧图像数据以及右侧图像数据进行影像融合处理(image fusion),接着再将融合后的重叠区43的影像与剩余的左侧图像信息及右侧图像信息融合以产生一融合影像7。或者,处理单元可以直接融合左眼视像41以及右眼视像42以产生融合影像7。最后,显示装置以显示融合影像7。
图16为本发明根据观看者视线位置显示影像的方法流程示意图。请一并参考图3至图8。本发明利用影像获取模块31及处理单元33通过显示装置32使得一物件4呈现相对观看者视线的影像。本发明的方法流程包括以下步骤:
步骤S100:如图4所示,影像获取模块31获取一观看者的脸部影像5。
步骤S110:如图5所示,处理单元33根据头部影像5取得脸部特征信息50;其中特征信息50至少包括一左眼位置501及一右眼位置502。
步骤S120:如第6图所示,处理单元33根据左眼位置501及右眼位置502计算左眼位置501至虚拟物件4的一左眼向量401,以及右眼位置502至虚拟物件4的一右眼向量402。
步骤S130:如图7所示,处理单元33根据左眼向量401估算一左眼视像41以及根据右眼向量402估算一右眼视像42,其中左眼视像41以及右眼视像42分别表示观看者的左眼以及右眼分别看物件4时所呈现的视像;左眼视像41与右眼视像42会有一重叠区43(如图8所示)。另外,左眼视像41包括虚拟物件4的左侧图像信息,右眼视像42包括虚拟物件4的右侧图像信息。
步骤S140:处理单元33根据将左眼视像41以及右眼视像42融合后得到一融合影像7。
步骤S150:显示装置32显示融合影像7。
经由上述步骤,本发明的显示方法能通过观看者的左眼91以及右眼91位置来进行对观看者视线方向与角度的追踪,以将物件4随着观看者的视线产生对应的影像。追踪动作在此可以是追踪观看者的头部姿势、凝视向量(左眼向量401、右眼向量402)与双眼视象等。总结来说,已知方法透过显示装置32呈现物件4时,观看者不论在显示装置32的任何方向,看到的物件4都是一样的。但通过上述的方法,本发明的显示***3可以随着观看者的视线方向跟角度模拟在真实空间中物件4被观察到的状况,进一步产生相对应的显示画面。举例来说,若观看者改变视线为由左侧上方往下看,则显示装置32便会呈现实际立方体由左侧上方往下看的画面。
如上所述,本发明根据观看者的位置,计算得到分别从观看者左眼以及右眼看物件4的左眼视像41以及右眼视像42。接着再将这些视像做进一步的影像融合处理,便可利用左右眼视差的特性,使得物件4看起来更真实。
另外,利用左右眼视差也能达到增加视域范围的同等效果。如上所述,左眼可以看到右眼看不到的图像数据,同样地右眼可以看到左眼看不到的图像数据。在本发明中,左侧以及右侧图像数据都会被保留,这些图像数据会随着观看者的视线角度而出现在对应的显示图片中。虽然显示装置32的位置跟尺寸是固定的,但因为视线的不同,呈现给观看者的画面也不同,视觉上来说视域会增加。
应用本发明的显示***以及方法,显示装置能提供多种不同的显示信息,根据观看者的位置不同而显示出对应的信息或影像,以达到本发明视域延伸的功能。图9至图12以及图18为本发明第二实施例说明如何根据观看者的视线而显示对应的显示信息或影像。与上述实施例显示方法的主要不同之处在于,本实施例的显示方法不仅针对观看者在第一时间点的第一位置1000视线呈现相对应的第一显示影像;且在观看者在第二时间点T2移动到第二位置2000后,也针对第二位置2000的视线呈现相对的第二显示影像。换句话说,本发明的显示***3具有可随着观看者视线转换而更换显示画面。
首先,如图9所示,影像获取模块31在第一时间点观看者所在的第一位置1000获取第一脸部影像5。如前一实施例所述,处理单元33根据第一脸部影像5定义出多个脸部特征信息50;脸部特征信息50可包括第一左眼位置501及第一右眼位置502。在本实施例中产生对应观看者第一位置1000的第一融合画面的方法与第一实施例相同,故不再赘述。
当观看者从第一位置1000移动到第二位置2000时,影像获取模块31根据观看者所在的第二位置2000获取第二脸部影像6。接着,处理单元33根据第二脸部影像6计算多个第二脸部特征信息60;其中第二脸部特征信息60可包括第二左眼位置601及第二右眼位置602。如上所述,在实际应用中,处理单元33可以根据第一脸部影像5建立一第一脸部模型51,并根据第一脸部模型51定义第一脸部特征信息50;且根据第二脸部影像6建立一第二脸部模型61,并根据第二脸部模型61定义第二脸部特征信息60。另外,脸部特征信息也可包括头部位置500或600,但本发明不以此为限。
如图10所示,处理单元33根据第二左眼位置601及第二右眼位置602计算第二左眼位置601至虚拟物件4的第二左眼向量405,以及第二右眼位置602至虚拟物件4的第二右眼向量406。
如图11所示,根据已知的人眼视域FOV沿着第二左眼向量405及第二右眼向量406可得到一左眼视域LFOV(图11虚线所示的一锥形区域)以及一右眼视域RFOV(图11实线所示的一锥形区域)。左眼视域LFOV有一相应的第二左眼视像45;而右眼视域RFOV有一相应的第二右眼视像46。
如图12所示,第二左眼视像45与第二右眼视像46具有一第二重叠区47。第二左眼视像45可包括虚拟物件4的第二左侧图像信息;其中第二左侧图像数据可以理解为观看者在第二位置单独用左眼观看虚拟物件4可以看到的图像数据。相同地,第二右眼视像46包括虚拟物件4的右侧图像信息;第二右侧图像数据可以理解为观看者在第二位置单独用右眼观看虚拟物件4可以看到的图像数据。第二左侧图像数据以及第二右侧图像数据均包括有第二重叠区47的图像数据。在本发明一实施例中,处理单元可先将位于第二重叠区47内的第二左侧图像数据以及第二右侧图像数据4进行影像融合处理(image fusion),接着再将融合后的第二重叠区47的影像与剩余的第二左侧图像信息及第二右侧图像信息融合以产生一第二融合影像8。或者,处理单元可直接将第二左眼影像45以及第二右眼影像46融合产生第二融合影像8。最后,显示装置以显示第二融合影像8。
如上所述,不论观看者的位置为何,本发明显示***3使用相同的方式得到相对应观看者左眼91以及右眼92的左眼视像41以及右眼视像42。这些视像再进一步经过影像融合处理便可以产生对应观看者视线的显示画面。对于观看者来说,在第一位置1000时观看到的画面以及在第二位置2000观看到的画面是有差异的,应用这样因视线而产生的图像差异特征,本发明的显示***3可以使得观看者在透过显示装置32观看物件4时更贴近真实世界中移动位置观察物件的情况。举例来说,假设观看者第一个时间点在面对显示装置32正前方的位置(也即第一位置1000)观看显示于显示装置32上的物件4,观看者会看到如图19A所示的显示画面。而当观看者的视线接着往左(也即观看者由右往左观看显示装置32)时,便能看较为右边的物件4画面,如图19B所示。相同地,当观看者的视线往右(也即观看者由左往右观看显示装置32)时,便能看较为左边的物件4画面,如图19C所示。
另外,同样应用本发明因视线而产生图像差异的特征,显示***可以设置有多个显示信息,这些显示信息会跟随观看者的视线而选择性地显示于显示装置上。举例来说,图19A至图19C为数字汽车仪表板A的显示画面。图19A所示为驾驶9的视线保持面对数字仪表板A正中间时能看到的画面;具体来说,数字仪表板的中间显示汽车目前速度,左边显示为引擎转速,而右边为行驶距离以及方向指示。假设驾驶9将视线移向左边(例如:驾驶9将头偏向右侧,视线由右往左看),此时,如图19B所示,数字仪表板A的左侧会出现例如温度等信息。反之,如果驾驶9将视线移向右边(例如:驾驶9将头偏向左侧,视线由左往右看),此时,如图19C所示,数字仪表板A的右侧会出现例如油箱表等信息。
请参考图18A及图18B,图18A及图18B是本发明的一种利用显示***3显示画面的一显示方法的流程示意图。显示方法随着观看者的视线呈现不同显示画面的过程包括以下步骤:
步骤S200:影像获取模块31获取观看者在的第一位置1000时的一第一脸部影像5。
步骤S210:处理单元33根据第一脸部影像5定义一第一特征信息50;其中第一特征信息50包括一第一左眼位置501及一第一右眼位置502。
步骤S220:处理单元33根据第一左眼位置501及第一右眼位置502,计算第一左眼位置501至物件4的一第一左眼向量401以及第一右眼位置502至物件4的一第一右眼向量402。
步骤S230:处理单元33根据第一左眼向量401计算一第一左眼视像41,且根据第一右眼向量402计算一第一右眼视像42,其中第一左眼视像41与第一右眼视像42具有一第一重叠区43;第一左眼视像41包括物件4的第一左侧图像信息,第一右眼视像42包括物件4的第一右侧图像信息。
步骤S240:处理单元33将第一左眼视像41以及第一右眼视像42经过影像融合处理得到一第一融合影像7。
步骤S250:显示装置32在观看者位于第一位置1000时显示第一融合影像7。
步骤S260:影像获取模块31获取观看者在第二位置2000时的一第二脸部影像6。
步骤S270:处理单元33根据第二脸部影像6定义一第二特征信息60;其中第二特征信息60包括一第二左眼位置601及一第二右眼位置602。
步骤S280:处理单元33根据第二左眼位置601及第二右眼位置602计算第二左眼位置601至物件4的一第二左眼向量405,以及第二右眼位置602至物件4的一第二右眼向量406。
步骤S290:处理单元33根据第二左眼向量405计算一第二左眼视像45,以及根据第一右眼向量402计算一第二右眼视像46,其中第二左眼视像45与第二右眼视像46具有一第二重叠区47;第二左眼视像45包括物件4的第二左侧图像信息,第二右眼视像46包括物件4的第二右侧图像信息。
步骤S300:处理单元33将第二左眼视像45与第二右眼视像46经过影像融合处理以得到一第二融合影像8。
步骤S310:显示装置32在观看者位于第二位置2000时显示第二融合影像8。
上述流程图以物件4举例说明本发明的显示***3根据观看者的位置呈现对应的显示画面。但如前述,本发明也可以提供多种显示数据选择性地根据观看者的位置显示对应的内容。若是多种显示数据的情况,本发明的坐标***中心可以设置在虚拟空间49的中间点位置,如此便可分别计算观看者在第一位置1000以及第二位置2000的左右眼向量。
图13至15图以及图17为本发明第三实施例的显示***3以及显示方法。图13是本发明另一实施方式的显示***3的示意图。图14是本发明另一实施方式的透镜模块的示意图。图15是本发明另一实施方式透镜模块投射交织的融合影像的示意图。与前述实施例不同的是本实施例另外将透镜模块34设置于显示装置32上。如图13所示,透过透镜模块34,可以将融合后的影像以裸眼立体的影像方式呈现给观看者。如图14所示,透镜模块34可包括多个透镜条345。另外,本发明的透镜模块34以可用具有同等功效的薄膜(thin film)取代。
请参考图20。图20是本发明实施方示透镜模块34投射交织的融合影像至N个子视域S的示意图。假设人眼的视域FOV可以等量地切分成数个子视域(segment),在本实施例中例如为八个子视域S。也即,人眼的视域FOV是由这八个子视域S组成,这些子视域S依序给1至8的编号。延用本发明第一实施例作为范例并参照图20。为了呈现裸眼立体影像,处理单元将融合影像7切割为N个视条像481,也依序给1至8的重复连续编号;N为自然整数,且在本实施例中,N为整数8。在本实施例中,假设观看者的左眼91的视线落在编号4的子视域S,透过透镜模块34,观看者的左眼91可以看到所有编号4的视条像481。同样地,假设观看者的右眼92的视线落在编号6的子视域S,透过透镜模块34,观看者的右眼92可以看到所有编号6的视条像481。因为左右眼视像差的关系,左眼91看到编号4的视条像481会和右眼92看到编号6的视条像481交织(interlace)而形成3D立体的效果。视条像是指被切割后的融合影像的任意一条影像。
这样的裸眼式立体成像效果同样可以应用在观看者变换视线位置的情况下。举例来说,当观看者在第二位置2000时,处理单元33产生第二融合影像8。处理单元33进一步将第二融合影像8切割成M个视条像481,每个视条像481也依序给1至8的编号。假设此时观看者的左眼91的视线落在编号3的子视域S,透过透镜模块34,观看者的左眼91可以看到所有编号3的视条像481。同样地,假设观看者的右眼92的视线落在编号5的子视域S,透过透镜模块34,观看者的右眼92可以看到所有编号5的视条像481。因为左右眼视像差的关系,左眼91看到编号3的视条像481会和右眼92看到编号5的视条像481交织(interlace)而形成3D立体的效果。
对观看者而言,当从第一个位置1000移到第二个位置2000时,显示装置32所呈现的画面会随着视线位置移动而变化。因此在视觉效果上观看者会觉得更贴近真实世界的视觉体验。
图17是本发明第三实施例的显示***3所应用的显示方法流程示意图。延用第一实施例的标号,本实施例的显示***3至少包括有一影像获取模块31、一显示装置32、一处理单元33以及一透镜模块34。其中透镜模块34设置于显示装置32与观看者间,且透镜模块包括多个透镜条345。本实施例的显示方法包括以下步骤:
步骤S400:影像获取模块31获取一脸部影像5。
步骤S410:处理单元33根据脸部影像5计算一脸部特征信息50;其中脸部特征信息50包括一左眼位置501及一右眼位置502。
步骤S420:处理单元33根据左眼位置501及右眼位置502,计算左眼位置501至物件4的一左眼向量401以及右眼位置502至物件4的一右眼向量402。
步骤S430:处理单元33根据左眼向量401计算一左眼视像41以及根据右眼向量402计算一右眼视像42,其中左眼视像41包括物件4的至少一部分的左侧图像信息,右眼视像42包括物件4的至少一部分的右侧图像信息,左眼视像41与右眼视像42具有一重叠区43。
步骤S440:处理单元33将左眼视像41与右眼视像42经过影像融合处理得到一融合影像7。
步骤S450:处理单元33将融合影像7切割成多个视条像481,每个视条像481依序给1到X的编号;其中X为定义视域FOV中子视域S的数目,在一实施例中,X等于8。
步骤S460:透过各透镜条345将对应相同编号的视条像481折射至观看者的左眼91以及右眼。
除上述的脸部特征信息计算,或是影像融合处理外,本发明的影像获取模块也可包括一处理器来对影像做前置处理,例如HDR、景深处理等,或是将原始影像数据传至处理单元33来推算出角度、距离、景深等参数,以进行图像渲染。
本发明显示***以及方法可以随着观看者的视线位置显示对应的影像。对观看者而言,这样的视觉效果更为贴近现实生活中观看任何物体的体验。此外,利用随视线变化改变显示内容的特性,本发明的显示***以及显示方法可以在有限的显示装置范围中显示出选择性得显示更多的数据或图像。实质上以及视觉上都可以达到扩张视域的效果。
以上所述仅为本发明的较佳实施例,凡根据本发明权利要求所做之均等变化与修饰,均应属本发明之涵盖范围。
Claims (20)
1.一种显示***,包括:
一影像获取模块,用于获取一观看者的一脸部影像;
一处理单元,与所述影像获取模块连接,所述处理单元根据所述观看者的所述脸部影像计算所述观看者的一左眼位置以及一右眼位置,所述处理单元根据所述左眼位置计算一左眼向量并根据所述右眼位置计算一右眼向量,所述处理单元根据所述左眼向量以及所述右眼向量计算得到一左眼视像以及一右眼视像,所述处理单元对所述左眼视像以及所述右眼视像进行影像融合处理得到一融合影像;以及
一显示装置,与所述处理单元连接,用于显示所述融合影像。
2.如权利要求1所述的显示***,其中所述显示***建立一坐标***用于显示所述融合影像。
3.如权利要求2所述的显示***,其中所述处理单元根据所述影像获取模块以及所述坐标***的一原点计算一位置向量,所述处理单元根据所述观看者的位置、所述观看者的所述左眼位置以及所述右眼位置计算一左眼位置向量与一右眼位置向量,所述处理单元根据所述位置向量以及所述左眼位置向量计算所述左眼向量,且所述处理单元根据所述位置向量以及所述右眼位置向量计算所述右眼向量。
4.如权利要求3所述的显示***,其中所述坐标***的原点可为一显示物件,或者一视觉虚拟空间的中心点。
5.如权利要求1所述的显示***,其中所述处理单元根据所述左眼向量以及所述观看者的一视域产生所述左眼视像,且所述处理单元根据所述右眼向量以其所述观看者的所述视域产生所述右眼视像。
6.如权利要求1所述的显示***,其中所述左眼视像包括一左侧图像信息,且所述右眼视像包括一右侧图像信息,所述融合影像包括所述左侧图像数据以及所述右侧图像数据。
7.如权利要求1所述的显示***,其中所述显示***将一视域定义为包括N个子视域,所述显示***还包括一透镜模块设置于所述显示装置上,所述透镜模块包括多个透镜条,所述处理单元进一步将所述融合影像切分成多个视条像且依序由1到N连续重复编号,其中所述处理单元根据所述左眼向量判断所述观看者的左眼落在一第一编号的子视域且根据所述右眼向量判断所述观看者的右眼落在一第二编号的子视域,且所述处理单元使得所有编号为所述第一编号的视条像透过所述第一编号的透镜条折射至所述观看者的左眼并使得所有编号为所述第二编号的视条像透过所述第二编号的透镜条折射至所述观看者的右眼。
8.一种显示***,包括:
一影像获取模块,用于获取一观看者位于一第一位置的第一脸部影像,以及获取所述观看者在一第二位置的第二脸部影像;
一处理单元,与所述影像获取模块连接,所述处理单元用于进行以下步骤:
根据所述观看者的所述第一脸部影像计算所述观看者的一第一左眼位置以及一第一右眼位置;
根据所述第一左眼位置计算一第一左眼向量,且根据所述第一右眼位置计算一第一右眼向量;
根据所述第一左眼向量以及所述第一右眼向量计算得到一第一左眼视像以及一第一右眼视像;
对所述第一左眼视像以及所述第一右眼视像进行影像融合处理得到一第一融合影像;
根据所述观看者的所述第二脸部影像计算所述观看者的一第二左眼位置以及一第二右眼位置;
根据所述第二左眼位置计算一第二左眼向量并根据所述第二右眼位置计算一第二右眼向量;
根据所述第二左眼向量以及所述第二右眼向量计算得到一第二左眼视像以及一第二右眼视像;以及
对所述第二左眼视像以及所述第二右眼视像进行影像融合处理得到一第二融合影像;以及
一显示装置,与所述处理单元连接,用于当所述观看者在所述第一位置时显示所述第一融合影像,且当所述观看者位于所述第二位置时显示所述第二融合影像。
9.如权利要求8所述的显示***,其中所述显示***建立一坐标***用于显示所述第一融合影像以及所述第二融合影像。
10.如权利要求9所述的显示***,其中所述处理单元根据所述影像获取模块以及所述坐标***的一原点计算一位置向量,所述处理单元根据所述第一位置、所述第一左眼位置以及所述第一右眼位置计算一第一左眼位置向量与一第一右眼位置向量,所述处理单元根据所述位置向量以及所述第一左眼位置向量计算所述第一左眼向量,所述处理单元根据所述位置向量以及所述第一右眼位置向量计算所述第一右眼向量,所述处理单元根据所述第二位置、所述第二左眼位置以及所述第二右眼位置计算一第二左眼位置向量与一第二右眼位置向量,所述处理单元根据所述位置向量以及所述第二左眼位置向量计算所述第二左眼向量,且所述处理单元根据所述位置向量以及所述第二右眼位置向量计算所述第二右眼向量。
11.如权利要求10所述的显示***,其中所述坐标***的原点可为一显示物件,或者一视觉虚拟空间的中心点。
12.如权利要求8所述的显示***,其中所述处理单元根据所述第一左眼向量以及所述观看者的一视域产生所述第一左眼视像,所述处理单元根据所述第一右眼向量以其所述观看者的所述视域产生所述第一右眼视像,所述处理单元根据所述第二左眼向量以及所述观看者的所述视域产生所述第二左眼视像,且所述处理单元根据所述第二右眼向量以所述观看者的所述视域产生所述第二右眼视像。
13.如权利要求8所述的显示***,其中所述第一左眼视像包括一第一左侧图像信息,所述第一右眼视像包括一第一右侧图像信息,所述第一融合影像包括所述第一左侧图像数据以及所述第一右侧图像数据,所述第二左眼视像包括一第二左侧图像信息,所述第二右眼视像包括一第二右侧图像信息,且所述第二融合影像包括所述第二左侧图像数据以及所述第二右侧图像数据。
14.如权利要求8所述的显示***,其中所述显示***将一视域定义呈N个子视域,所述显示***还包括一透镜模块设置于所述显示装置上,所述透镜模块包括多个透镜条,所述处理单元进一步将所述融合影像切分成多个视条像且依序由1到N连续重复编号,其中当观看者位于所述第一位置时,所述处理单元根据所述第一左眼向量判断所述观看者的左眼落在一第一编号的子视域且根据所述第一右眼向量判断所述观看者的右眼落在一第二编号的子视域,所述处理单元使得所有编号为所述第一编号的视条像透过所述第一编号的透镜条折射至所述观看者的左眼,以及使得所有编号为所述第二编号的视条像透过所述第二编号的透镜条折射至所述观看者的右眼,当观看者位于所述第二位置时,所述处理单元根据所述第二左眼向量判断所述观看者的左眼落在一第三编号的子视域且根据所述第二右眼向量判断所述观看者的右眼落在一第四编号的子视域,所述处理单元使得所有编号为所述第三编号的视条像透过所述第三编号的透镜条折射至所述观看者的左眼,以及使得所有编号为所述第四编号的视条像透过所述第四编号的透镜条折射至所述观看者的右眼。
15.一种显示影像的显示方法,包括:
获取一观看者位于一第一视线位置时的一第一脸部影像;
根据所述第一脸部影像计算所述观看者的一第一左眼位置及一第一右眼位置;
根据所述观看者的所述第一左眼位置及所述第一右眼位置计算一第一左眼向量以及一第一右眼向量;
根据所述第一左眼向量计算一第一左眼视像且根据所述第一右眼向量计算一第一右眼视像;
将所述第一左眼视像与所述第一右眼视像进行影像融合处理以得到一第一融合影像;以及
当所述观看者位于所述第一视线位置时显示所述第一融合影像。
16.如权利要求15所述的显示方法,其中还包括将所述观看者的一视域沿所述第一左眼向量延伸形成所述第一左眼视像,并将所述观看者的视域沿所述第一右眼向量延伸形成所述第一右眼视像,所述第一左眼视像包括一第一左侧图像信息,所述第一右眼视像包括一第一右侧图像信息,且所述第一融合影像包括所述第一左侧图像数据以及所述第一右侧图像数据。
17.如权利要求15所述的显示方法,还包括:
将所述观看者的一视域定义成N个子视域,每个子视域依序从1到N编号;
将所述第一融合影像切割成多个视条像,每个视条像依序从1到N连续重复编号;
判断所述观看者的左眼落在一第一编号的子视域,以及判断所述观看者的右眼落在一第二编号的子视域;以及
将所有编号为所述第一编号的视条像经过一透镜模块折射到所述观看者的左眼,且将所有编号为所述第二编号的视条像经过所述透镜模块折射到所述观看者的右眼。
18.如权利要求15所述的显示方法,还包括:
获取所述观看者位于一第二视线位置时的一第二脸部影像;
根据所述第二脸部影像计算所述观看者的一第二左眼位置及一第二右眼位置;
根据所述观看者的所述第二左眼位置及所述第二右眼位置计算一第二左眼向量以及一第二右眼向量;
根据所述第二左眼向量计算一第二左眼视像且根据所述第二右眼向量计算一第二右眼视像;
将所述第二左眼视像与所述第二右眼视像进行影像融合处理以得到一第二融合影像;以及
当所述观看者位于所述第二视线位置时显示所述第二融合影像。
19.如权利要求17所述的显示方法,还包括:
将所述观看者的一视域定义成N个子视域,每个子视域依序从1到N编号;
将所述第二融合影像切割成多个视条像,每个视条像依序从1到N连续重复编号;
判断所述观看者的左眼落在一第三编号的子视域,以及判断所述观看者的右眼落在一第四编号的子视域;以及
将所有编号为所述第三编号的视条像经过一透镜模块折射到所述观看者的左眼,且将所有编号为所述第四编号的视条像经过所述透镜模块折射到所述观看者的右眼。
20.如权利要求17所述的显示方法,其中还包括将所述观看者的视域沿所述第二左眼向量延伸形成所述第二左眼视像,以及将所述观看者的视域沿所述第二右眼向量延伸形成所述第二右眼视像,其中所述第二左眼视像包括一第二左侧图像信息,所述第二右眼视像包括一第二右侧图像信息,且所述第二融合影像包括所述第二左侧图像数据以及所述第二右侧图像数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762583524P | 2017-11-09 | 2017-11-09 | |
US62/583,524 | 2017-11-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109769113A true CN109769113A (zh) | 2019-05-17 |
Family
ID=66449061
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810654286.3A Pending CN109765693A (zh) | 2017-11-09 | 2018-06-22 | 立体成像显示***及显示立体影像的显示方法 |
CN201810654285.9A Pending CN109769113A (zh) | 2017-11-09 | 2018-06-22 | 显示***及显示影像的显示方法 |
CN201810669179.8A Pending CN109764888A (zh) | 2017-11-09 | 2018-06-26 | 显示***以及显示方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810654286.3A Pending CN109765693A (zh) | 2017-11-09 | 2018-06-22 | 立体成像显示***及显示立体影像的显示方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810669179.8A Pending CN109764888A (zh) | 2017-11-09 | 2018-06-26 | 显示***以及显示方法 |
Country Status (2)
Country | Link |
---|---|
CN (3) | CN109765693A (zh) |
TW (3) | TW201919390A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315964A (zh) * | 2021-06-21 | 2021-08-27 | 北京京东方光电科技有限公司 | 一种3d图像的显示方法、装置及电子设备 |
WO2022042111A1 (zh) * | 2020-08-26 | 2022-03-03 | 深圳创维-Rgb电子有限公司 | 视频图像显示方法、装置、多媒体设备以及存储介质 |
EP4068769A4 (en) * | 2019-12-05 | 2023-12-20 | Beijing Ivisual 3D Technology Co., Ltd. | METHOD AND DEVICE FOR POSITIONING THE EYE, AND DEVICE AND METHOD FOR 3D DISPLAY |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI793390B (zh) * | 2019-12-25 | 2023-02-21 | 財團法人工業技術研究院 | 資訊顯示方法及其處理裝置與顯示系統 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120200676A1 (en) * | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
JP5858044B2 (ja) * | 2011-08-11 | 2016-02-10 | 富士通株式会社 | 立体画像表示装置 |
TW201320717A (zh) * | 2011-11-08 | 2013-05-16 | Unique Instr Co Ltd | 一種三次元影像顯示之方法 |
US9274597B1 (en) * | 2011-12-20 | 2016-03-01 | Amazon Technologies, Inc. | Tracking head position for rendering content |
CN103248905A (zh) * | 2013-03-22 | 2013-08-14 | 深圳市云立方信息科技有限公司 | 一种模仿全息3d场景的显示装置和视觉显示方法 |
CN104618706A (zh) * | 2015-01-12 | 2015-05-13 | 深圳市亿思达科技集团有限公司 | 一种分时实现多人多角度全息立体显示的移动终端及方法 |
-
2018
- 2018-06-20 TW TW107121103A patent/TW201919390A/zh unknown
- 2018-06-20 TW TW107121040A patent/TW201919393A/zh unknown
- 2018-06-20 TW TW107121038A patent/TW201919391A/zh unknown
- 2018-06-22 CN CN201810654286.3A patent/CN109765693A/zh active Pending
- 2018-06-22 CN CN201810654285.9A patent/CN109769113A/zh active Pending
- 2018-06-26 CN CN201810669179.8A patent/CN109764888A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4068769A4 (en) * | 2019-12-05 | 2023-12-20 | Beijing Ivisual 3D Technology Co., Ltd. | METHOD AND DEVICE FOR POSITIONING THE EYE, AND DEVICE AND METHOD FOR 3D DISPLAY |
WO2022042111A1 (zh) * | 2020-08-26 | 2022-03-03 | 深圳创维-Rgb电子有限公司 | 视频图像显示方法、装置、多媒体设备以及存储介质 |
CN113315964A (zh) * | 2021-06-21 | 2021-08-27 | 北京京东方光电科技有限公司 | 一种3d图像的显示方法、装置及电子设备 |
CN113315964B (zh) * | 2021-06-21 | 2023-04-14 | 北京京东方光电科技有限公司 | 一种3d图像的显示方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
TW201919391A (zh) | 2019-05-16 |
TW201919393A (zh) | 2019-05-16 |
CN109765693A (zh) | 2019-05-17 |
TW201919390A (zh) | 2019-05-16 |
CN109764888A (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104883554B (zh) | 通过虚拟***器群集显示直播视频的方法和*** | |
CN109769113A (zh) | 显示***及显示影像的显示方法 | |
CN103595987B (zh) | 立体图像显示装置、图像处理装置及图像处理方法 | |
EP1876840B1 (en) | Image display device and image display method | |
CN101236454B (zh) | 操作装置 | |
MX2020009791A (es) | Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr). | |
US10672311B2 (en) | Head tracking based depth fusion | |
KR20150121127A (ko) | 양안 응시 이미징 방법 및 장치 | |
CN105723705A (zh) | 用于自动立体多视图显示器的图像的生成 | |
US20190141314A1 (en) | Stereoscopic image display system and method for displaying stereoscopic images | |
EP3038061A1 (en) | Apparatus and method to display augmented reality data | |
CN113438465A (zh) | 一种显示调节方法、装置、设备及介质 | |
KR101831978B1 (ko) | 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법 | |
CN112819970B (zh) | 一种控制方法、装置及电子设备 | |
Braun et al. | Evaluating motion and binocular parallax as depth cues for autostereoscopic displays | |
Galabov | A real time 2D to 3D image conversion techniques | |
CA3018454C (en) | Camera-based display method and system for simulators | |
CN101751116A (zh) | 交互式立体影像显示方法及其相关立体显示装置 | |
KR100893381B1 (ko) | 실시간 입체영상 생성방법 | |
JP7527081B1 (ja) | 画像表示システム | |
US20190138789A1 (en) | Display system and method for displaying images | |
JP6562371B1 (ja) | 表示装置、表示処理装置、および表示処理プログラム | |
US10567743B1 (en) | See-through based display method and system for simulators | |
CA3018465C (en) | See-through based display method and system for simulators | |
JP2024062935A (ja) | 立体視表示コンテンツを生成する方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190517 |