CN113973199A - 可透光显示***及其图像输出方法与处理装置 - Google Patents

可透光显示***及其图像输出方法与处理装置 Download PDF

Info

Publication number
CN113973199A
CN113973199A CN202010847487.2A CN202010847487A CN113973199A CN 113973199 A CN113973199 A CN 113973199A CN 202010847487 A CN202010847487 A CN 202010847487A CN 113973199 A CN113973199 A CN 113973199A
Authority
CN
China
Prior art keywords
light
user
display device
viewpoint
eye viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010847487.2A
Other languages
English (en)
Other versions
CN113973199B (zh
Inventor
蔡宜修
郭信宏
陈冠廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN113973199A publication Critical patent/CN113973199A/zh
Application granted granted Critical
Publication of CN113973199B publication Critical patent/CN113973199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种可透光显示***及其图像输出方法与处理装置。可透光显示装置位于背景物与使用者之间。图像输出方法包括以下步骤。检测使用者、可透光显示装置及背景物的位置。建立使用者、可透光显示装置与背景物的坐标转换关系。检测使用者的双眼中点及双眼偏心距。依据坐标转换关系、双眼中点及双眼偏心距，计算使用者于可透光显示装置的左眼视点与右眼视点。随着头戴式装置的切换，交替显示图像于左眼视点与右眼视点。

Description

可透光显示***及其图像输出方法与处理装置
技术领域
本公开是关于一种可透光显示***及其图像输出方法与处理装置。
背景技术
随着显示科技的发展，各式显示装置不断推陈出新。请参照图1，其示出可透光显示装置910的示意图。可透光显示装置910可以设置于使用者970 与背景物960之间。可透光显示装置910可以呈现图像P70。当使用者970站在可透光显示装置910前，图像P70即可重叠于背景物960的图像P80。
然而，人的双眼存在视差。请参照图2至图3，图2示出某一使用者970 以右眼所观看到的重叠情况(左眼闭合)，图3示出使用者970以左眼所观看到的重叠情况(右眼闭合)。在相同位置下，使用者970的右眼所观看到的图像P70可能刚好对准于图像P80的中心，但使用者970的左眼所观看到的图像P70却会偏向图像P80的右边，此种情况即称为视差现象。
倘若采用图2来对准图像P70，对左眼会形成负担。倘若为了降低左眼的负担而将图像P70略微左移，则又对右眼产生负担。因此，研究人员正积极研发可透光显示***的图像输出方法，以使使用者970的左眼与右眼没有视差的负担。
发明内容
本公开关于一种可透光显示***及其图像输出方法与处理装置。
根据本公开的一实施例，提出一种可透光显示***的图像输出方法。可透光显示装置位于背景物与使用者之间。该图像输出方法包括以下步骤。检测使用者、可透光显示装置及背景物的位置。建立使用者、可透光显示装置与背景物的坐标转换关系。检测使用者的双眼中点及双眼偏心距。依据坐标转换关系、双眼中点及双眼偏心距，计算使用者于可透光显示装置的左眼视点与右眼视点。随着头戴式装置的切换，交替显示图像于左眼视点与右眼视点。
根据本公开的另一实施例，提出一种可透光显示***。可透光显示***包括可透光显示装置、图像检测装置、头戴式装置及处理装置。可透光显示装置位于背景物与使用者之间。图像检测装置用以检测使用者的位置、可透光显示装置的位置、背景物的位置、使用者的双眼中点及双眼偏心距。处理装置包括坐标转换关系建立单元、视点计算单元及图像控制单元。坐标转换关系建立单元用以建立使用者、可透光显示装置与背景物的坐标转换关系。视点计算单元用以依据坐标转换关系、双眼中点与双眼偏心距，计算使用者于可透光显示装置的左眼视点与右眼视点。图像控制单元用以随着头戴式装置的切换，控制可透光显示装置交替显示图像于左眼视点与右眼视点。
根据本公开的再一实施例，提出一种处理装置。处理装置用以控制可透光显示***。可透光显示***包括可透光显示装置、图像检测装置及头戴式装置。可透光显示装置位于背景物与使用者之间。图像检测装置用以检测使用者的位置、可透光显示装置的位置、背景物的位置、使用者的双眼中点及双眼偏心距。处理装置包括坐标转换关系建立单元、视点计算单元及图像控制单元。坐标转换关系建立单元用以建立使用者、可透光显示装置与背景物的坐标转换关系。视点计算单元用以依据坐标转换关系、双眼中点与双眼偏心距，计算使用者于可透光显示装置的左眼视点与右眼视点。图像控制单元用以随着头戴式装置的切换，控制可透光显示装置交替显示图像于左眼视点与右眼视点。
为了对本公开的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1示出可透光显示装置的示意图；
图2示出某一使用者以右眼所观看到的重叠情况(左眼闭合)；
图3示出使用者以左眼所观看到的重叠情况(右眼闭合)；
图4A至图4B示出根据一实施例的可透光显示***的示意图；
图5示出根据一实施例的可透光显示***的图像输出方法的流程图；
图6示例说明坐标转换关系；
图7示出步骤S120的细节流程图；
图8A至图8E示例说明图7的各步骤；
图9示例说明步骤S130、S140；
图10示出根据另一实施例的使用者的左眼与右眼的示意图；
图11示出根据另一实施例的图像输出方法的流程图；
图12标示例例说明图11的图像；
图13示出根据另一实施例的图像输出方法的流程图；以及
图14示例说明图13的图像。
具体实施方式
请参照图4A至图4B，其示出根据一实施例的可透光显示***1000的示意图。可透光显示***1000包括可透光显示装置100、图像检测装置200、头戴式装置300及处理装置400。可透光显示装置100设置于背景物600与使用者700之间。可透光显示***1000例如可以应用于教学领域。背景物 600例如为人体图像。可透光显示装置100例如包括可透光液晶显示器(light transmitting LCD)、可透光有机发光二极管显示器(light transmittingOLED display)或贴附反射膜的可透光玻璃。图像检测装置200可用以检测图像。图像检测装置200例如是图像检测装置、摄影机或红外线感测仪。头戴式装置300可具备快门用以轮流遮蔽左眼与右眼，以使左眼与右眼交替观看。处理装置400可用以执行各种分析程序、运算程序或控制程序等。处理装置400 例如是计算机、服务器、云端运算中心或移动电话等。在一实施例中，可透光显示***1000可还包括存储装置500，存储装置500可用以存储数据。存储装置500例如是硬盘、存储器、光盘或云端存储中心等。
处理装置400包括坐标转换关系建立单元410、视点计算单元420及图像控制单元430。坐标转换关系建立单元410用以建立坐标转换关系CT。视点计算单元420用以利用坐标转换关系CT计算点坐标。图像控制单元430 用以执行可透光显示装置100的控制程序，以呈现所需要的图像。坐标转换关系建立单元410、视点计算单元420及图像控制单元430例如是电路、芯片、电路板或存储程序代码的存储装置等。
如图4A所示，头戴式装置300可以让左眼视窗310呈现可透光，并让右眼视窗320呈现不可透光，使用者700以左眼EL观看可透光显示装置100 及图像P11。此时可以针对左眼EL的视线，将图像P11显示于特定的左眼视点PL，使用者700的左眼EL所观看到的图像P11可对准于背景物600。
如图4B所示，头戴式装置300可以让左眼视窗310呈现不可透光，并让右眼视窗320呈现可透光，使用者700以右眼ER观看可透光显示装置100 及图像P11。此时可以针对右眼ER的视线，将图像P11显示于特定的右眼视点PR，使得使用者700的右眼ER所观看到的图像P11可对准于背景物600。
随着头戴式装置300的切换，处理装置400可以控制可透光显示装置100 交替显示图像P11于左眼视点PL与右眼视点PR。如此一来，在观看可透光显示装置100时，使用者700的左眼EL与右眼ER没有视差的负担。以下更搭配流程图详细说明上述各项元件的运作。
请参照图5，其示出根据一实施例的可透光显示***1000的图像输出方法的流程图。在步骤S110中，图像检测装置200检测使用者700、可透光显示装置100及背景物600的位置。在背景物600有多个时，图像检测装置200 可以利用使用者700所注视的方向检测出使用者700所注视的背景物600的位置。
接着，在步骤S120中，处理装置400的坐标转换关系建立单元410建立使用者700、可透光显示装置100与背景物600的坐标转换关系CT。请参照图6，其示例说明坐标转换关系CT。在此步骤中，通过坐标转换关系CT可以将世界三维坐标***的双眼中点E沿着方向D76投影至可透光显示装置100的显示平面二维坐标***的投影视点P。世界三维坐标***例如是真实世界的立体空间坐标***，世界三维坐标***之单位例如是公尺，世界三维坐标***具有预定的原点Ow与三个坐标轴Xw、Yw、Zw。显示平面二维坐标***例如是由可透光显示装置100的各像素所组成的二维坐标***，显示平面二维坐标***的单位为像素，显示平面二维坐标***具有位于左上角的原点Ouv与两个坐标轴 U、V。通过坐标转换关系CT可以将双眼中点E投影至投影视点P。在坐标转换关系CT之下，若再搭配偏移校正技术，则可将投影视点P偏移为左眼视点PL 与右眼视点PR。以下先说明坐标转换关系CT的内容，偏移校正的技术则说明于步骤S140中。
坐标转换关系CT例如是以下关系式(1)：
Figure BDA0002643568260000041
其中，在世界三维坐标***中，双眼中点E具有坐标(xw，yw，zw)，在显示平面二维坐标***中，投影视点P具有坐标(u，v)，使用者700与背景物600之间存在距离zc，可透光显示装置100的像素具有宽度dx，可透光显示装置100的像素具有高度dy。在显示平面二维坐标***中，可透光显示装置100的中心点具有坐标(u0，v0)，可透光显示装置100与背景物600之间存在距离f，旋转矩阵 R与偏移向量T示出于图8B。
以下进一步搭配详细流程图来说明坐标转换关系CT的运算。请参照图7 及图8A至图8E，图7示出步骤S120的细节流程图，图8A至图8E示例说明图7的各步骤。请参照图8A及表一，其说明各个坐标***的原点与坐标轴。
Figure BDA0002643568260000051
表一
请参照图8B，在步骤S121中，将使用者700的双眼中点E由世界三维坐标***转换为图像检测装置三维坐标***。图像检测装置三维坐标***的原点 Oc为背景物600。从世界三维坐标***的坐标(xw，yw，Zw)转换到图像检测装置三维坐标***的坐标(xc，yc，zc)时，需要利用旋转矩阵R与偏移向量T进行旋转与平移，其属于刚体转换，物体不会发生形变。
请参照图8C，某一坐标***绕坐标轴C旋转θ度时，坐标(a′，b′，c′)通过下式(2)转换至坐标(a，b，c)。
Figure BDA0002643568260000052
上式(2)可以改为下式(3)。
Figure BDA0002643568260000053
同理，某一坐标***绕坐标轴A旋转
Figure BDA0002643568260000067
度时，坐标(a′，b′，c′)通过下式(4) 转换至坐标(a，b，c)。
Figure BDA0002643568260000061
同理，某一坐标***绕坐标轴B旋转
Figure BDA0002643568260000069
度时，坐标(a′，b′，c′)通过下式(5) 转换至坐标(a，b，c)。
Figure BDA0002643568260000062
所以若某一坐标***同时绕坐标轴C旋转θ度、绕坐标轴旋转
Figure BDA0002643568260000068
度、绕坐标轴B旋转
Figure BDA00026435682600000610
度，则，坐标(a′，b′，c′)通过下式(6)转换至坐标(a，b，c)。
Figure BDA0002643568260000063
世界三维坐标***转换至图像检测装置三维坐标***时，不仅可进行三个坐标轴的旋转，更可沿坐标轴Zw平移z0、沿坐标轴Xw平移x0、沿坐标轴Yw平移y0，故世界三维坐标***的坐标(xw，yw，zw)可通过下式(7)转换至图像检测装置三维坐标***的坐标(xc，yc，zc)。
Figure BDA0002643568260000064
上式(7)可以进一步改写成下式(8)。
Figure BDA0002643568260000065
其中，旋转矩阵R是一个3×3矩阵，偏移向量T是一个3×1矩阵，
Figure BDA0002643568260000066
是一个4×4矩阵。世界三维坐标***的坐标(xw，yw，zw)即可通过上式(8)转换至图像检测装置三维坐标***的坐标(xc，yc，zc)。
接着，请参照图8D，在步骤S122中，将双眼中点E由图像检测装置三维坐标***投影至可透光显示装置100的像平面二维坐标***，以取得投影视点P。双眼中点E目前已转换为图像检测装置三维坐标***。在图像检测装置三维坐标***中，投影视点P具有坐标(xc，yc，zc)。如图8D所示，图像检测装置三维坐标***具有原点Oc，沿着双眼中点E与原点Oc的连线可以在可透光显示装置100取得投影视点P。像平面二维坐标***具有原点Oxy，原点Oxy为可透光显示装置100的中心点。图8D上的原点Oc、原点Oxy、投影视点P、点L、点M、点N满足下式(9)的几何关系。
Figure BDA0002643568260000071
上式(9)可以换算出下式(10)的边长关系。
Figure BDA0002643568260000072
上式(10)可以换算出下式(11)。
Figure BDA0002643568260000073
原点Oc与原点Oxy之间存在距离f，即为可透光显示装置100与背景物600 的距离f。
上式(11)可以进一步改写成下式(12)。
Figure BDA0002643568260000074
图像检测装置三维坐标***的坐标(xc，yc，zc)可利用上式(12)投影为像平面二维坐标***的坐标(x，y)，即投影视点P。
然后，请参照图8E，在步骤S123中，将投影视点P由像平面二维坐标***转换至显示平面二维坐标***。像平面二维坐标***的原点Oxy为可透光显示装置100的中心点，显示平面二维坐标***的原点Ouv为可透光显示装置100的左上角。在显示平面二维坐标***中，可透光显示装置100的中心点具有坐标 (u0，v0)，每个像素具有宽度dx，每个像素具有高度dy。投影视点P在像平面二维坐标***的坐标(x，y)与在显示平面二维坐标***的坐标(u，v)具有下式 (13)的关系。
Figure BDA0002643568260000075
上式(13)可以进一步转换为下式(14)。
Figure BDA0002643568260000076
步骤S121～S123的式(8)、式(12)、式(14)可以整合为下式(15)，式(15)即为式(1)的坐标转换关系CT。
Figure BDA0002643568260000081
获得上述坐标转换关系CT之后，进入图5的步骤S130。
在步骤S130中，图像检测装置200检测使用者700的双眼中点E及双眼偏心距D。不同的使用者700的双眼中点E及双眼偏心距D会有所不同，故需要在运作过程中进行检测。请参照图9，其示例说明步骤S130、S140。如图9所示，双眼偏心距D为双眼间距的一半，即双眼中点E至左眼EL或右眼ER的距离。
在步骤S140中，处理装置400的视点计算单元420依据坐标转换关系CT、双眼中点E及双眼偏心距D，计算使用者700于可透光显示装置100的左眼视点 PL与右眼视点PR。若将双眼中点E代入坐标转换关系CT，可以获得的是投影视点P。配合使用者700的左眼EL的视线，让投影视点P偏移至左眼视点PL。配合使用者700的右眼ER的视线，让投影视点P偏移至右眼视点PR。在此步骤中，可以让可透光显示装置100的中心点向右以偏移量D(t)偏移，即可让计算出来的投影视点P偏移至左眼视点PL；让可透光显示装置100的中心点向左以偏移量D(t)偏移量，即可让计算出来的投影视点P偏移至右眼视点PR。偏移量 D(t)例如是下式(16)。
Figure BDA0002643568260000082
其中，h为可透光显示装置100的显示频率，t为时间。偏移量D(t)为随时间变化的函数。
也就是说，上式(15)可以加入偏移校正后改写为下式(17)。
Figure BDA0002643568260000083
通过上式(17)即可计算出随时间切换的左眼视点PL与右眼视点PR。
然后，在步骤S150中，处理装置400的图像控制单元430随着头戴式装置 300的切换，交替显示图像P11于左眼视点PL与右眼视点PR。在此步骤中，左眼视点PL与右眼视点PR的交替频率可相同于头戴式装置300的切换频率。如此一来，在观看可透光显示装置100时，使用者700的左眼EL与右眼ER可没有视差的负担。在一实施例中，交替显示图像P11于左眼视点PL与右眼视点PR 的步骤中，左眼视点PL与右眼视点PR的交替频率相关于可透光显示装置100 的显示频率。
请参照图10，其示出根据另一实施例的使用者700的左眼EL与右眼ER的示意图。在图10的实施例中，使用者700的双眼连线L7可能具有倾斜角度β。此时，上述的式(17)可以修正为式(18)，以使左眼视点PL与右眼视点PR的计算更为准确。
Figure BDA0002643568260000091
请参照图11及图12，图11示出根据另一实施例的图像输出方法的流程图，图12示例说明图11的图像P11’。在此实施例中，图像输出方法还包括步骤 S210。在步骤S210中，图像控制单元430可以依据左眼视点PL或右眼视点PR，将图像P11’进行不同的立体化形变，可使图像P11’具有立体感。在立体化形变中，根据人眼与背景物连线和可透光显示装置100的夹角决定图像P11’的显示角度，让使用者感觉图像P11’会随着背景物位置的不同改变其角度，具有立体化的效用。
请参照图13及图14，图13示出根据另一实施例的图像输出方法的流程图，图14示例说明图13的图像P11”。在此实施例中，图像输出方法还包括步骤 S310。在步骤S310中，图像控制单元430可以依据左眼视点或右眼视点，将图像P11”的对象P11a与对象P11b的遮蔽情况进行不同的变化，可使图像P11”产生立体视觉。举例来说，左眼与右眼因角度不同，有可能右眼同时看到前后两个物体，但左眼因观看角度不同可能只看到前方的物体，后方的物体则被前方物体所遮蔽，故对左眼与右眼进行遮蔽变化的调整，可使图像P11”产生立体视觉。
根据上述实施例，针对左眼EL的视线，图像P11、P11’、P11”可以显示于特定左眼视点PL，使得使用者700的左眼EL所观看到的图像P11、P11’、P11”可对准于背景物600。针对右眼ER的视线，图像P11、P11’、P11”可以显示于特定右眼视点PR，使得使用者700的右眼ER所观看到的图像P11、P11’、P11”可对准于背景物600。随着头戴式装置300的切换，处理装置400可以控制可透光显示装置100交替显示图像P11、P11’、P11”于左眼视点PL与右眼视点PR。如此一来，在观看可透光显示装置100时，使用者700的左眼EL与右眼ER可没有视差的负担。
综上所述，虽然本公开已以实施例公开如上，然其并非用以限定本公开。本公开所属技术领域中具有通常知识者，在不脱离本公开的精神和范围内，当可作各种的更动与润饰。因此，本公开的保护范围当视后附的权利要求书及其均等范围所界定者为准。
【符号说明】
100，910：可透光显示装置
200：图像检测装置
300：头戴式装置
310：左眼视窗
320：右眼视窗
400：处理装置
410：坐标转换关系建立单元
420：视点计算单元
430：图像控制单元
500：存储装置
600，960：背景物
700，970：使用者
1000：可透光显示***
CT：坐标转换关系
D：双眼偏心距
D76：方向
D(t)：偏移量
dx：宽度
dy：高度
E：双眼中点
EL：左眼
ER：右眼
f，zc：距离
L，M，N：点
L7：双眼连线
Oc，Ouv，Oxy，Ow：原点
P：投影视点
P70，P80，P11，P11’，P11”：图像
P11a，P11b：对象
PL：左眼视点
PR：右眼视点
R：旋转矩阵
S110，S120，S121，S122，S123，S130，S140，S150，S210，S310：步骤
T：偏移向量
β：倾斜角度
θ：角度
Xw，Yw，Zw，Xc，Yc，Zc，A，A’，B，B’，C，C’，U，V，X，Y：坐标轴
(xc，yc，zc)，(xw，yw，zw)，(x，y)，(u，v)，(u0，v0)，(a，b，c)，(a′，b′，c′)：坐标。

Claims (20)

1.一种可透光显示***的图像输出方法，可透光显示装置位于背景物与使用者之间，该图像输出方法包括：
检测该使用者、该可透光显示装置及该背景物的位置；
建立该使用者、该可透光显示装置与该背景物的坐标转换关系；
检测该使用者的双眼中点及双眼偏心距；
依据该坐标转换关系、该双眼中点及该双眼偏心距，计算该使用者于该可透光显示装置的左眼视点与右眼视点；以及
随着头戴式装置的切换，交替显示图像于该左眼视点与该右眼视点。
2.如权利要求1所述的可透光显示***的图像输出方法，其中在检测该使用者、该可透光显示装置及该背景物的位置的步骤中，利用该使用者所注视的方向检测该背景物的位置。
3.如权利要求1所述的可透光显示***的图像输出方法，其中建立该使用者、该可透光显示装置与该背景物的该坐标转换关系的步骤包括：
将该使用者的双眼中点由世界三维坐标***转换为图像检测装置三维坐标***，该图像检测装置三维坐标***的原点为该背景物；
将该双眼中点由该图像检测装置三维坐标***投影至该可透光显示装置的像平面二维坐标***，以取得投影视点；以及
将该投影视点由该像平面二维坐标***转换至显示平面二维坐标***。
4.如权利要求1所述的可透光显示***的图像输出方法，其中在依据该坐标转换关系与该双眼偏心距，计算该使用者于该可透光显示装置的该左眼视点与该右眼视点的步骤中，还依据该使用者的双眼连线倾斜角度计算该使用者于该可透光显示装置的该左眼视点与该右眼视点。
5.如权利要求1所述的可透光显示***的图像输出方法，其中在交替显示该图像于该左眼视点与该右眼视点的步骤中，该左眼视点与该右眼视点的交替频率相同于该头戴式装置的切换频率。
6.如权利要求1所述的可透光显示***的图像输出方法，其中在交替显示该图像于该左眼视点与该右眼视点的步骤中，该左眼视点与该右眼视点的交替频率相关于可透光显示装置的显示频率。
7.如权利要求1所述的可透光显示***的图像输出方法，其中在建立该使用者、该可透光显示装置与该背景物的该坐标转换关系的步骤中，该坐标转换关系相关于该可透光显示装置与该背景物的距离或相关于该使用者与该背景物的距离。
8.一种可透光显示***，包括：
可透光显示装置，位于背景物与使用者之间；
图像检测装置，用以检测该使用者的位置、该可透光显示装置的位置、该背景物的位置、该使用者的双眼中点及该使用者的双眼偏心距；
头戴式装置；以及
处理装置，包括：
坐标转换关系建立单元，用以建立该使用者、该可透光显示装置与该背景物的坐标转换关系；
视点计算单元，用以依据该坐标转换关系、该双眼中点与该双眼偏心距，计算该使用者于该可透光显示装置的左眼视点与右眼视点；及
图像控制单元，用以随着该头戴式装置的切换，控制该可透光显示装置交替显示图像于该左眼视点与该右眼视点。
9.如权利要求8所述的可透光显示***，其中该图像检测装置利用该使用者所注视的方向检测该背景物的位置。
10.如权利要求8所述的可透光显示***，其中该坐标转换关系建立单元将该使用者的双眼中点由世界三维坐标***转换为图像检测装置三维坐标***，该图像检测装置三维坐标***的原点为该背景物；该坐标转换关系建立单元还将该双眼中点由该图像检测装置三维坐标***投影至该可透光显示装置的像平面二维坐标***，以取得投影视点；该坐标转换关系建立单元更将该投影视点由该像平面二维坐标***转换至显示平面二维坐标***。
11.如权利要求8所述的可透光显示***，其中该视点计算单元还依据该使用者的双眼连线倾斜角度计算该使用者于该可透光显示装置的该左眼视点与该右眼视点。
12.如权利要求8所述的可透光显示***，其中该左眼视点与该右眼视点的交替频率相同于该头戴式装置的切换频率或该左眼视点与该右眼视点的交替频率相关于可透光显示装置的显示频率。
13.如权利要求12所述的可透光显示***，其中该坐标转换关相关于该可透光显示装置与该背景物的距离，或相关于该使用者与该背景物的距离。
14.一种处理装置，用以控制可透光显示***，该可透光显示***包括可透光显示装置、图像检测装置及头戴式装置，该可透光显示装置位于背景物与使用者之间，该图像检测装置用以检测该使用者的位置、该可透光显示装置的位置、该背景物的位置、该使用者的双眼中点及该使用者的双眼偏心距，该处理装置包括：
坐标转换关系建立单元，用以建立该使用者、该可透光显示装置与该背景物的坐标转换关系；
视点计算单元，用以依据该坐标转换关系、该双眼中点与该双眼偏心距，计算该使用者于该可透光显示装置的左眼视点与右眼视点；以及
图像控制单元，用以随着该头戴式装置的切换，控制该可透光显示装置交替显示图像于该左眼视点与该右眼视点。
15.如权利要求14所述的处理装置，其中该图像检测装置利用该使用者所注视的方向检测该背景物的位置。
16.如权利要求14所述的处理装置，其中该坐标转换关系建立单元将该使用者的双眼中点由世界三维坐标***转换为图像检测装置三维坐标***，该图像检测装置三维坐标***的原点为该背景物；该坐标转换关系建立单元还将该双眼中点由该图像检测装置三维坐标***投影至该可透光显示装置的像平面二维坐标***，以取得投影视点；该坐标转换关系建立单元更将该投影视点由该像平面二维坐标***转换至显示平面二维坐标***。
17.如权利要求14所述的处理装置，其中该视点计算单元还依据该使用者的双眼连线倾斜角度计算该使用者于该可透光显示装置的该左眼视点与该右眼视点。
18.如权利要求14所述的处理装置，其中该左眼视点与该右眼视点的交替频率相同于该头戴式装置的切换频率。
19.如权利要求14所述的处理装置，其中该左眼视点与该右眼视点的交替频率相关于可透光显示装置的显示频率。
20.如权利要求14所述的处理装置，其中该坐标转换关系相关于该可透光显示装置与该背景物的距离，或相关于该使用者与该背景物的距离。
CN202010847487.2A 2020-07-22 2020-08-21 可透光显示***及其图像输出方法与处理装置 Active CN113973199B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109124730 2020-07-22
TW109124730A TWI766316B (zh) 2020-07-22 2020-07-22 可透光顯示系統及其圖像輸出方法與處理裝置

Publications (2)

Publication Number Publication Date
CN113973199A true CN113973199A (zh) 2022-01-25
CN113973199B CN113973199B (zh) 2024-03-26

Family

ID=79585025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010847487.2A Active CN113973199B (zh) 2020-07-22 2020-08-21 可透光显示***及其图像输出方法与处理装置

Country Status (3)

Country Link
US (1) US11394953B2 (zh)
CN (1) CN113973199B (zh)
TW (1) TWI766316B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271534A (ja) * 1997-03-26 1998-10-09 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置
JP2011165068A (ja) * 2010-02-12 2011-08-25 Nec System Technologies Ltd 画像生成装置、画像表示システム、画像生成方法、及びプログラム
JP2011250352A (ja) * 2010-05-31 2011-12-08 Olympus Visual Communications Corp ３次元画像データ生成方法
WO2012147363A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 画像生成装置
US20130016102A1 (en) * 2011-07-12 2013-01-17 Amazon Technologies, Inc. Simulating three-dimensional features
CN102908783A (zh) * 2012-08-20 2013-02-06 友达光电股份有限公司 娱乐显示***及其互动式立体显示方法
US20160007011A1 (en) * 2014-07-01 2016-01-07 Nlt Technologies, Ltd. Stereoscopic image display device
CN105719586A (zh) * 2016-03-18 2016-06-29 京东方科技集团股份有限公司 透明显示方法和透明显示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6843563B2 (en) 2002-07-31 2005-01-18 Bausch And Lomb, Inc. Smoothly blended optical surfaces
TWI429275B (zh) 2011-05-12 2014-03-01 Himax Tech Ltd 產生立體視覺效果之方法與應用此方法之立體眼鏡和系統
TWI509289B (zh) 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
CN104883556B (zh) 2015-05-25 2017-08-29 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
JP6681467B2 (ja) * 2016-06-08 2020-04-15 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP6584664B2 (ja) * 2016-06-08 2019-10-02 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
TW201842782A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP7087481B2 (ja) * 2018-03-13 2022-06-21 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271534A (ja) * 1997-03-26 1998-10-09 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置
JP2011165068A (ja) * 2010-02-12 2011-08-25 Nec System Technologies Ltd 画像生成装置、画像表示システム、画像生成方法、及びプログラム
JP2011250352A (ja) * 2010-05-31 2011-12-08 Olympus Visual Communications Corp ３次元画像データ生成方法
WO2012147363A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 画像生成装置
US20130016102A1 (en) * 2011-07-12 2013-01-17 Amazon Technologies, Inc. Simulating three-dimensional features
CN102908783A (zh) * 2012-08-20 2013-02-06 友达光电股份有限公司 娱乐显示***及其互动式立体显示方法
US20160007011A1 (en) * 2014-07-01 2016-01-07 Nlt Technologies, Ltd. Stereoscopic image display device
CN105719586A (zh) * 2016-03-18 2016-06-29 京东方科技集团股份有限公司 透明显示方法和透明显示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨嘉琛;安坤;王斌;: "立体图像中间视点生成算法", 天津大学学报, no. 04, 15 April 2011 (2011-04-15) *

Also Published As

Publication number Publication date
CN113973199B (zh) 2024-03-26
TW202205851A (zh) 2022-02-01
TWI766316B (zh) 2022-06-01
US20220030216A1 (en) 2022-01-27
US11394953B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
US10192361B2 (en) Head-mounted display device and computer program
US9554126B2 (en) Non-linear navigation of a three dimensional stereoscopic display
US9711114B1 (en) Display apparatus and method of displaying using projectors
US9191661B2 (en) Virtual image display device
US9848184B2 (en) Stereoscopic display system using light field type data
TWI459035B (zh) 立體影像顯示裝置及其驅動方法
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
WO2020019548A1 (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
US10606347B1 (en) Parallax viewer system calibration
CN103392342A (zh) 视区调整的方法和装置、能实现立体显示视频信号的设备
US20220172319A1 (en) Camera-based Transparent Display
JP4052357B2 (ja) 仮想環境体験表示装置
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
JP2000310826A (ja) 仮想環境体験表示装置
CN107592520B (zh) Ar设备的成像装置及成像方法
Yasugi et al. Development of aerial interface by integrating omnidirectional aerial display, motion tracking, and virtual reality space construction
CN113973199B (zh) 可透光显示***及其图像输出方法与处理装置
US10296098B2 (en) Input/output device, input/output program, and input/output method
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN111965826A (zh) 智能眼镜的控制方法、装置、存储介质及智能眼镜
JP2007323093A (ja) 仮想環境体験表示装置
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
US11144194B2 (en) Interactive stereoscopic display and interactive sensing method for the same
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
WO2022185719A1 (ja) 情報処理装置、情報処理方法、及び、表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant