CN112614231A - 信息显示方法与信息显示*** - Google Patents

信息显示方法与信息显示*** Download PDF

Info

Publication number
CN112614231A
CN112614231A CN202010026195.2A CN202010026195A CN112614231A CN 112614231 A CN112614231 A CN 112614231A CN 202010026195 A CN202010026195 A CN 202010026195A CN 112614231 A CN112614231 A CN 112614231A
Authority
CN
China
Prior art keywords
totem
image
image data
information
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010026195.2A
Other languages
English (en)
Inventor
张若兰
王必先
张志嘉
林郁欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN112614231A publication Critical patent/CN112614231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种信息显示方法与信息显示***。信息显示方法适用于包括第一图像提取装置与透明显示器的信息显示***，所述方法包括下列步骤。藉由第一图像提取装置拍摄呈现在实体物件上的图腾而获取图腾图像，其中实体物件位于透明显示器的一侧。依据图腾图像获取透明显示器与图腾之间的相对位置信息。依据相对位置信息取得扩增图像数据。藉由透明显示器显示扩增图像数据，其中扩增图像数据包括基于实体物件而扩增的虚拟物件。

Description

信息显示方法与信息显示***
技术领域
本公开涉及一种信息显示方法与信息显示***。
背景技术
透明显示器依其技术原理，可分为穿透式透明显示器与投影式透明显示器。透明显示器具有透明、轻薄等特性，可将显示器上显示的虚拟图像与现实世界的场景结合，赋予使用者一种直观且直觉的视觉体验。透明显示器可导入车用抬头显示器、自动贩卖机、商品橱窗、博物馆展品导览、观光车辆导览、医疗产业等应用中。观看者不仅可通过透明显示器观看到实体物件，同时也可在透明显示器上看到迭合在实体物件上或显示在其周围的虚拟信息。藉由透明显示器将虚拟信息投射到现实世界中，可增加使用者对于周遭环境的认知与理解。
由于透明显示器上显示的虚拟信息是基于实体物件而扩增，因而虚拟信息与实体物件的迭合度将直接影响观看者的观看体验。举例而言，若透明显示器将包括第一实体物件的相关信息的虚拟信息迭合显示于第二实体物件的周围或上方，将导致观看者产生误解。尤其是，在透明显示器可动态移动的情况下，透明显示器与实体物件之间的相对位置、旋转幅度、倾斜角度等等几何位置关系无法精准确认，因而导致虚拟信息无法准确地显示于适当位置，从而造成透明显示器上所呈现的虚拟信息难以与实体物件精准地迭合。
发明内容
本公开一实施例提供一种信息显示方法，适用于包括第一图像提取装置与透明显示器的信息显示***，所述方法包括下列步骤。藉由第一图像提取装置拍摄呈现在实体物件上的图腾而获取图腾图像，其中实体物件位于透明显示器的一侧。依据图腾图像获取透明显示器与图腾之间的相对位置信息。依据相对位置信息取得扩增图像数据。藉由透明显示器显示扩增图像数据，其中扩增图像数据包括基于实体物件而扩增的虚拟物件。
本公开一实施例提供一种信息显示***，其包括至少一图腾、透明显示器、第一图像提取装置以及处理装置。第一图像提取装置拍摄呈现在实体物件上的图腾而获取图腾图像，其中实体物件位于透明显示器的一侧。处理装置耦接透明显示器与第一图像提取装置，处理装置经配置以执行以下步骤：依据图腾图像获取透明显示器与图腾之间的相对位置信息；依据相对位置信息取得扩增图像数据；以及藉由透明显示器显示扩增图像数据，其中扩增图像数据包括基于实体物件而扩增的一虚拟物件。
为让本公开能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本公开一实施例的信息显示***的示意图。
图2是依照本公开一实施例的信息显示***的情境示意图。
图3是依照本公开一实施例的信息显示方法的流程图。
图4是依照本公开一实施例的信息显示方法的流程图。
图5为依据本公开一实施例的计算深度值的示意图。
图6是依照本公开一实施例的信息显示方法的相机校正程序的流程图。
图7是依照本公开一实施例的信息显示***的示意图。
图8是依照本公开一实施例的种信息显示方法的流程图。
图9A至9C是依照本公开一实施例的信息显示***的情境示意图。
图10是依照本公开一实施例的信息显示***的示意图。
图11是依照本公开一实施例的信息显示方法的流程图。
图12是依照本公开一实施例的信息显示方法的流程图。
图13A与13B是依照本公开一实施例的依据视线向量决定显示内容的情境示意图。
【符号说明】
10、20、30：信息显示***
110：透明显示器
120：第一图像提取装置
130：处理装置
131：处理器
132：存储装置
P1：图腾
C1：角点
Obj_v1：虚拟物件
Obj_r1：实体物件
U1、U2：观看者
P1_1：第一图腾
P1_2：第二图腾
Obj_v11：第一虚拟物件
Obj_v12：第二虚拟物件
140：第二图像提取装置
P2_1、P2_2：观看者图腾
D1、D2：法线方向
E1、E2：视线向量
S310～S340、S410～S440、S610～S640、S810～S860、S1110～S1170、S1210～S1260：步骤
具体实施方式
本公开的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本公开的一部分，并未揭示所有本公开的可实施方式。更确切的说，这些实施例只是本公开中的信息显示方法以及信息显示***的范例。
图1是依照本公开一实施例的信息显示***的示意图。请参照图1，信息显示***10包括至少一图腾P1，透明显示器110、第一图像提取装置120与处理装置130。处理装置130耦接透明显示器110与第一图像提取装置120。
图腾P1可印制于一可粘贴式载体上或显示于一电子纸上，而呈现有图腾P1的可粘贴式载体或电子纸可位于实体物件Obj_r1的一预设位置上。图腾P1具有多个特征点(例如角点C1)，以利后续用于辨识图腾P1与透明显示器110之间的相对位置信息。在本公开一实施例中，图腾P1可包括一个以上的一维条码、二维条码或其他可辨识图样，但本公开对此不限制。
透明显示器110是具有一定程度的光线穿透性的显示器，人类使用者观看时能够呈现出显示器相对于观看者另一侧的景物，例如是薄膜晶体管液晶显示器(Thinfilmtransistor liquid crystal display，TFT-LCD)、场色序(Field sequential color)显示器、主动式有机发光显示器(Active matrix organic light emitting display，AMOLED)、电湿润显示器等穿透式透明显示器，或者是投影式透明显示器。
第一图像提取装置120适于执行图像感测功能。在本公开的一实施例中，第一图像提取装置120可包括镜头以及感光元件，用以朝呈现在实体物件Obj_r1上的图腾P1拍摄图腾图像。感光元件用以感测进入透镜的光线强度，进而产生图像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本公开不在此设限。在本公开一实施例中，第一图像提取装置120设置在透明显示器110上，因而第一图像提取装置120在三维空间中的位置与拍摄方向将随着透明显示器110的移动而改变。
处理装置130包括一个或多个处理器(以下以处理器131为代表进行说明)以及一个或多个存储装置(以下以存储装置132为代表进行说明)。处理装置130可由计算机主机、服务器或具有数据运算能力的计算机装置来实现。此外，处理装置130可由一台或多台电子装置实现，本公开对此不限制。
处理器131例如是中央处理单元(central processing unit，CPU)，或是其他可编程之一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignal processor，DSP)、可编程控制器、特殊应用集成电路(application specificintegrated circuits，ASIC)、可编程逻辑装置(programmable logic device，PLD)或其他类似装置或这些装置的组合。处理器131用以执行存储装置132所记录的指令或程序。
存储装置132可以是任何类型的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flashmemory)或类似元件或上述元件的组合。存储装置132用以存储图像数据与可供处理器131存取并执行的程序或指令。
以下实施例中将搭配显示***10的各元件来说明信息显示方法***与信息显示方法的实施细节。
图2是依照本公开一实施例的信息显示***的情境示意图。请参照图2，在本公开一实施例中，第一图像提取装置120可例如固定设置在透明显示器110上侧的中间，并用以朝透明显示器110后方的实体物件Obj_r1进行图像感测功能，但本公开不限制于此。于其他实施例中，第一图像提取装置120可设置在透明显示器110的左侧、右侧或下侧。此外，透明显示器110设置在观看者U1与实体物件Obj_r1之间。基此，观看者U1可通过透明显示器110观看到实体物件Obj_r1，并可同时观看到由透明显示器110所显示的包括虚拟物件Obj_v1的扩增图像数据。
如图2所示，实体物件Obj_r1上呈现有至少一图腾P1，第一图像提取装置120朝图腾P1拍摄图腾图像。在第一图像提取装置120提取图腾图像之后，处理装置130可分析图腾图像中的图腾信息来计算出图腾P1与透明显示器110之间的相对位置信息，并依据相对位置信息取得对应的扩增图像数据。
具体而言，随着透明显示器110的位置或摆放角度发生改变，图腾P1与透明显示器110之间的相对位置信息将对应改变。对应的，响应于图腾P1与透明显示器110之间的相对位置信息改变，透明显示器110也将调整扩增图像数据中虚拟物件Obj_v1的显示位置。换句话说，透明显示器110的显示画面中虚拟物件Obj_v1的显示位置是依据图腾P1与透明显示器110之间的相对位置信息而决定。藉此，观看者U1观看透明显示器110时，透明显示器110所显示的虚拟物件Obj_v1可迭合于实体物件Obj_r1上，从而提升观看者的观看体验。
图3是依照本公开一实施例的信息显示方法的流程图。图3所述的方法流程可结合图1所示的信息显示***10来实现。请同时参照图1、图2及图3。
在步骤S310，藉由第一图像提取装置120拍摄呈现在实体物件Obj_r1上的图腾P1而获取图腾图像。如图2所示，实体物件Obj_r1位于透明显示器110后侧，而观看者U1位于透明显示器110的前侧。第一图像提取装置120的提取方向朝向透明显示器110的后侧。在步骤S320，藉由处理装置130依据图腾图像获取透明显示器110与图腾P1之间的相对位置信息。于此，透明显示器110与图腾P1之间的相对位置信息可包括距离信息、角度信息或坐标信息等等。
需特别说明的是，图腾P1的实际尺寸可依据第一图像提取装置120的解析度而设计。图腾P1可以贴附于实体物件Obj_r1上，图腾P1的载体表面可能因而不平整，导致计算出具有误差的相对位置信息。若能缩小图腾P1的实际尺寸，可降低图腾P1的载体表面的变形程度，因而提升相对位置信息的计算准确度。然而，若图腾P1的实际尺寸过小，也将导致图腾图像中图腾特征不足而无法准确计算相对位置信息。在本公开的一实施例中，图腾P1的实际尺寸可依据第一图像提取装置120的解析度而设计，以有效降低图腾P1的载体表面的变形程度并避免图腾特征不足的状况。
接着，在步骤S330，藉由处理装置130依据相对位置信息取得扩增图像数据。于此，处理装置130可依据相对位置信息运算出扩增图像数据，或者依据相对位置信息自图像数据库取出事前建立的扩增图像数据。进一步而言，通过依据相对位置信息对一基础图像进行几何变换，处理装置130可获取对应至不同相对位置信息的扩增图像数据。上述几何变换可包括缩放处理、旋转处理、平移处理、仿射变换或其他几何映射变换等等。在步骤S340，藉由透明显示器110显示扩增图像数据。扩增图像数据包括基于实体物件Obj_r1而扩增的虚拟物件Obj_v1。由此可知，透明显示器110所显示的扩增图像数据是依据透明显示器110与图腾P1之间的相对位置信息而决定的。
在一医疗应用情境中，实体物件Obj_r1可为一人体，而观看者U1可为医护人员。图腾P1可例如是贴附于人体的预设部位上。透明显示器110可显示医疗相关信息，像是器官信息或手术信息等等。在需要透明显示器110提供人体的医疗相关信息时，医护人员可将透明显示器110摆设在自身与实体物件Obj_r1之间，通过透明显示器110同时观看人体与基于此人体扩增的虚拟物件Obj_v1。在不需要透明显示器110提供人体的医疗相关信息时，医护人员可将透明显示器110移开。由此可见，医护人员可能在临床教学或手术过程中来回移动透明显示器110。在本公开一实施例中，处理装置130可依据透明显示器110与图腾P1之间的相对位置信息决定扩增图像数据，即便透明显示器110动态移动，但基于人体扩增的虚拟物件Obj_v1依然可与人体迭合。举例而言，假设虚拟物件Obj_v1为心脏图资，即便透明显示器110被来回移动，医护人员还是可以看到透明显示器110所显示的心脏图资迭合于人体的心脏部位处。
图4是依照本公开一实施例的信息显示方法的流程图。图4所述的方法流程可结合图1所示的信息显示***10来实现。在图4的实施例中，相对位置信息可包括图腾P1于图像坐标系的图像坐标、图腾P1相距第一图像提取装置120的深度值与图腾P1的旋转角度。
请同时参照图1及图4，在步骤S410，藉由第一图像提取装置120拍摄呈现在实体物件Obj_r1上的图腾P1而获取图腾图像。需说明的是，在本公开一实施例中，处理装置130可对图腾图像进行图像校正，以校正可能发生镜头变形的图腾图像，致使处理装置130可依据经校正的图腾图像计算出更准确的相对位置信息。于此，取得相对位置信息的步骤S420可包括子步骤S421～S422。在步骤S421，藉由处理装置130依据图腾图像计算图腾P1在图像坐标系的图像坐标与图腾P1相距第一图像提取装置120的深度值。
具体而言，图腾P1的实际尺寸信息是已知的，通过比对图腾P1在图腾图像上的成像尺寸信息与图腾P1的实际尺寸信息，处理装置130可估计出图腾P1与第一图像提取装置120之间的距离(即深度值)。图腾P1的实际尺寸信息与成像尺寸信息可以是图腾P1的某两个图像特征点之间的长度信息，但本公开不限制于此。在本公开一实施例中，处理装置130可依据第一图像提取装置120的内部参数(intrinsic parameter)、图腾P1的实际尺寸信息，以及图腾P1在图腾图像上的成像尺寸信息来计算深度值。第一图像提取装置120的内部参数可包括第一图像提取装置120的焦距信息，而第一图像提取装置120的内部参数可经由相机校正程序而获取。
请参照图5，图5为依据本公开一实施例的计算深度值的示意图。基于相似三角形的原理，图腾P1的实际尺寸信息L1与深度值Z1之间的比例等比于图腾P1的成像尺寸信息L2与焦距信息f1之间的比例。基此，在处理装置130得知图腾P1的实际尺寸信息L1、焦距信息f1与图腾P1的成像尺寸信息L2的情况下，处理装置130可依据公式(1)取得图腾P1相距于第一图像提取装置120的深度值Z1。
L2＝f1*(L1/Z1)公式(1)
在本公开一实施例中，处理装置130可直接依据图腾P1于图腾图像中的成像位置(例如特定图腾特征的像素坐标)获取图腾P1于图像坐标系的图像坐标，即成像平面上的二维图像坐标。或者，在本公开一实施例中，处理装置130可依据图腾P1的世界坐标与第一图像提取装置120的内部参数计算出图腾P1在图像坐标系的图像坐标。详细而言，在图腾P1于世界坐标系(world coordinate system)的世界坐标已经藉由相机校正程序而标定为(Xw，Yw，Zw)的情况下，处理装置130可基于第一图像提取装置120的内部参数矩阵
Figure BDA0002362550980000081
计算出图腾P1投影于成像平面的二维图像坐标。在一实施详细而言，处理装置130可依据公式(2)与公式(3)获取图腾P1投影于成像平面的图像坐标(x，y)。
x＝(fx*Xw/Zw)+u0 公式(2)
y＝(fy*Yw/Zw)+v0 公式(3)
接着，在步骤S422，藉由处理装置130依据图腾图像计算图腾P1的旋转角度。图腾P1的旋转角度可视为呈现图腾P1的载体表面的法线方向，而上述法线方向可由三轴旋转角度量定义。在本公开一实施例中，处理装置130可依据图腾P1的多个图像特征点在图腾图像上呈现的几何关系计算出图腾P1的旋转角度。以图腾P1为矩形为例，处理装置130可依据图腾P1的两个实际边长与对应的成像边长计算出图腾P1的表面的法线方向(即图腾P1的旋转角度)。
在本公开一实施例中，处理装置130则可依据第一图像提取装置120的相机参数计算出图腾P1的旋转角度。详细而言，依据公式(4)，处理装置130可依据图腾P1的世界坐标(Xw，Yw，Zw)、图腾P1的图像坐标(x，y)，以及第一图像提取装置120的内部参数计算出第一图像提取装置120的外部参数矩阵。于此，图腾P1的世界坐标(Xw，Yw，Zw)与第一图像提取装置120的内部参数可经由先前执行的相机校正程序而获取。详细而言，在图腾P1于世界坐标系的世界坐标已经通过相机校正程序定位为(Xw，Yw，Zw)的情况下，处理装置130可基于第一图像提取装置120的内部参数矩阵与图腾P的图像坐标(x，y)计算出第一图像提取装置120的外部参数矩阵。于此，内部参数矩阵与外部参数矩阵用以描述图像坐标系与世界坐标系之间的变换关系。
Figure BDA0002362550980000082
其中，
Figure BDA0002362550980000083
为第一图像提取装置120的内部参数矩阵，而
Figure BDA0002362550980000084
为第一图像提取装置120的外部参数矩阵。外部参数矩阵包括旋转矩阵(rotation matrix)R与平移向量(translation vector)t。第一图像提取装置120的外部参数矩阵可用以表示第一图像提取装置120于世界坐标系中的位置与拍摄方向。
接着，处理装置130可依据第一图像提取装置120的外部参数矩阵计算出旋转角度。处理装置130可基于公式(5)而依据外部参数矩阵中的旋转矩阵R计算出三轴旋转角度量(φ，θ，ψ)，即图腾P1的旋转角度。其中，φ为对应于Z轴的旋转角度量；θ为对应于Y轴的旋转角度量；ψ为对应于X轴的旋转角度量。
Figure BDA0002362550980000091
在依据图腾图像获取相对位置信息之后，在步骤S430，藉由处理装置130依据图像坐标、深度值与旋转角度获取扩增图像数据。由此可知，显示的扩增图像数据是依据图像坐标、深度值与旋转角度对基础图像数据进行几何变换而产生。于此，基础图像数据对应至基准图像坐标、基准深度值以及基准旋转角度。扩增图像数据是依据基准图像坐标与图像坐标之间的坐标差异、基准深度值与深度值之间的深度差异以及基准旋转角度与旋转角度之间的角度差异对基础图像数据进行几何变换而产生。详细而言，处理装置130可依据坐标差异对基础图像数据进行平移处理；处理装置130可依据深度差异对基础图像数据进行缩放处理；处理装置130可依据旋转角度差异对基础图像数据进行旋转处理或仿射变换。需说明的是，扩增图像数据可依据前述几何变换进行实时运算而实时产生。或者，扩增图像数据可依据前述几何变换进行事先运算而记录于图像数据库中。因此，处理装置130可依据检测的图像坐标、深度值、旋转角度自图像数据库中挑选出对应的扩增图像数据。在步骤S440，藉由透明显示器110显示扩增图像数据于观看者U1与实体物件Obj_r1之间。
在本公开一实施例中，对基础图像数据进行几何变换的操作可事先执行而建立一图像数据库。也就是说，图像数据库中存储有对应至不同的预设图像坐标、不同的预设深度值以及不同的预设旋转角度的扩增图像数据。基此，处理装置130可依据基于图腾图像所产生的图像坐标、深度值以及旋转角度查询图像数据库而挑选出对应的扩增图像数据，以达到实时显示的效果。以下将列举实施例说明如何定义基础图像所对应的基准图像坐标、基准深度值以及基准旋转角度以及如何建立可供处理装置130进行实时查询的图像数据库。
图6是依照本公开一实施例的信息显示方法的相机校正程序的流程图。图6所述的方法流程可结合图1所示的信息显示***10来实现。请同时参照图1与图6。
首先，在步骤S610，藉由第一图像提取装置120拍摄呈现在实体物件Obj_r1上的图腾P1而获取校正图腾图像。接着，在步骤S620，处理装置130基于校正图腾图像定义关联于基础图像数据的基准图像坐标、基准深度值与基准旋转角度。详细而言，处理装置130可依据如图5所示的原理计算出图腾P1与第一图像提取装置120之间的基准深度。此外，处理装置130可分别定义基准图像坐标与基准旋转角度为对应的预设值。例如，处理装置130可定义基准图像坐标(xb，yb)为(0，0)并定义基准旋转角度(φb，θb，ψb)为(0，0，0)。在定义基准图像坐标(xb，yb)与基准旋转角度(φb，θb，ψb)为预设值的情况下，处理装置130可基于公式(4)标定图腾P1的世界坐标。
接着，在步骤S630，处理装置130依据关联于基础图像数据的基准深度值、基准图像坐标(xb，yb)与基准旋转角度(φb，θb，ψb)建立图像数据库。于此，处理装置130可依据经定义的基准深度值、基准图像坐标(xb，yb)与基准旋转角度(φb，θb，ψb)以及多个预设深度值、多个预设图像坐标、多个预设旋转角度对基础图像进行几何变换而产生相对应的扩增图像数据，从而建立可供日后查询的图像数据库。如同前述，处理装置130可依据多个预设深度值与基准深度值之间的深度差异、多个预设图像坐标与基准图像坐标之间的坐标差异、多个预设旋转角度与基准旋转角度之间的角度差异建立记录有多张预存扩增图像的图像数据库。换句话说，图像数据库中的每张预存扩增图像可对应至预设深度值其中之一、预设图像坐标其中之一以及多个预设旋转角度其中之一。基此，处理装置130可依据检测的深度值、图像坐标，以及旋转角度而自预存扩增图像挑选出可与实体物件Obj_r1迭合的扩增图像数据。
在步骤S640，处理装置130判断基础图像与实体物件Obj_r1之间的迭合程度是否符合特定条件。在本公开一实施例中，第一图像提取装置120可朝实体物件拍摄一实体物件图像，处理装置130对该实体物件图像进行图像辨识而找出需要迭合虚拟物件的迭合区域。接着，处理装置130计算基础图像中虚拟物件与实体物件图像的迭合区域之间的迭合程度百分比，并判断此数值化的迭合程度百分比是否大于迭合阈值。若步骤S640判断为否，观看者U1可调整透明显示器110的摆放位置与摆放角度，并回到步骤S610而重新建立图像数据库。若步骤S640判断为是，处理器130结束相机校正程序。相机校正程序可执行于如图3与图4所示的流程之前。藉由执行相机校正程序，处理装置130可获取基础图像所对应的基准图像坐标、基准深度值、基准旋转角度，并据以建立存储有对应至不同的预设图像坐标、不同的预设深度值以及不同的预设旋转角度的预存扩增图像的图像数据库。
在本公开一实施例中，图腾P1更可以包含虚拟物件信息。基此，处理装置130可依据图腾图像辨识图腾P1而获取图腾所对应的虚拟物件信息，并依据虚拟物件信息与相对位置信息自图像数据库选取扩增图像数据。举例而言，假设图腾P1为包括多个黑色方块与白色方块的二维条码，图腾P1为基于虚拟物件信息进行编码而产生。对应的，处理装置130可分析图腾P1并进行解码而取得对应的虚拟物件信息，致使透明显示器110可显示对应的扩增图像数据。虚拟物件信息可以是物件名称或物件ID等等。举例而言，处理装置130可辨识图腾P1而获得知图腾P1所对应的虚拟物件信息为“心脏”，处理装置130可依据相对位置信息与虚拟物件信息自图像数据库取得呈现有心脏信息的扩增图像数据。由此可知，图腾P1所夹带的虚拟物件信息可用以决定透明显示器110所显示的信息内容。由此可知，若实体物件Obj_r1上的图腾P1更换为另一图腾，透明显示器110将显示另一图腾所对应的虚拟物件。
值得一提的是，除了图腾P1的图腾特征可用以决定显示内容，在本公开一实施例中，处理装置130更可依据图腾P1附着于实体物件Obj_r1上的附着位置来决定显示内容。也就是说，处理装置130可依据图腾图像辨识图腾P1的附着位置而获取图腾所对应的虚拟物件信息，并依据虚拟物件信息与相对位置信息自图像数据库选取扩增图像数据。举例而言，当处理装置130判断P1附着于实体物件Obj_r1上的第一附着位置(例如邻近第一对肋骨的地方)时，处理装置130可依据第一附着位置所对应的虚拟物件信息(例如“第一对肋骨”)挑选出扩增图像数据，而透明显示器110也将显示包括第一对肋骨的扩增图像数据。当处理装置130判断P1附着于实体物件Obj_r1上的第二附着位置(例如邻近第五对肋骨的地方)时，处理装置130可依据第二附着位置所对应的虚拟物件信息(例如“第五对肋骨”)挑选出扩增图像数据，而透明显示器110也将显示包括第五对肋骨的扩增图像数据。
上述实施例是以一个图腾为范例进行说明，但本公开并不限制于此。在本公开一实施例中，实体物件Obj_r1上也可呈现多个图腾。以下列举实施例说明。图7是依照本公开一实施例的信息显示***的示意图。请参照图7，信息显示***20包括第一图腾P1_1与第二图腾P1_2、透明显示器110、第一图像提取装置120与处理装置130。处理装置130耦接透明显示器110与第一图像提取装置120。透明显示器110、第一图像提取装置120与处理装置130的操作与功能相似于图1实施例，在此不再赘述。需特别说明的是，信息显示***20包括两个图腾(即第一图腾P1_1与第二图腾P1_2)。
图8是依照本公开一实施例的信息显示方法的流程图。图8所述的方法流程可结合图7所示的信息显示***20来实现。请同时参照图7及图8。
在步骤S810，藉由第一图像提取装置120拍摄呈现在实体物件Obj_r1上的第一图腾P1_1与第二图腾P1_2而获取图腾图像。在步骤S820，藉由处理装置130依据图腾图像获取透明显示器110与第一图腾P1_1之间的第一相对位置信息与透明显示器110与第二图腾P1_2之间的第二相对位置信息。第一相对位置信息与第二相对位置信息的计算方式可如同前述说明，在此不再赘述。在步骤S830，藉由处理装置130依据图腾图像辨识第一图腾P1_1与第二图腾P1_2，以取得第一图腾P1_1所对应的第一虚拟物件信息与第二图腾P1_2所对应的第二虚拟物件信息。举例而言，第一虚拟物件信息可为“心脏”，而第二虚拟物件信息可为“胃”。
在步骤S840，藉由处理装置130依据第一虚拟物件信息与关联于第一图腾P1_1的第一相对位置信息自图像数据库选取第一子扩增图像数据。在步骤S850，藉由处理装置130依据第二虚拟物件信息与关联于第二图腾P1_2的第二相对位置信息自图像数据库选取第二子扩增图像数据。具体而言，在本公开一实施例中，图像数据库具有分别对应至不同的多个虚拟物件的子分类数据库。因此，当处理装置130取得第一图腾P1_1所对应的第一虚拟物件信息时，处理装置130可依据基于第一图腾P1_1的相对位置信息而自关联于第一虚拟物件的第一子分类数据库挑选出第一子扩增图像数据。当处理装置130取得第二图腾P1_2所对应的第二虚拟物件信息时，处理装置130可依据基于第二图腾P1_1的相对位置信息而自关联于第二虚拟物件的第二子分类数据库挑选出第二子扩增图像数据。接着，在步骤S860，藉由透明显示器110显示第一子扩增图像数据或/和第二子扩增图像数据。....显示第一子扩增图像数据或/和第二子扩增图像数据
图9A至9C是依照本公开一实施例的信息显示***的情境示意图。请先参照图9A，假设实体物件Obj_r1上仅呈现有第一图腾P1_1，处理装置130将计算第一图腾P1_1与透明显示器110之间的相对位置关系，并辨识第一图腾P1_1所对应的第一虚拟物件信息为“心脏”。于是，透明显示器110将显示具有心脏信息的第一子扩增图像数据。具体而言，透明显示器110将显示基于实体物件Obj_r1而扩增的第一虚拟物件Obj_v11(即心脏图像)，且观看者可以经由透明显示器110看到第一虚拟物件Obj_v11迭合于实体物件Obj_r1上。
请再参照图9B，假设实体物件Obj_r1上仅呈现有第二图腾P1_2，则处理装置130将计算第二图腾P1_2与透明显示器110之间的相对位置关系，并辨识第二图腾P1_2所对应的第二虚拟物件信息为“胃”。于是，透明显示器110将显示具有胃信息的第二子扩增图像数据。具体而言，透明显示器110将显示基于实体物件Obj_r1而扩增的第二虚拟物件Obj_v12(即胃图像)，且观看者可以经由透明显示器110看到第二虚拟物件Obj_v12迭合于实体物件Obj_r1上。
请再参照图9C，假设实体物件Obj_r1上同时呈现有第一图腾P1_1与第二图腾P1_2，则处理装置130将分别计算第二图腾P1_2与透明显示器110之间的第二相对位置关系以及第一图腾P1_1与透明显示器110之间的第一相对位置关系。处理装置130更辨识第一图腾P1_1所对应的第一虚拟物件信息为“心脏”，且辨识第二图腾P1_2所对应的第二虚拟物件信息为“胃”。于是，处理装置130迭合第一子扩增图像数据与第二子扩增图像数据产生迭合扩增图像数据。透明显示器110将显示具有心脏信息与胃信息的迭合扩增图像数据。具体而言，透明显示器110将同时显示基于实体物件Obj_r1而扩增的第一虚拟物件Obj_v11(即心脏图像)以及第二虚拟物件Obj_v12(即胃图像)，且观看者可以经由透明显示器110看到第一虚拟物件Obj_v11与第二虚拟物件Obj_v12迭合于实体物件Obj_r1上。
值得一提的是，在本公开一实施例中，透明显示器所显示的扩增图像内容或是否显示扩增图像数据是可依据观看者的视线与观看者身上的识别信息而决定。以下将列举实施例以说明。
图10是依照本公开一实施例的信息显示***的示意图。请参照图10，信息显示***30包括第一图腾P1_1与第二图腾P1_2、观看者图腾P2_1、观看者图腾P2_2、透明显示器110、第一图像提取装置120、第二图像提取装置140与处理装置130。处理装置130耦接透明显示器110、第一图像提取装置120与第二图像提取装置140。第一图腾P1_1、第二图腾P1_2、透明显示器110、第一图像提取装置120与处理装置130的操作与功能相似于图1与图7的实施例，在此不再赘述。需特别说明的是，信息显示***30包括两个图像提取装置(即第一图像提取装置120与第二图像提取装置140)。
观看者图腾P2_1与观看者图腾P2_2可分别位于观看者U1与观看者U2身上。观看者图腾P2_1与观看者图腾P2_2可包括一维条码、二维条码或其他可辨识图样。观看者图腾P2_1与观看者图腾P2_2可分别作为观看者U1与观看者U2的识别信息。换句话说，观看者图腾P2_1包括观看者U1的观看者信息，而观看者图腾P2_2包括观看者U2的观看者信息。
第二图像提取装置140适于执行图像感测功能。第二图像提取装置140可包括镜头以及感光元件，用以朝透明显示器110的观看者U1拍摄观看者图像。在本公开一实施例中，第一图像提取装置120拍摄位于透明显示器110后方的景物(可包括实体物件Obj_r1、第一图腾P1_1、第二图腾P1_2)，而第二图像提取装置140拍摄位于透明显示器110前方的景物(可包括观看者U1或/和观看者U2)。
图11是依照本公开一实施例的信息显示方法的流程图。图11所述的方法流程可结合图10所示的信息显示***30来实现。请同时参照图10及图11。
在步骤S1110，藉由第一图像提取装置120拍摄呈现在实体物件Obj_r1上的第一图腾P1_1与第二图腾P1_2而获取图腾图像。在步骤S1120，藉由处理装置130依据图腾图像获取透明显示器110与第一图腾P1_1之间的第一相对位置信息与透明显示器110与第二图腾P1_2之间的第二相对位置信息。第一相对位置信息与第二相对位置信息的计算方式可如同前述说明，在此不再赘述。在步骤S1130，藉由处理装置130依据图腾图像辨识第一图腾P1_1与第二图腾P1_2，以取得第一图腾P1_1所对应的第一虚拟物件信息与第二图腾P1_2所对应的第二虚拟物件信息。在步骤S1140，藉由第二图像提取装置140拍摄呈现于观看者U1上的观看者图腾P2_1而获取观看者图像。在步骤S1150，藉由处理装置130依据观看者图像辨识观看者图腾P2_1而获取观看者图腾P2_1所对应的观看者信息，观看者信息例如为观看者ID等等。
在步骤S1160，藉由处理装置130依据观看者信息、第一虚拟物件信息与第二虚拟物件信息判断观看者图腾P2_1是否匹配于第一图腾P1_1或第二图腾P1_2而产生匹配结果。在步骤S1170，藉由处理装置130依据匹配结果决定是否显示第一子扩增图像数据与第二子扩增图像数据。具体而言，依据观看者信息、第一虚拟物件信息与第二虚拟物件信息，处理装置130可判断观看者U1是否具备观看具有第一虚拟物件信息的第一虚拟物件与具有第二虚拟物件信息的第二虚拟物件的权限，从而判断观看者图腾P2_1是否匹配于第一图腾P1_1和/或第二图腾P1_2。
换句话说，若观看者图腾P2_1匹配于第一图腾P1_1，代表观看者U1具备观看具有第一虚拟物件信息的第一虚拟物件的权限，因而处理装置130依据匹配结果决定显示关联于第一图腾P1_1且包括第一虚拟物件的第一子扩增图像数据。此外，若观看者图腾P2_1匹配于第二图腾P1_2，代表观看者U1具备观看具有第二虚拟物件信息的第二虚拟物件的权限，因而处理装置130依据匹配结果决定显示关联于第二图腾P1_2且包括第二虚拟物件的第二子扩增图像数据。
上述实施例以透明显示器110介于观看者U1与实体物件Obj_r1之间而以观看者图腾P2_1的匹配为范例进行说明。然而，当透明显示器110介于观看者U2与实体物件Obj_r1之间时步骤S1140～步骤S1170同样可针对观看者U2与其观看者图腾P2_2而执行。由此可知，在多观看者使用透明显示器110的情境中，透明显示器110的显示内容可依据正在使用透明显示器110的当前观看者而决定。当透明显示器110自观察者U1的面前移动至观察者U2的面前，透明显示器110不仅可依据相对位置信息使当前显示的虚拟物件可迭合于实体物件上，更可依据透明显示器110前方的当前观看者决定显示哪些虚拟物件。
图12是依照本公开一实施例的信息显示方法的流程图。图12所述的方法流程可结合图10所示的信息显示***30来实现。请同时参照图10及图12。
在步骤S1210，藉由第一图像提取装置120拍摄呈现在实体物件Obj_r1上的第一图腾P1_1与第二图腾P1_2而获取图腾图像。在步骤S1220，藉由处理装置130依据图腾图像获取透明显示器110与第一图腾P1_1之间的第一相对位置信息与透明显示器110与第二图腾P1_2之间的第二相对位置信息。第一相对位置信息与第二相对位置信息的计算方式可如同前述说明，在此不再赘述。在步骤S1230，藉由处理装置130依据图腾图像辨识第一图腾P1_1与第二图腾P1_2，以取得第一图腾P1_1所对应的第一虚拟物件信息与该第二图腾P1_2所对应的第二虚拟物件信息。在步骤S1240，藉由第二图像提取装置140拍摄呈现于观看者U1上的观看者图腾P2_1而获取观看者图像。
在步骤S1250，藉由处理装置130依据观看者图像预估观看者U1的视线向量。具体而言，处理装置130可依据观看者图像中的眼部信息、脸部信息与头部姿态信息等等预估观看者U1的视线向量。在步骤S1260，藉由处理装置130依据视线向量决定是否显示扩增图像数据。在本公开一实施例中，处理装置130可判断视线向量的延伸是否可穿越透明显示器110的显示平面，以决定是否显示扩增图像数据。
在本公开一实施例中，处理装置130可判断视线向量是否可匹配于第一图腾P1_1的法线方向或第二图腾P1_2的法线方向。具体而言，当观看者U1看向第一图腾P1_1或其邻近区域时，第一图腾P1_1的法线方向将大致上相反于观看者U1的视线向量的方向。基此，处理装置130可依据第一图腾P1_1的法线方向的三轴旋转角度与视线向量的三轴旋转角度判断视线向量是否可匹配于第一图腾P1_1的法线方向。若视线向量可匹配于第一图腾P1_1的法线方向，处理装置130将决定显示关联于第一图腾P1_1的第一子扩增数据。若视线向量可匹配于第二图腾P1_2的法线方向，处理装置130将决定显示关联于第二图腾P1_2的第二子扩增数据。第一图腾P1_1的法线方向可为前述实施例的第一图腾P1_1与透明显示器110之间的相对位置信息中的旋转角度。
图13A与13B是依照本公开一实施例的依据视线向量决定显示内容的情境示意图。请先参照图13A，当处理装置130判断第一图腾P1_1的法线方向D1匹配于视线向量E1，处理装置130控制透明显示器110显示关联于第一图腾P1_1的第一虚拟物件Obj_v11，且包括第一虚拟物件Obj_v11的扩增图像数据是依据透明显示器110与第一图腾P1_1之间的相对位置信息而取得。请再参照图13B，假设观察者U1改变观看方向，视线向量E1改变为视线向量E2。当处理装置130判断第二图腾P1_2的法线方向D2匹配于视线向量E2，处理装置130控制透明显示器110显示关联于第二图腾P1_2的第二虚拟物件Obj_v12，且包括第一虚拟物件Obj_v12的扩增图像数据是依据透明显示器110与第二图腾P1_2之间的相对位置信息而取得。
需特别说明的是，图10、图11与图12以第一图像提取装置120朝第一图腾P1_1与第二图腾P1_2提取图腾图像且第二图像提取装置140朝观看者U1、U2提取观看者图像进行说明。亦即，前述实施例以不同的图像提取装置朝透明显示器110的两侧分别提取图腾图像与观看者图像为实施方式进行说明，然而，本公开并不限制于此。在本公开的一实施例中，可通过可翻转式图像提取装置朝透明显示器110的两侧分别提取图腾图像与观看者图像。详细而言，在本公开的一实施例中，第一图像提取装置120具有可翻转功能，第一图像提取装置120的镜头可经由翻转180度而朝透明显示器110的两侧提取图腾图像与观看者图像。
在本公开实施例中，可根据位于实体物件上的图腾的深度值、图像坐标以及旋转角度决定透明显示器所显示的扩增图像数据。藉此，当观看者观看透明显示器时，即便透明显示器动态移动，但透明显示器上的虚拟物件与透明显示器后方的实体物件可达到良好的迭合，以达成舒适的观看体验。
虽然本公开已以实施例公开如上，然其并非用以限定本公开，本领域技术人员在不脱离本公开的精神和范围内，当可作些许的更动与润饰，故本公开的保护范围当视后附的权利要求书及其均等范围所界定者为准。

Claims (20)

1.一种信息显示方法，适用于包括第一图像提取装置与透明显示器的信息显示***，所述方法包括：
藉由该第一图像提取装置拍摄呈现于实体物件上的至少一图腾而获取图腾图像，其中该实体物件位于该透明显示器的一侧；
依据该图腾图像获取该透明显示器与该至少一图腾之间的相对位置信息；
依据该相对位置信息取得扩增图像数据；以及
藉由该透明显示器显示该扩增图像数据，其中该扩增图像数据包括基于该实体物件而扩增的虚拟物件。
2.如权利要求1所述的信息显示方法，其中依据该图腾图像获取该透明显示器与该至少一图腾之间的相对位置信息的步骤包括：
依据该图腾图像计算该至少一图腾于图像坐标系的图像坐标与该至少一图腾相距该第一图像提取装置的深度值；以及
依据该图腾图像计算该至少一图腾的旋转角度，其中该相对位置信息包括该图像坐标、该深度值与该旋转角度。
3.如权利要求2所述的信息显示方法，其中依据该图腾图像计算该至少一图腾于该图像坐标系的该图像坐标与该至少一图腾相距该第一图像提取装置的该深度值的步骤包括：
依据该第一图像提取装置的内部参数、该至少一图腾的实际尺寸信息，以及该至少一图腾于该图腾图像上的成像尺寸信息来计算该深度值；以及
依据该至少一图腾的世界坐标与该第一图像提取装置的内部参数计算出该至少一图腾于该图像坐标系的该图像坐标，
其中依据该图腾图像计算该至少一图腾的该旋转角度的步骤包括：
依据该至少一图腾的该世界坐标、该图像坐标，以及该第一图像提取装置的内部参数计算出该第一图像提取装置的外部参数矩阵；以及
依据该外部参数矩阵计算出该旋转角度。
4.如权利要求2所述的信息显示方法，其中依据该相对位置信息取得该扩增图像数据的步骤包括：
依据该图像坐标、该深度值与该旋转角度获取该扩增图像数据，其中该扩增图像数据是依据该图像坐标、该深度值与该旋转角度对基础图像数据进行几何变换而产生；以及
藉由该透明显示器显示该扩增图像数据于观看者与该实体物件之间，其中该观看者位于该透明显示器的另一侧。
5.如权利要求4所述的信息显示方法，其中在藉由该第一图像提取装置拍摄呈现于该实体物件上的该至少一图腾而获取该图腾图像的步骤之前，所述方法还包括：
藉由该第一图像提取装置拍摄呈现于该实体物件上的该至少一图腾而获取校正图腾图像；以及
基于该校正图腾图像定义关联于该基础图像数据的基准图像坐标、基准深度值与基准旋转角度，
其中该扩增图像数据是依据该基准图像坐标与该图像坐标之间的坐标差异、该基准深度值与该深度值之间的深度差异，以及该基准旋转角度与该旋转角度之间的角度差异对该基础图像数据进行几何变换而产生。
6.如权利要求1所述的信息显示方法，所述方法还包括：
依据该图腾图像辨识该至少一图腾而获取该至少一图腾所对应的虚拟物件信息，
其中依据该相对位置信息取得该扩增图像数据的步骤还包括：
依据该虚拟物件信息与该相对位置信息自图像数据库选取该扩增图像数据。
7.如权利要求6所述的信息显示方法，其中该至少一图腾包括第一图腾与第二图腾，而依据该图腾图像辨识该至少一图腾而获取该图腾所对应的该虚拟物件信息的步骤包括：
依据该图腾图像辨识该第一图腾与该第二图腾，以取得该第一图腾所对应的第一虚拟物件信息与该第二图腾所对应的第二虚拟物件信息，
其中依据该相对位置信息取得该扩增图像数据的步骤还包括：
依据该第一虚拟物件信息与关联于该第一图腾的第一相对位置信息自该图像数据库选取第一子扩增图像数据；以及
依据该第二虚拟物件信息与关联于该第二图腾的第二相对位置信息自该图像数据库选取第二子扩增图像数据。
8.如权利要求7所述的信息显示方法，其中藉由该透明显示器显示该扩增图像数据的步骤包括：
迭合该第一子扩增图像数据与该第二子扩增图像数据产生迭合扩增图像数据，并藉由该透明显示器显示该迭合扩增图像数据。
9.如权利要求6所述的信息显示方法，其中该信息显示***还包括第二图像提取装置，而所述方法还包括：
藉由该第二图像提取装置拍摄呈现于观看者上的观看者图腾而获取观看者图像；
依据该观看者图像辨识该观看者图腾而获取该观看者图腾所对应的观看者信息；
依据该观看者信息、该第一虚拟物件信息与该第二虚拟物件信息判断该观看者图腾是否匹配于该第一图腾或该第二图腾而产生匹配结果，
其中藉由该透明显示器显示该扩增图像数据的步骤包括：
依据该匹配结果决定是否显示该第一子扩增图像数据与该第二子扩增图像数据。
10.如权利要求1所述的信息显示方法，其中该信息显示***还包括第二图像提取装置，而所述方法还包括：
藉由该第二图像提取装置拍摄观看者而获取观看者图像；以及
依据该观看者图像预估该观看者的视线向量，
其中藉由该透明显示器显示该扩增图像数据的步骤包括：
依据该视线向量决定是否显示该扩增图像数据。
11.一种信息显示***，包括：
至少一图腾，呈现于实体物件上；
透明显示器；
第一图像提取装置，拍摄呈现于该实体物件上的该至少一图腾而获取图腾图像，其中该实体物件位于该透明显示器的一侧；以及
处理装置，耦接该透明显示器与该第一图像提取装置，该处理装置经配置以执行以下步骤：
依据该图腾图像获取该透明显示器与该至少一图腾之间的相对位置信息；
依据该相对位置信息取得扩增图像数据；以及
藉由该透明显示器显示该扩增图像数据，其中该扩增图像数据包括基于该实体物件而扩增的虚拟物件。
12.如权利要求11所述的信息显示***，其中该处理装置经配置以执行以下步骤：
依据该图腾图像计算该至少一图腾于图像坐标系的图像坐标与该至少一图腾相距该第一图像提取装置的深度值；以及
依据该图腾图像计算该至少一图腾的旋转角度，其中该相对位置信息包括该图像坐标、该深度值与该旋转角度。
13.如权利要求12所述的信息显示***，其中该处理装置经配置以执行以下步骤：
依据该第一图像提取装置的内部参数、该至少一图腾的实际尺寸信息，以及该至少一图腾于该图腾图像上的成像尺寸信息来计算该深度值；
依据该至少一图腾的世界坐标与该第一图像提取装置的内部参数计算出该至少一图腾于该图像坐标系的该图像坐标；
依据该至少一图腾的该世界坐标、该图像坐标，以及该第一图像提取装置的内部参数计算出该第一图像提取装置的外部参数矩阵；以及
依据该外部参数矩阵计算出该旋转角度。
14.如权利要求12所述的信息显示***，其中该处理装置经配置以执行以下步骤：
依据该图像坐标、该深度值与该旋转角度获取该扩增图像数据，其中该扩增图像数据是依据该图像坐标、该深度值与该旋转角度对基础图像数据进行几何变换而产生，
其中该透明显示器显示该扩增图像数据于观看者与该实体物件之间，其中该观看者位于该透明显示器的另一侧。
15.如权利要求14所述的信息显示***，其中该处理装置经配置以执行以下步骤：
藉由该第一图像提取装置拍摄呈现于该实体物件上的该至少一图腾而获取校正图腾图像；以及
基于该校正图腾图像定义关联于该基础图像数据的基准图像坐标、基准深度值与基准旋转角度，
其中该扩增图像数据是依据该基准图像坐标与该图像坐标之间的坐标差异、该基准深度值与该深度值之间的深度差异，以及该基准旋转角度与该旋转角度之间的角度差异对该基础图像数据进行几何变换而产生。
16.如权利要求11所述的信息显示***，其中该处理装置经配置以执行以下步骤：
依据该图腾图像辨识该至少一图腾而获取该至少一图腾所对应的虚拟物件信息；以及
依据该虚拟物件信息与该相对位置信息自图像数据库选取该扩增图像数据。
17.如权利要求16所述的信息显示***，其中该至少一图腾包括第一图腾与第二图腾，而该处理装置经配置以执行以下步骤：
依据该图腾图像辨识该第一图腾与该第二图腾，以取得该第一图腾所对应的第一虚拟物件信息与该第二图腾所对应的第二虚拟物件信息；
依据该第一虚拟物件信息与关联于该第一图腾的第一相对位置信息自该图像数据库选取第一子扩增图像数据；以及
依据该第二虚拟物件信息与关联于该第二图腾的第二相对位置信息自该图像数据库选取第二子扩增图像数据。
18.如权利要求17所述的信息显示***，其中该处理装置经配置以执行以下步骤：
迭合该第一子扩增图像数据与该第二子扩增图像数据产生迭合扩增图像数据，并藉由该透明显示器显示该迭合扩增图像数据。
19.如权利要求16所述的信息显示***，还包括第二图像提取装置，拍摄呈现于观看者上的观看者图腾而获取观看者图像，
其中该处理装置经配置以执行以下步骤：
依据该观看者图像辨识该观看者图腾而获取该观看者图腾所对应的观看者信息；
依据该观看者信息、该第一虚拟物件信息与该第二虚拟物件信息判断该观看者图腾是否匹配于该第一图腾或该第二图腾而产生匹配结果；以及
依据该匹配结果决定是否显示该第一子扩增图像数据与该第一子扩增图像数据。
20.如权利要求11所述的信息显示***，还包括第二图像提取装置，拍摄呈现于观看者上的观看者图腾而获取观看者图像，
其中该处理装置经配置以执行以下步骤：
依据该观看者图像预估该观看者的视线向量；以及
依据该视线向量决定是否显示该扩增图像数据。
CN202010026195.2A 2019-10-04 2020-01-10 信息显示方法与信息显示*** Pending CN112614231A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108136025 2019-10-04
TW108136025A TWI731430B (zh) 2019-10-04 2019-10-04 資訊顯示方法與資訊顯示系統

Publications (1)

Publication Number Publication Date
CN112614231A true CN112614231A (zh) 2021-04-06

Family

ID=75224338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026195.2A Pending CN112614231A (zh) 2019-10-04 2020-01-10 信息显示方法与信息显示***

Country Status (3)

Country Link
US (1) US11467400B2 (zh)
CN (1) CN112614231A (zh)
TW (1) TWI731430B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720869B (zh) * 2020-04-15 2021-03-01 致伸科技股份有限公司 相機模組之對位方法
US11967268B1 (en) * 2022-11-07 2024-04-23 Qualcomm Incorporated Systems and methods of secure imaging

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM490880U (zh) * 2014-09-01 2014-12-01 Univ Southern Taiwan Sci & Tec 血管顯像之穿透式顯示裝置
CN106910249A (zh) * 2015-12-23 2017-06-30 财团法人工业技术研究院 增强现实方法及***
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示***、图像显示***的控制方法、图像分发***以及头戴式显示器
CN107978019A (zh) * 2016-10-21 2018-05-01 财团法人资讯工业策进会 扩增实境***与方法
CN108227914A (zh) * 2016-12-12 2018-06-29 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
JP2018128815A (ja) * 2017-02-08 2018-08-16 ソフトバンク株式会社 情報提示システム、情報提示方法及び情報提示プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US9146669B2 (en) 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
US10067568B2 (en) * 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US9892489B1 (en) * 2013-08-20 2018-02-13 Rockwell Collins, Inc. System for and method of providing a virtual cockpit, control panel, or dashboard using augmented reality
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
KR101604812B1 (ko) * 2014-01-15 2016-03-18 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
TWI570664B (zh) 2015-03-10 2017-02-11 Next Animation Studio Ltd The expansion of real-world information processing methods, the expansion of real processing modules, Data integration method and data integration module
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US20170323374A1 (en) 2016-05-06 2017-11-09 Seok Hyun Park Augmented reality image analysis methods for the virtual fashion items worn
TWM561801U (zh) 2017-11-15 2018-06-11 Join Link International Technology Co Ltd 車用虛擬影像顯示系統
CN108008817B (zh) 2017-12-01 2020-08-04 西安维度视界科技有限公司 一种实现虚实融合的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM490880U (zh) * 2014-09-01 2014-12-01 Univ Southern Taiwan Sci & Tec 血管顯像之穿透式顯示裝置
CN106910249A (zh) * 2015-12-23 2017-06-30 财团法人工业技术研究院 增强现实方法及***
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示***、图像显示***的控制方法、图像分发***以及头戴式显示器
CN107978019A (zh) * 2016-10-21 2018-05-01 财团法人资讯工业策进会 扩增实境***与方法
CN108227914A (zh) * 2016-12-12 2018-06-29 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
JP2018128815A (ja) * 2017-02-08 2018-08-16 ソフトバンク株式会社 情報提示システム、情報提示方法及び情報提示プログラム
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备

Also Published As

Publication number Publication date
US11467400B2 (en) 2022-10-11
US20210103143A1 (en) 2021-04-08
TWI731430B (zh) 2021-06-21
TW202115555A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
CN110753216B (zh) 增强现实***及其色彩补偿方法
CN106846409B (zh) 鱼眼相机的标定方法及装置
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US9111347B2 (en) Method for determining the pose of a camera with respect to at least one real object
US20170374360A1 (en) Camera calibration system, target, and process
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
US20020103617A1 (en) Position and orientation determining method and apparatus and storage medium
EP3493523A2 (en) Method and apparatus for blurring preview picture and storage medium
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
US20140168367A1 (en) Calibrating visual sensors using homography operators
CN110163898B (zh) 深度信息配准方法、装置、***、设备及存储介质
CN112017231A (zh) 基于单目摄像头的人体体重识别方法、装置及存储介质
CN112614231A (zh) 信息显示方法与信息显示***
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
US10043430B1 (en) Eyecup-display alignment testing apparatus
US11030732B2 (en) Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
CN116485902A (zh) 标志点匹配方法、装置、计算机设备和存储介质
CN115086625A (zh) 投影画面的校正方法、装置、***、校正设备和投影设备
JP6388744B1 (ja) 測距装置および測距方法
CN111739081A (zh) 特征点匹配方法、拼接方法、装置、电子设备及存储介质
JP2020177618A (ja) 深度エンジンとデジタル信号プロセッサを用いた対話型画像処理の方法、装置、媒体
CN113344830B (zh) 基于多张单通道温度图片的融合方法和装置
TWI696980B (zh) 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination