TWI831475B - 光學穿透式顯示器的校正方法與校正系統 - Google Patents

光學穿透式顯示器的校正方法與校正系統 Download PDF

Info

Publication number
TWI831475B
TWI831475B TW111143809A TW111143809A TWI831475B TW I831475 B TWI831475 B TW I831475B TW 111143809 A TW111143809 A TW 111143809A TW 111143809 A TW111143809 A TW 111143809A TW I831475 B TWI831475 B TW I831475B
Authority
TW
Taiwan
Prior art keywords
image
sensing device
correction
virtual
image sensing
Prior art date
Application number
TW111143809A
Other languages
English (en)
Other versions
TW202332269A (zh
Inventor
馬天彥
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to US18/156,387 priority Critical patent/US11961258B2/en
Publication of TW202332269A publication Critical patent/TW202332269A/zh
Application granted granted Critical
Publication of TWI831475B publication Critical patent/TWI831475B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種光學穿透式顯示器的校正方法，包括：使用一影像感測裝置固定於一使用者的一眼睛觀看一光學穿透式顯示器的標準位置，其中影像感測裝置用以拍攝光學穿透式顯示器所顯示的一虛擬影像及外界環境的一實體影像；以及使用影像感測裝置與複數個實體校正圖樣之間的外部參數及虛擬相機與複數個實體校正圖樣之間的外部參數計算出影像感測裝置與虛擬相機之間的外部參數。一種校正系統亦被提出。

Description

光學穿透式顯示器的校正方法與校正系統
本發明是有關於一種顯示器的校正方法與校正系統，且特別是有關於一種光學穿透式顯示器的校正方法與校正系統。
擴增實境(augmented reality,AR)或混合實境(mixed reality,MR)眼鏡藉由光學穿透式顯示器(optical see-through display)將運算單元產生的虛擬影像投射在使用者的視野範圍中，使用者可同時看到虛擬影像與實體環境達成視覺感受上的混合實境。然而，眼鏡上所有的光學元件必然具備製造及組裝產生的誤差。為了達成精確的虛實影像融合效果，所有的擴增實境或混合實境眼鏡在出廠前都必須透過校正程序產生相關參數，提供運算單元產生最佳化的虛擬影像。
過往大部分的擴增實境或混合實境眼鏡皆沒有考慮到使用者眼距(即兩眼瞳孔的距離)的個體差異，在校正過程中使用預先定義的標準眼距標定出眼球與顯示器間的空間相對關係。當使用者的眼距與廠商定義的標準眼距差異較大時，虛實影像融合 的精確度就會受到影響。
本發明提供一種光學穿透式顯示器的校正方法，其可推導出眼睛與對應的光學穿透式顯示器的外部參數(extrinsic parameters)，以使光學穿透式顯示器出廠後可依據預先寫入的外部參數及設定眼距產生適合眼距的最佳化虛實融合影像。
本發明提供一種校正系統，其可推導出眼睛與對應的光學穿透式顯示器的外部參數，以使光學穿透式顯示器出廠後可依據預先寫入的外部參數及設定眼距產生適合眼距的最佳化虛實融合影像。
本發明的一實施例提出一種光學穿透式顯示器的校正方法，包括：使用一影像感測裝置固定於一使用者的一眼睛觀看一光學穿透式顯示器的標準位置，其中影像感測裝置用以拍攝光學穿透式顯示器所顯示的一虛擬影像及外界環境的一實體影像；使用影像感測裝置拍攝光學穿透式顯示器所顯示的一虛擬校正圖樣，並取得所拍攝到的虛擬校正圖樣的複數個第一特徵點影像的座標值；使用複數個第一特徵點影像的座標值及虛擬校正圖樣的第一特徵點的座標值計算出影像感測裝置的影像平面轉換至光學穿透式顯示器的影像平面的投影單應性矩陣；關閉光學穿透式顯示器，使用影像感測裝置在不同角度拍攝複數個實體校正圖樣影像，實體校正圖樣具有複數個第二特徵點；使用複數個實體校正 圖樣影像中的複數個第二特徵點影像的座標及實體校正圖樣上的複數個第二特徵點計算出影像感測裝置的內部參數(intrinsic parameters)，以及影像感測裝置與複數個實體校正圖樣之間的外部參數；使用投影單應性矩陣將複數個實體校正圖樣影像中的複數個特徵點影像的座標轉換為光學穿透式顯示器的影像平面的投影點的座標；使用複數個實體校正圖樣影像中轉換到光學穿透式顯示器影像平面的複數個投影點的座標計算出光學穿透式顯示器的虛擬相機內部參數，以及虛擬相機與複數個實體校正圖樣之間的外部參數；以及使用影像感測裝置與複數個實體校正圖樣之間的外部參數及虛擬相機與複數個實體校正圖樣之間的外部參數計算出影像感測裝置與虛擬相機之間的外部參數。
本發明的一實施例提出一種校正系統，用以校正一光學穿透式顯示器。校正系統包括一影像感測裝置及一控制器。影像感測裝置固定於一使用者的一眼睛觀看光學穿透式顯示器的標準位置。影像感測裝置用以拍攝光學穿透式顯示器所顯示的一虛擬影像及外界環境的一實體影像。控制器耦接至影像感測裝置與光學穿透式顯示器。控制器經配置以執行：命令影像感測裝置拍攝光學穿透式顯示器所顯示的一虛擬校正圖樣，並取得所拍攝到的虛擬校正圖樣的複數個第一特徵點影像的座標值；使用複數個第一特徵點影像的座標值及虛擬校正圖樣的第一特徵點的座標值計算出影像感測裝置的影像平面轉換至光學穿透式顯示器的影像平面的投影單應性矩陣；關閉光學穿透式顯示器，使用影像感測裝 置在不同角度拍攝複數個實體校正圖樣影像，實體校正圖樣具有複數個第二特徵點；使用複數個實體校正圖樣影像中的複數個第二特徵點影像的座標及實體校正圖樣上的複數個第二特徵點計算出影像感測裝置的內部參數，以及影像感測裝置與複數個實體校正圖樣之間的外部參數；使用投影單應性矩陣將複數個實體校正圖樣影像中的複數個特徵點影像的座標轉換為光學穿透式顯示器的影像平面的投影點的座標；使用複數個實體校正圖樣影像中轉換到光學穿透式顯示器影像平面的複數個投影點的座標計算出光學穿透式顯示器的虛擬相機內部參數，以及虛擬相機與複數個實體校正圖樣之間的外部參數；以及使用影像感測裝置與複數個實體校正圖樣之間的外部參數及虛擬相機與複數個實體校正圖樣之間的外部參數計算出影像感測裝置與虛擬相機之間的外部參數。
在本發明的實施例的光學穿透式顯示器的校正方法及校正系統中，由於可利用上述校正步驟計算出影像感測裝置與虛擬相機之間的外部參數，因此可使光學穿透式顯示器出廠後可依據預先寫入的外部參數及設定眼距產生適合眼距的最佳化虛實融合影像。
50:眼睛
60:光
70:實體校正圖樣
100:光學穿透式顯示器
102:虛擬校正圖樣
110:虛像投影機
111:影像光束
112:顯示面板
113:虛擬影像
114:透鏡
120:分光器
130:部分穿透部分反射鏡
200:校正系統
210:控制器
220:影像感測裝置
230、T:追蹤攝影機
C:模擬人眼攝影機
D:虛擬相機
d、d C→p :距離
Figure 111143809-A0305-02-0019-39
、
Figure 111143809-A0305-02-0019-38
:單應性矩陣
K C 、K D 、K T :內部參數
M i 、
Figure 111143809-A0305-02-0019-40
、
Figure 111143809-A0305-02-0019-41
、
Figure 111143809-A0305-02-0019-42
、M ij 、
Figure 111143809-A0305-02-0019-44
、
Figure 111143809-A0305-02-0019-45
、
Figure 111143809-A0305-02-0019-46
:座標
Figure 111143809-A0305-02-0019-47
、
Figure 111143809-A0305-02-0019-48
:第一特徵點
P:實體校正板
p:光學穿透式顯示器影像平面
[
Figure 111143809-A0305-02-0019-84
|
Figure 111143809-A0305-02-0019-85
]、[
Figure 111143809-A0305-02-0019-86
|
Figure 111143809-A0305-02-0019-87
]、[
Figure 111143809-A0305-02-0019-88
|
Figure 111143809-A0305-02-0019-89
]:外部參數
t C→C' 、
Figure 111143809-A0305-02-0019-49
:移動距離
X C 、Y C 、Z C :軸
圖1為本發明的一實施例的光學穿透式顯示器的光路架構示意圖。
圖2、圖4及圖5為本發明的一實施例的校正系統的架構示意圖及為繪示本發明的一實施例的光學穿透式顯示器的校正方法的流程的示意圖。
圖3為圖2的影像感測裝置所拍攝到的影像與光學穿透式顯示器影像平面的對應關係示意圖。
圖6為當使用者的眼距發生改變時圖1的光學穿透式顯示器的調整方式的示意圖。
圖7為當使用者的眼睛的位置發生改變時圖1的光學穿透式顯示器的調整方式的示意圖。
圖1為本發明的一實施例的光學穿透式顯示器的光路架構示意圖，而圖2、圖4及圖5為本發明的一實施例的校正系統的架構示意圖及為繪示本發明的一實施例的光學穿透式顯示器的校正方法的流程的示意圖。圖3為圖2的影像感測裝置所拍攝到的影像與光學穿透式顯示器影像平面的對應關係示意圖。請參照圖1至圖5，本實施例的校正系統200(如圖2所繪示)用以校正一光學穿透式顯示器100(如圖1所繪示)。校正系統200包括一影像感測裝置220及一控制器210。影像感測裝置220固定於一使用者的一眼睛50(如圖1所繪示)觀看光學穿透式顯示器100的標準位置。影像感測裝置220用以拍攝光學穿透式顯示器100所顯示的一虛擬影像113及外界環境的一實體影像。
光學穿透式顯示器100可以是各種擴增實境顯示器。在一實施例中，光學穿透式顯示器100包括一虛像投影機110、一分光器(beam splitter)120及一部分穿透部分反射鏡130。虛像投影機110可包括一顯示面板112及至少一透鏡114。顯示面板112發出一影像光束111。顯示面板112例如是一有機發光二極體(organic light-emitting diode,OLED)顯示面板、液晶顯示面板、矽基液晶面板(liquid-crystal-on-silicon panel,LCOS panel)、數位微鏡元件(digital micro-mirror device,DMD)或其他適當的顯示面板。透鏡114配置於影像光束111的傳遞路徑上。分光器120配置於來自透鏡114的影像光束111的傳遞路徑上，並將至少部分的影像光束111反射至部分穿透部分反射鏡130。分光器120可以是偏振分光器(polarizing beam splitter,PBS)或部分穿透部分反射鏡。部分穿透部分反射鏡130例如是半穿透半反射曲面鏡，其可將部分影像光束111反射回分光器120，此部分影像光束111有至少部分穿透分光器120而傳遞至使用者的眼睛50。如此一來，使用者的眼睛50便會看到部分穿透部分反射鏡130前方的虛像(即虛擬影像113)。另一方面，來自外界物體的光60會有一部分依序穿透部分穿透部分反射鏡130及分光器120而傳遞至使用者的眼睛50。如此一來，使用者便可以同時看到虛擬影像113及外界的實際物體，而達到混合實境(mixed reality,MR)或擴增實境(augmented reality,AR)的效果。圖1的光學穿透式顯示器100只是其中一個例子，本發明不 限定光學穿透式顯示器採用圖1的架構。
控制器210耦接至影像感測裝置220與光學穿透式顯示器100。在本實施例中，影像感測裝置220例如為相機。本實施例的光學穿透式顯示器100的校正方法可利用校正系統200來執行。光學穿透式顯示器100的校正方法包括使用影像感測裝置220固定於使用者的眼睛50觀看光學穿透式顯示器100的標準位置，其中影像感測裝置220用以拍攝光學穿透式顯示器100所顯示的虛擬影像113及外界環境的實體影像。接著，控制器210經配置以執行下列步驟，且本實施例的光學穿透式顯示器100的校正方法亦包括下列步驟。首先，如圖2所繪示，控制器210命令影像感測裝置220拍攝光學穿透式顯示器100所顯示的一虛擬校正圖樣102，並取得所拍攝到的虛擬校正圖樣102的複數個第一特徵點影像的座標值。
舉例而言，影像感測裝置220可以是一模擬人眼攝影機C，而光學穿透式顯示器100可以將虛擬影像113投射於一光學穿透式顯示器影像平面p，且光學穿透式顯示器影像平面p可視為有一對應的虛擬相機D，虛擬相機D用以模擬光學穿透式顯示器100的虛像投影機110。模擬人眼攝影機C的內部參數K C 已透過預先校正得出。接下來的步驟欲求出虛擬相機D的內部參數K D 及模擬人眼攝影機C與虛擬相機D兩者間的外部參數[
Figure 111143809-A0305-02-0009-60
|
Figure 111143809-A0305-02-0009-61
]，並驗證其正確性。在一實施例中，內部參數K C 與內部參數K D 包括焦距(focal length)、主點(principal point)等內部參數，而外部參數 [
Figure 111143809-A0305-02-0010-63
|
Figure 111143809-A0305-02-0010-65
]包括旋轉矩陣(rotation matrix)、平移向量(translation vector)等外部參數，在此例中即從模擬人眼攝影機C至虛擬相機D的座標轉換的旋轉矩陣與平移向量，但本發明不以此為限。在本說明書中的其他段落的內部參數皆包括焦距、主點等內部參數，而在本說明書中的其他段落的外部參數皆包括旋轉矩陣、平移向量等外部參數，但本發明不以此為限。
首先，參考圖2及圖3，使用模擬人眼攝影機C拍攝光學穿透式顯示器影像平面p上顯示的虛擬校正圖樣102。模擬人 眼攝影機C影像中第i個第一特徵點為
Figure 111143809-A0305-02-0010-2
，光學穿透式顯示器影 像平面p中第i個第一特徵點為
Figure 111143809-A0305-02-0010-1
。
接著，使用複數個第一特徵點影像的座標值及虛擬校正圖樣102的第一特徵點的座標值計算出影像感測裝置220的影像平面轉換至光學穿透式顯示器影像平面p的投影單應性矩陣。在一實施例中，計算出影像感測裝置220的影像平面轉換至光學穿透式顯示器影像平面p的投影單應性矩陣的方法為最小均方誤差(minimum mean-square error,MMSE)法或隨機抽樣一致法(random sample consensus,RANSAC)。舉例而言，可使用最小均方誤差法或隨機抽樣一致法求出模擬人眼攝影機C到光學穿透 式顯示器影像平面p的單應性矩陣(homography matrix)
Figure 111143809-A0305-02-0010-3
。
再來，如圖4所繪示，關閉光學穿透式顯示器100，使用影像感測裝置220在不同角度拍攝複數個實體校正圖樣70影像。實體校正圖樣70具有複數個第二特徵點。實體校正圖樣70 可位於一實體校正板P上。
舉例而言，關閉光學穿透式顯示器100讓模擬人眼攝影機C可以直接拍攝實體校正板P，並拍攝j個不同角度的實體校正板P影像，其中實體校正板P上具有實體校正圖樣70，M ij 為第j個實體校正板P位置的第i個第二特徵點在世界座標系之座標，
Figure 111143809-A0305-02-0011-50
為模擬人眼攝影機C拍攝第j個校正板影像中辨識出第i個第二 特徵點在模擬人眼攝影機C影像平面之座標。
之後，使用複數個實體校正圖樣70影像中的複數個第二特徵點影像的座標及實體校正圖樣70上的複數個第二特徵點計算出影像感測裝置220的內部參數，以及影像感測裝置220與複數個實體校正圖樣70之間的外部參數。此外，使用投影單應性矩陣將複數個實體校正圖樣70影像中的複數個特徵點影像的座標轉換為光學穿透式顯示器影像平面p的投影點的座標。舉例 而言，
Figure 111143809-A0305-02-0011-4
為使用單應性矩陣
Figure 111143809-A0305-02-0011-6
將
Figure 111143809-A0305-02-0011-7
轉換到虛擬相機D影像平面 之座標(
Figure 111143809-A0305-02-0011-8
)。
此外，使用複數個實體校正圖樣70影像中轉換到光學穿透式顯示器影像平面p的複數個投影點的座標計算出光學穿透式顯示器100的虛擬相機D的內部參數，以及虛擬相機D與複數個實體校正圖樣70之間的外部參數。再者，使用影像感測裝置220與複數個實體校正圖樣70之間的外部參數及虛擬相機D與複數個實體校正圖樣70之間的外部參數計算出影像感測裝置220與虛擬相機D之間的外部參數。在一實施例中，計算出影像 感測裝置220與虛擬相機D之間的外部參數的方法包括張正友相機校正演算法。
舉例而言，可使用張正友相機校正演算法(可參照論文：「Zhang,Zhengyou."A flexible new technique for camera calibration." IEEE Transactions on pattern analysis and machine intelligence 22.11(2000)：1330-1334.」)，可由M ij 、
Figure 111143809-A0305-02-0012-10
、
Figure 111143809-A0305-02-0012-11
估算 出虛擬相機D的內部參數K D 及模擬人眼攝影機C與虛擬相機D兩者間的外參[
Figure 111143809-A0305-02-0012-58
|
Figure 111143809-A0305-02-0012-59
]。
具體而言，張正友相機校正演算法的推導，請參考圖4，K D (3×3)為虛擬相機D的內部參數(其中3×3代表K D 為3×3 矩陣)，
Figure 111143809-A0305-02-0012-16
(3×3)及
Figure 111143809-A0305-02-0012-17
(3×1)為實體校正板P座標系轉換到虛擬相 機D座標系之旋轉矩陣及平移向量(其中3×1代表
Figure 111143809-A0305-02-0012-14
為一個3×1 的矩陣，也就是一個向量)，依據針孔相機模型(pinhole camera model)及座標系轉換矩陣運算，實體校正板P座標系與虛擬相機D座標系的轉換關係可以表達如式(1)：
Figure 111143809-A0305-02-0012-13
其中[x P y P z P 1] T 為實體校正板P的實體校正圖樣70平面上其中一特徵點的齊次座標，[u v 1] T 為該特徵點投影到虛擬相機D影像平面的齊次座標，由於實體校正圖樣70為一平面，因此z P =0，因此從實體校正板P的實體校正圖樣70座標系轉換到虛擬相機D影像平面座標系的單應性矩陣H可簡化為式 (2)：
Figure 111143809-A0305-02-0013-19
Figure 111143809-A0305-02-0013-21
令H=[h 1 h 2 h 3]，式(2)可改寫為：[h 1 h 2 h 3]=λK D [r 1 r 2 t] (3)
藉由旋轉矩陣的特性，旋轉矩陣的每一行彼此皆為正交且模為1(即為單範正交(orthonormal))，可導出式(4)及式(5)：
Figure 111143809-A0305-02-0013-22
Figure 111143809-A0305-02-0013-23
單應性矩陣H可由
Figure 111143809-A0305-02-0013-25
及
Figure 111143809-A0305-02-0013-26
得出：
Figure 111143809-A0305-02-0013-24
其中，
Figure 111143809-A0305-02-0013-18
為實體校正板P至模擬人眼攝影機C的單應性 矩陣。
藉由式(4)(5)(6)，虛擬相機D的內部參數K D 可使用張正友校正演算法得出，接著將K D 套入式(3)，可求出虛擬相機D與實體校正圖樣70間的外參[
Figure 111143809-A0305-02-0013-67
|
Figure 111143809-A0305-02-0013-95
]，加上使用姿態估算(pose estimation)演算法求出的模擬人眼攝影機C與實體校正圖樣70間的外參[
Figure 111143809-A0305-02-0013-69
|
Figure 111143809-A0305-02-0013-70
]，便可導出模擬人眼攝影機C與虛擬相機D間的外參[
Figure 111143809-A0305-02-0013-54
|
Figure 111143809-A0305-02-0013-53
]。
請參照圖5，在一實施例中，校正系統200更包括一追蹤攝影機(tracking camera)230，耦接至控制器210，而控制器 210更執行以下步驟。首先，命令追蹤攝影機230拍攝一已知尺寸的實體圖樣(例如實體校正圖樣70)，並取得追蹤攝影機230與實體圖樣(例如實體校正圖樣70)的外部參數，其中追蹤攝影機230與影像感測裝置220之間已經校正，而取得追蹤攝影機230的內部參數及追蹤攝影機230與影像感測裝置220之間的外部參數。然後，將實體圖樣(例如實體校正圖樣70)上的一第三特徵點的座標轉換成追蹤攝影機230所拍攝到的影像的座標，然後再轉換成影像感測裝置220所拍攝到的影像的座標，接著再轉換成虛擬相機D的影像的座標，最後再轉換成光學穿透式顯示器100所顯示的虛像(即光學穿透式顯示器影像平面p上的虛擬影像113)的座標，其所代表的位置、第三特徵點及標準位置(即眼睛50觀看光學穿透式顯示器100的標準位置，也就是影像感測裝置220設置的標準位置)在空間中同一直線上，以達到虛擬影像113與外界的實際物體融合的效果。在一實施例中，取得追蹤攝影機230與實體圖樣(例如實體校正圖樣70)的外部參數的方法為姿態估算(pose estimation)演算法。
舉例而言，在需要偵測實際物體進行虛實影像融合的使用場景下，可加入一台追蹤攝影機230，在此標記為追蹤攝影機T，在追蹤攝影機T及模擬人眼攝影機C共同完成相機校正程序的前提下，追蹤攝影機T的內部參數K T 、模擬人眼攝影機C的內部參數K C 及兩者的外部參數[
Figure 111143809-A0305-02-0014-90
|
Figure 111143809-A0305-02-0014-92
]均為已知，則追蹤攝影機T拍攝已知尺寸圖樣(例如實體校正板P的實體校正圖樣70)時可使 用姿態估算演算法求出兩者間的外部參數[
Figure 111143809-A0305-02-0015-71
|
Figure 111143809-A0305-02-0015-72
]，將實體物件(如實體校正板P)上的第i個第三特徵點座標M i 轉換到追蹤攝影 機座標系{T}為
Figure 111143809-A0305-02-0015-27
；接者使用外部參數[
Figure 111143809-A0305-02-0015-73
|
Figure 111143809-A0305-02-0015-74
]再將
Figure 111143809-A0305-02-0015-32
轉換到模擬 人眼攝影機座標系{C}為
Figure 111143809-A0305-02-0015-28
，再使用外部參數[
Figure 111143809-A0305-02-0015-76
|
Figure 111143809-A0305-02-0015-77
]將
Figure 111143809-A0305-02-0015-33
轉換到 虛擬相機座標系{D}為
Figure 111143809-A0305-02-0015-29
，最後使用前一步驟得出之虛擬相機D 內參K D 將
Figure 111143809-A0305-02-0015-30
投影到虛擬成像平面(即光學穿透式顯示器影像平面 p)為
Figure 111143809-A0305-02-0015-51
，
Figure 111143809-A0305-02-0015-31
即為模擬人眼攝影機C在當前位置時與M i 的視覺重 合點。上述轉換的關係式如下式(7)及式(8)：
Figure 111143809-A0305-02-0015-34
Figure 111143809-A0305-02-0015-35
請再參照圖6，控制器210更執行以下步驟：反應於使用者的眼距(即雙眼瞳孔的距離)發生改變，在影像感測裝置220與虛擬相機D之間的外部參數增加一對應於眼距變化的平移量，並根據增加了此平移量後的外部參數計算出光學穿透顯示器100所顯示的虛擬影像113的位置。在一實施例中，此平移量的方向平行於使用者兩眼連線的方向。
舉例而言，當眼距設定發生變化時，以模擬人眼攝影機C校正時的位置作為基準，眼距改變後相當於模擬人眼攝影機C 在X C 軸上移動了
Figure 111143809-A0305-02-0015-36
，此時只需模擬人眼攝影機C與虛擬相機D 之間的外部參數[
Figure 111143809-A0305-02-0015-78
|
Figure 111143809-A0305-02-0015-79
]修正為[
Figure 111143809-A0305-02-0015-80
|
Figure 111143809-A0305-02-0015-83
+
Figure 111143809-A0305-02-0015-82
]套用在式(8)，即可計 算出模擬人眼攝影機在C'位置時的
Figure 111143809-A0305-02-0015-37
。如此一來，光學穿透式顯 示器100所顯示的虛擬影像113並能被根據眼距的不同而被作適 應性的調整，如此便能夠確保虛實影像融合的精確度。在本實施例中，X C 軸例如是平行於使用者的雙眼連線的方向，而Z C 軸例如是垂直於光學穿透式顯示器影像平面p，而d C→p 例如為模擬人眼攝影機C至光學穿透式顯示器影像平面p的距離，也就是圖2中的距離d。
在本實施例的光學穿透式顯示器100的校正方法及校正系統200中，由於可利用上述校正步驟計算出影像感測裝置220與虛擬相機D之間的外部參數，因此可使光學穿透式顯示器100出廠後可依據預先寫入的外部參數及設定眼距產生適合眼距的最佳化虛實融合影像。如此上來，便可使光學穿透式顯示器100適用於具有不同眼距的使用者，而不同眼距的使用者都能看到良好的虛實融合影像。
在另一實施例中，如圖7所繪示，上述平移量的方向相對於使用者兩眼連線的方向傾斜。舉例而言，當眼睛位置發生變化時，以模擬人眼攝影機C校正時的位置作為基準，眼睛位置改變後相當於模擬人眼攝影機C在X C 軸與Z C 軸所形的的平面上(或著在X C 軸、Y C 軸與Z C 軸所形成的空間中)移動了t C→C' ，此時只需模擬人眼攝影機C與虛擬相機D之間的外部參數[
Figure 111143809-A0305-02-0016-93
|
Figure 111143809-A0305-02-0016-94
]修正為[
Figure 111143809-A0305-02-0016-55
|
Figure 111143809-A0305-02-0016-56
+t C→C' ]套用在式(8)，即可計算出模擬人眼攝影機在C'位置時的
Figure 111143809-A0305-02-0016-52
。如此一來，光學穿透式顯示器100所顯示的虛擬影像113並能被根據眼睛位置的不同而被作適應性的調整，如此便能夠確保虛實影像融合的精確度。在本實施例中，X C 軸例如是平行 於使用者的雙眼連線的方向，而Z C 軸例如是垂直於光學穿透式顯示器影像平面p，Y C 軸例如是垂直於X C 軸與Z C 軸，而d C→p 例如為模擬人眼攝影機C至光學穿透式顯示器影像平面p的距離。
在一實施例中，控制器210例如為中央處理單元(central processing unit,CPU)、微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化控制器、可程式化邏輯裝置(programmable logic device,PLD)或其他類似裝置或這些裝置的組合，本發明並不加以限制。此外，在一實施例中，控制器210的各功能可被實作為多個程式碼。這些程式碼會被儲存在一個記憶體中，由控制器210來執行這些程式碼。或者，在一實施例中，控制器210的各功能可被實作為一或多個電路。本發明並不限制用軟體或硬體的方式來實作控制器210的各功能。
此外，圖2至圖4或圖2至圖5校正所得的參數可儲存於光學穿透式顯示器100的存儲器中，此儲存器例如是快閃記憶體、固態硬碟、磁碟、光碟或各種儲存器。如此一來，當光學穿透式顯示器100出廠後，便能夠根據使用者的需求，而利用光學穿透式顯示器100本身的控制器或外接其他外部控制器讀取儲存器中的參數，來執行圖6或圖7的步驟，以達到根據使用者的不同眼距設定來產生最佳化虛實融合影像。
綜上所述，在本發明的實施例的光學穿透式顯示器的校正方法及校正系統中，由於可利用上述校正步驟計算出影像感測 裝置與虛擬相機之間的外部參數，因此可使光學穿透式顯示器出廠後可依據預先寫入的外部參數及設定眼距產生適合眼距的最佳化虛實融合影像。
70:實體校正圖樣
200:校正系統
210:控制器
220:影像感測裝置
C:模擬人眼攝影機
D:虛擬相機
Figure 111143809-A0101-11-0002-3
、
Figure 111143809-A0101-11-0002-4
:單應性矩陣
K C 、K D :內部參數
M ij 、
Figure 111143809-A0101-11-0002-1
、
Figure 111143809-A0101-11-0002-2
:座標
P:實體校正板
p:光學穿透式顯示器影像平面
[
Figure 111143809-A0101-11-0002-13
|
Figure 111143809-A0101-11-0002-14
]:外部參數

Claims (18)

  1. 一種光學穿透式顯示器的校正方法，包括：使用一影像感測裝置固定於一使用者的一眼睛觀看一光學穿透式顯示器的標準位置，其中該影像感測裝置用以拍攝該光學穿透式顯示器所顯示的一虛擬影像及外界環境的一實體影像；使用該影像感測裝置拍攝該光學穿透式顯示器所顯示的一虛擬校正圖樣，並取得所拍攝到的該虛擬校正圖樣的複數個第一特徵點影像的座標值；使用該複數個第一特徵點影像的座標值及該虛擬校正圖樣的第一特徵點的座標值計算出該影像感測裝置的影像平面轉換至該光學穿透式顯示器的影像平面的投影單應性矩陣；關閉該光學穿透式顯示器，使用該影像感測裝置在不同角度拍攝複數個實體校正圖樣影像，該實體校正圖樣具有複數個第二特徵點；使用該複數個實體校正圖樣影像中的複數個第二特徵點影像的座標及該實體校正圖樣上的複數個第二特徵點計算出該影像感測裝置的內部參數，以及該影像感測裝置與該複數個實體校正圖樣之間的外部參數；使用該投影單應性矩陣將該複數個實體校正圖樣影像中的複數個第二特徵點影像的座標轉換為該光學穿透式顯示器的影像平面的投影點的座標；使用該複數個實體校正圖樣影像中轉換到該光學穿透式顯示 器影像平面的複數個投影點的座標計算出該光學穿透式顯示器的虛擬相機內部參數，以及該虛擬相機與該複數個實體校正圖樣之間的外部參數；以及使用該影像感測裝置與該複數個實體校正圖樣之間的外部參數及該虛擬相機與該複數個實體校正圖樣之間的外部參數計算出該影像感測裝置與該虛擬相機之間的外部參數。
  2. 如請求項1所述的光學穿透式顯示器的校正方法，其中該虛擬相機用以模擬該光學穿透式顯示器的一虛像投影機。
  3. 如請求項1所述的光學穿透式顯示器的校正方法，其中計算出該影像感測裝置的影像平面轉換至該光學穿透式顯示器的影像平面的該投影單應性矩陣的方法為最小均方誤差法或隨機抽樣一致法。
  4. 如請求項1所述的光學穿透式顯示器的校正方法，更包括：使用一追蹤攝影機拍攝一已知尺寸的實體圖樣，並取得該追蹤攝影機與該實體圖樣的外部參數，其中該追蹤攝影機與該影像感測裝置之間已經校正，而取得該追蹤攝影機的內部參數及該追蹤攝影機與該影像感測裝置之間的外部參數；以及將該實體圖樣上的一第三特徵點的座標轉換成該追蹤攝影機所拍攝到的影像的座標，然後再轉換成影像感測裝置所拍攝到的影像的座標，接著再轉換成該虛擬相機的影像的座標，最後再轉換成該光學穿透式顯示器所顯示的虛像的座標，其所代表的位置、該 第三特徵點及該標準位置在空間中同一直線上。
  5. 如請求項4所述的光學穿透式顯示器的校正方法，其中取得該追蹤攝影機與該實體圖樣的外部參數的方法為姿態估算演算法。
  6. 如請求項1所述的光學穿透式顯示器的校正方法，更包括：反應於使用者的眼距發生改變，在該影像感測裝置與該虛擬相機之間的該外部參數增加一對應於該眼距變化的平移量，並根據增加了該平移量後的該外部參數計算出該光學穿透顯示器所顯示的該虛擬影像的位置。
  7. 如請求項6所述的光學穿透式顯示器的校正方法，其中該平移量的方向平行於使用者兩眼連線的方向。
  8. 如請求項6所述的光學穿透式顯示器的校正方法，其中該平移量的方向相對於使用者兩眼連線的方向傾斜。
  9. 如請求項1所述的光學穿透式顯示器的校正方法，其中計算出該影像感測裝置與該虛擬相機之間的外部參數的方法包括張正友相機校正演算法。
  10. 一種校正系統，用以校正一光學穿透式顯示器，該校正系統包括：一影像感測裝置，固定於一使用者的一眼睛觀看該光學穿透式顯示器的標準位置，該影像感測裝置用以拍攝該光學穿透式顯示器所顯示的一虛擬影像及外界環境的一實體影像；以及 一控制器，耦接至該影像感測裝置與該光學穿透式顯示器，該控制器經配置以執行：命令該影像感測裝置拍攝該光學穿透式顯示器所顯示的一虛擬校正圖樣，並取得所拍攝到的該虛擬校正圖樣的複數個第一特徵點影像的座標值；使用該複數個第一特徵點影像的座標值及該虛擬校正圖樣的第一特徵點的座標值計算出該影像感測裝置的影像平面轉換至該光學穿透式顯示器的影像平面的投影單應性矩陣；關閉該光學穿透式顯示器，使用該影像感測裝置在不同角度拍攝複數個實體校正圖樣影像，該實體校正圖樣具有複數個第二特徵點；使用該複數個實體校正圖樣影像中的複數個第二特徵點影像的座標及該實體校正圖樣上的複數個第二特徵點計算出該影像感測裝置的內部參數，以及該影像感測裝置與該複數個實體校正圖樣之間的外部參數；使用該投影單應性矩陣將該複數個實體校正圖樣影像中的複數個第二特徵點影像的座標轉換為該光學穿透式顯示器的影像平面的投影點的座標；使用該複數個實體校正圖樣影像中轉換到該光學穿透式顯示器影像平面的複數個投影點的座標計算出該光學穿透式顯示器的虛擬相機內部參數，以及該虛擬相機與該複數個實體校正圖樣之間的外部參數；以及 使用該影像感測裝置與該複數個實體校正圖樣之間的外部參數及該虛擬相機與該複數個實體校正圖樣之間的外部參數計算出該影像感測裝置與該虛擬相機之間的外部參數。
  11. 如請求項10所述的校正系統，其中該虛擬相機用以模擬該光學穿透式顯示器的一虛像投影機。
  12. 如請求項10所述的校正系統，其中計算出該影像感測裝置的影像平面轉換至該光學穿透式顯示器的影像平面的該投影單應性矩陣的方法為最小均方誤差法或隨機抽樣一致法。
  13. 如請求項10所述的校正系統，更包括一追蹤攝影機，耦接至該控制器，該控制器更執行：命令該追蹤攝影機拍攝一已知尺寸的實體圖樣，並取得該追蹤攝影機與該實體圖樣的外部參數，其中該追蹤攝影機與該影像感測裝置之間已經校正，而取得該追蹤攝影機的內部參數及該追蹤攝影機與該影像感測裝置之間的外部參數；以及將該實體圖樣上的一第三特徵點的座標轉換成該追蹤攝影機所拍攝到的影像的座標，然後再轉換成影像感測裝置所拍攝到的影像的座標，接著再轉換成該虛擬相機的影像的座標，最後再轉換成該光學穿透式顯示器所顯示的虛像的座標，其所代表的位置、該第三特徵點及該標準位置在空間中同一直線上。
  14. 如請求項13所述的校正系統，其中取得該追蹤攝影機與該實體圖樣的外部參數的方法為姿態估算演算法。
  15. 如請求項10所述的校正系統，該控制器更執行： 反應於使用者的眼距發生改變，在該影像感測裝置與該虛擬相機之間的該外部參數增加一對應於該眼距變化的平移量，並根據增加了該平移量後的該外部參數計算出該光學穿透顯示器所顯示的該虛擬影像的位置。
  16. 如請求項15所述的校正系統，其中該平移量的方向平行於使用者兩眼連線的方向。
  17. 如請求項15所述的校正系統，其中該平移量的方向相對於使用者兩眼連線的方向傾斜。
  18. 如請求項10所述的校正系統，其中計算出該影像感測裝置與該虛擬相機之間的外部參數的方法包括張正友相機校正演算法。
TW111143809A 2022-01-26 2022-11-16 光學穿透式顯示器的校正方法與校正系統 TWI831475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/156,387 US11961258B2 (en) 2022-01-26 2023-01-19 Calibration method for optical see-through display and calibration system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263303464P 2022-01-26 2022-01-26
US63/303,464 2022-01-26

Publications (2)

Publication Number Publication Date
TW202332269A TW202332269A (zh) 2023-08-01
TWI831475B true TWI831475B (zh) 2024-02-01

Family

ID=87315490

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111143809A TWI831475B (zh) 2022-01-26 2022-11-16 光學穿透式顯示器的校正方法與校正系統

Country Status (2)

Country Link
CN (1) CN116500785A (zh)
TW (1) TWI831475B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201421071A (zh) * 2012-11-21 2014-06-01 Ind Tech Res Inst 穿透型頭部穿戴式顯示系統與互動操作方法
US20160012643A1 (en) * 2014-07-10 2016-01-14 Seiko Epson Corporation HMD Calibration with Direct Geometric Modeling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201421071A (zh) * 2012-11-21 2014-06-01 Ind Tech Res Inst 穿透型頭部穿戴式顯示系統與互動操作方法
US20160012643A1 (en) * 2014-07-10 2016-01-14 Seiko Epson Corporation HMD Calibration with Direct Geometric Modeling

Also Published As

Publication number Publication date
TW202332269A (zh) 2023-08-01
CN116500785A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US11042034B2 (en) Head mounted display calibration using portable docking station with calibration target
US10915148B1 (en) Dynamic distortion correction for optical compensation
US11755106B1 (en) Glint-assisted gaze tracker
CN108780223B (zh) 用于生成眼睛模型的角膜球跟踪
WO2019205299A1 (zh) 视觉测量***结构参数标定和仿射坐标系构建方法与***
JP2612097B2 (ja) ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム
US9898082B1 (en) Methods and apparatus for eye tracking
CN109844610A (zh) 眼睛跟踪***
CN104244807A (zh) 注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质
JP2006523067A (ja) 物体上に出力画像を表示する方法
US20210183102A1 (en) Raycast calibration for artificial reality head-mounted displays
US9990739B1 (en) Method and device for fisheye camera automatic calibration
JP2016100698A (ja) 校正装置、校正方法、プログラム
JP6984071B6 (ja) 器具なしレンズメータシステム
CN109884793A (zh) 用于估计虚拟屏幕的参数的方法和设备
CN109615664A (zh) 一种用于光学透视增强现实显示器的标定方法与设备
WO2020132964A1 (zh) 柔性屏的弯曲检测方法、装置及可读存储介质
US10225533B2 (en) Structured light generation and processing on a mobile device
JP2022541100A (ja) 共同環境再構築およびカメラキャリブレーション
CN109981932A (zh) 基于结构光的深度相机及其校正方法
TWI831475B (zh) 光學穿透式顯示器的校正方法與校正系統
US11961258B2 (en) Calibration method for optical see-through display and calibration system
JP2012029940A (ja) 視線計測方法及び視線計測装置
JP5337409B2 (ja) 情報提示装置
Azougagh et al. Auto-fit multiple movable projections into one display screen