TWI688274B

TWI688274B - 影像校正方法及影像校正系統

Info

Publication number: TWI688274B
Application number: TW107118215A
Authority: TW
Inventors: 黃振誠
Original assignee: 明基電通股份有限公司
Priority date: 2018-05-29
Filing date: 2018-05-29
Publication date: 2020-03-11
Also published as: TW202005363A

Abstract

影像校正方法包含投影機投影影像至影像平面，以使影像平面顯示投射影像；產生投射影像之第一邊緣轉折影像；產生投射影像之第二邊緣轉折影像；依據第一邊緣轉折影像，偵測投射影像之第一邊及第二邊所夾的第一夾角；依據第二邊緣轉折影像，偵測投射影像之第三邊及第四邊所夾的第二夾角；及依據第一夾角及第二夾角校正投射影像，以產生校正後的投射影像，並藉以實現投射影像失真的校正。

Description

影像校正方法及影像校正系統

本發明揭露一種影像校正方法及影像校正系統，尤指一種具有自動校正投射影像失真功能的影像校正方法及影像校正系統。

隨著科技日新月異，各種顯示技術也越來越發達。高解析度的顯示器以及機動性高的投影設備也廣於應用在日常生活中。投影技術可擴展一般螢幕顯示器之外的顯示應用，像是空間藝術、擴增實境以及死角消減應用等等。如今，許多立體投影技術透過光學科技，並結合設計概念的創新呈現下，可創造出更令人驚艷的視覺傳達效果，以呈現出具超現實的場域空間影像。此外，在現今空間利用率緊繃的環境中，當我們需要大尺寸的顯示畫面時，短距離的投影設備就顯得相當實用。短距離的投影設備可以應用於各種空間，特別是小型的會議室。短距離的投影設備也稱為短焦投影機。這種短焦投影機的成像距離較短，因此投影機的光線照射距離不會太長，可以保護使用者的眼睛。並且，短焦投影機所投影的畫面亮度，也比較不會隨著投影面積的加大而快速遞減。因此，短焦投影機也具有節能環保、護眼以及降低後期維護成本的優勢。

然而，投射畫面容易扭曲是短焦投影機容易出現的問題，原因是成像距離越短，經光學原理產生的影像變形也較明顯。特別是當短焦投影機發生水平旋轉或是垂直旋轉偏移時，投射畫面將會產生梯形失真。目前投射畫面的梯形失真可以使用手動的方式調整投影機的水平以及垂直軸來校正，或是利用投影機內建的自動梯形校正功能來校正投射畫面。然而，因短焦投影機的成像距離短，因此當投射畫面的寬度很大時，投射比(Throw Ratio)會變得很小。這將導致投影機無法自動偵測到投射畫面失真的部分，而導致校正品質較差。因此，目前短焦投影機的投射畫面校正的方法仍需要改良。

本發明一實施例提出一種影像校正方法，包含投影機投影影像至影像平面，以使影像平面顯示投射影像，產生投射影像之第一邊緣轉折影像，產生投射影像之第二邊緣轉折影像，依據第一邊緣轉折影像，偵測投射影像之第一邊及第二邊所夾的第一夾角，依據第二邊緣轉折影像，偵測投射影像之第三邊及第四邊所夾的第二夾角，及依據第一夾角及第二夾角校正投射影像，以產生校正後的投射影像。投射影像的形狀係為四邊形，校正後的投射影像之形狀係為矩形。第一夾角及第二夾角係為投射影像之對角線的兩夾角。

本發明另一實施例提出一種影像校正系統，包含投影機、螢幕、第一相機及第二相機。投影機用以將影像投影至影像平面。螢幕面對於投影機，用以提供影像平面以顯示投射影像。第一相機耦接於投影機，用以擷取投射影像之第一邊緣轉折區域的第一擷取影像。第二相機耦接於投影機，用以擷取投射影像之第二邊緣轉折區域的第二擷取影像。投影機將第一擷取影像及第二擷取影像，依據第一相機、第二相機與投影機的相對位置，產生第一邊緣轉折影像及第二邊緣轉折影像，依據第一邊緣轉折影像，偵測投射影像之第一邊及第二邊所夾的第一夾角，依據第二邊緣轉折影像，偵測投射影像之第三邊及第四邊所夾的第二夾角，依據第一夾角及第二夾角校正投射影像，以產生校正後的投射影像，並將校正後的投射影像投影至影像平面。

100:影像校正系統

10:投影機

11:螢幕

12:第一相機

13:第二相機

C1:第一影像擷取方向

C2:第二影像擷取方向

D1:投影方向

PIMG:投射影像

R1:第一邊緣轉折區域

R2:第二邊緣轉折區域

EIMG1:第一邊緣轉折影像

EIMG2:第二邊緣轉折影像

CAP1:第一擷取影像

CAP2:第二擷取影像

L1:第一邊

L2:第二邊

L3:第三邊

L4:第四邊

A1:第一夾角

A2:第二夾角

H:水平軸

V:垂直軸

L1’:調整後的第一邊

L2’:調整後的第二邊

L3’:調整後的第三邊

L4’:調整後的第四邊

CIMG:校正後的投射影像

S801至S806:步驟

第1圖係為本發明之影像校正系統之實施例的示意圖。

第2圖係為第1圖之影像校正系統中，第一相機所取得之第一擷取影像的示意圖。

第3圖係為第1圖之影像校正系統中，第二相機所取得之第二擷取影像的示意圖。

第4圖係為第1圖之影像校正系統中，投影機僅在水平軸發生轉動偏移而使投射影像失真的示意圖。

第5圖係為第1圖之影像校正系統中，投影機僅在垂直軸發生轉動偏移而使投射影像失真的示意圖。

第6圖係為第1圖之影像校正系統中，投射影像同時發生水平方向失真以及垂直方向失真的示意圖。

第7圖係為第1圖之影像校正系統中，投影機將投射影像校正，以產生校正後的投射影像之示意圖。

第8圖係為第1圖之影像校正系統中，影像校正方法的流程圖。

第1圖係為本發明之影像校正系統100之實施例的示意圖。影像校正系統100包含投影機10、螢幕11、第一相機12及第二相機13。投影機10用以將影像投影至影像平面。在影像校正系統100中，投影機10可為短焦投影機或是一般的投影機。影像平面可為任何光線吸收率低於100%的平面。例如，螢幕11可提供影像平面或是單色的牆壁也可提供影像平面。在本實施例中，螢幕11面對於投影機10，用以提供影像平面以顯示投射影像。例如，投影機10可以將畫素為1024×768的影像，依據投影方向D1投影到螢幕11，以產生投射影像PIMG。投射影像PIMG的形狀可為四邊形。然而，投射影像PIMG的形狀可能會因為投影機10位置的偏移或旋轉而失真。例如，投射影像PIMG的形狀可能失真為梯形或是任何非矩形的四邊形。第一相機12耦接於投影機10，用以取得第一擷取影像(如第2圖之第一擷取影像CAP1)。第一擷取影像包含投射影像PIMG之第一邊緣轉折區域R1。然而，第一擷取影像可利用第一相機12，沿著第一擷取方向C1而產生，故第一擷取方向C1與投影方向D1的差異性會造成第一擷取影像的歪斜。第二相機13耦接於投影機10，用以取得第二擷取影像(如第3圖之第二擷取影像CAP2)。第二擷取影像包含投射影像PIMG之第二邊緣轉折區域R2。然而，第二擷取影像可利用第二相機13，沿著第二擷取方向C2而產生，故第二擷取方向C2與投影方向D1的差異性會造成第二擷取影像的歪斜。在影像校正系統100中，投影機10可將第一擷取影像及第二擷取影像，依據第一相機12、第二相機13與投影機10的相對位置，產生第一邊緣轉折影像EIMG1及第二邊緣轉折影像EIMG2。意即，投影機10可依據第一相機12與投影機10的相對位置將第一擷取影像轉變，以產生第一邊緣轉折影像EIMG1。投影機10可依據第二相機13與投影機10的相對位置將第二擷取影像轉變，以產生第二邊緣轉折影像EIMG2。然而，本發明並未被此限制。例如，第一相機12以及第二相機13可以各自產生第一邊緣轉折影像EIMG1及第二邊緣轉折影像EIMG2，再將第一邊緣轉折影像EIMG1及第二邊緣轉折影像EIMG2的訊息傳送至投影機10。任何合理的技術變更都屬於本發明所揭露的範疇。投影機10可依據第一邊緣轉折影像EIMG1，偵測投射影像PIMG之第一邊及第二邊所夾的第一夾角，依據第二邊緣轉折影像EIMG2，偵測投射影像PIMG之第三邊及第四邊所夾的第二夾角。其中，第一邊、第二邊、第三邊以及第四邊圍成投射影像PIMG的區域。並且，投影機10可依據第一夾角及第二夾角校正投射影像PIMG，以產生校正後的投射影像，再將校正後的投射影像投影至影像平面(由螢幕11提供)。於其他實施例中，若第一擷取方向C1、投影方向 D1及第二擷取方向C2三者方向相同(即相互重合)，則第一擷取影像即為第一邊緣轉折影像EIMG1，以及第二擷取影像即為第二邊緣轉折影像EIMG2。於此，則無需依據第一相機12、第二相機13與投影機10的相對位置進行轉變。下文將詳述影像校正系統100校正影像的方法以及原理。

第2圖係為影像校正系統100中，第一相機12所取得之第一擷取影像CAP1的示意圖。第3圖係為影像校正系統100中，第二相機13所取得之第二擷取影像CAP2的示意圖。第一相機12可與投影機10分離設置，並利用有線或無線的方式進行資料傳輸。因此，第一相機12與投影機10會產生第一相對位置。第一相對位置的定義可為以投影機10為原點時，第一相機12相對於原點的空間三軸方向以及距離。如前述提及，由於第一相機12依據第一影像擷取方向C1擷取包含投射影像PIMG之第一邊緣轉折區域R1的第一擷取影像CAP1，且第一相機12與投影機10之間具有第一相對位置，因此第一影像擷取方向C1與投影方向D1不同。這將導致第一相機12所擷取的第一擷取影像CAP1內之第一邊緣轉折區域R1之結構將發生歪斜，例如轉折區域的夾角影像出現失真的情況。因此，投影機10會依據投影機10與第一相機12的第一相對位置，產生第一調整參數。例如，投影機10可利用第一調整參數，將第一擷取影像CAP1的影像擷取方向校正為與投影方向D1一致，使第一擷取影像CAP1接近於螢幕11所呈現之投射影像PIMG的第一邊緣轉折影像EIMG1。類似地，第二相機13可與投影機10分離設置，並利用有線或無線的方式進行資料傳輸。因此第二相機13與投影機10會產生第二相對位置。第二相對位置的定義可為以投影機10為原點時，第二相機13相對於原點的空間三軸方向以及距離。如前述提及，由於第二相機13依據第二影像擷取方向C2擷取包含投射影像PIMG之第二邊緣轉折區域R2的第二擷取影像CAP2，且第二相機13與投影機10之間具有第二相對位置，因此第二影像擷取方向C2與投影方向D1不同。這將導致第二相機13所擷取的第二擷取影像CAP2內之第二邊緣轉折區域R2之結構發生歪斜，例如轉折區域的夾角影像出現失真的情況。因此，投影機10會依據投影機10與第二相機13的第二相對位置，產生第二調整參數。例如，投影機10可利用第二調整參數，將第二擷取影像CAP2的影像擷取方向校正為與投影方向D1一致，使第二擷取影像CAP2接近於螢幕11所呈現之投射影像PIMG的第二邊緣轉折影像EIMG2。

然而，本發明不限制由第一相機12以及第二相機13擷取投射影像PIMG的部分影像區域，再經過影像處理之後產生第一邊緣轉折影像EIMG1以及第二邊緣轉折影像EIMG2。例如，影像校正系統100也可以僅利用單一相機，以轉動的方式於兩個不同的時間內，擷取投射影像PIMG的兩個不同部分的影像區域，並依序產生第一邊緣轉折影像EIMG1以及第二邊緣轉折影像EIMG2。任何合理的技術變更都屬於本發明所揭露的範疇。並且，如前述提及，投影機10可為短焦投影機，第一相機12以及第二相機13可為兩非廣角鏡頭相機。由於第一相機12以及第二相機13可為非廣角鏡頭相機，因此擷取到的影像不會有廣角變形。並且，第一相機12以及第二相機13也具備製程容易且價格低廉的優點。

第4圖係為影像校正系統100中，投影機10僅在水平軸H發生轉動偏移而使投射影像PIMG失真的示意圖。如前述，投射影像PIMG的形狀可能會因為投影機10的轉動而失真。例如，當投影機10僅在水平軸H發生轉動偏移時(例如往下或往上傾斜)，投影機10投影在螢幕11的投射影像PIMG會產生梯形失真。例如，投射影像PIMG中之第一邊L1及第四邊L4平行，第二邊L2及第三邊L3不平行，且第一夾角A1及第二夾角A2中至少一者不為直角。原理解釋如下。當投影機10在水平軸H發生轉動偏移時，投影機10所發出之影像上側的光束長度會與影像下側的光束長度不一致。例如，影像上側的光束比較短，投影到螢幕11之投射影像PIMG的第一邊L1就會比較短。影像下側的光束比較長，投影到螢幕11之投射影像PIMG的第四邊L4就會比較長。因此，投射影像PIMG會變為第一邊L1 較短而第四邊L4較長的梯形。由於投射影像PIMG失真為梯形，因此第一邊緣轉折影像EIMG1內之投射影像PIMG的第一夾角A1非為直角，且第一邊緣轉折影像EIMG2內之投射影像PIMG的第二夾角A2非為直角。當第一夾角A1或第二夾角A2非為直角時，投影機10將判斷投射影像PIMG為失真的情況，而進入影像校正的步驟。例如，投影機10可依據第一夾角A1及第二夾角A2，調整投射影像PIMG之第二邊L2及第三邊L3，以產生校正後的投射影像之調整後的第二邊及調整後的第三邊。調整後的第二邊及調整後的第三邊互相平行。並且，雖然投射影像PIMG的第一邊L1以及第四邊L4為平行，但因為第二邊L2及第三邊L3需要調整，因此第一邊L1或第四邊L4的長度也需要調整，以使投射影像PIMG為矩形，且符合在投射焦距下之預設影像輸出尺寸。例如，第四邊L4會被縮減到與第一邊L1相同的長度，以使投射影像PIMG的四個端點的角度為直角。因此，影像校正系統100具有垂直梯形影像校正(V-Keystone)的功能。

第5圖係為影像校正系統100中，投影機10僅在垂直軸V發生轉動偏移而使投射影像PIMG失真的示意圖。如前述，投射影像PIMG的形狀可能會因為投影機10的轉動而失真。例如，當投影機10僅在垂直軸V發生轉動偏移時(例如往左或往右傾斜)，投影機10投影在螢幕11的投射影像PIMG會產生梯形失真。例如，投射影像PIMG中之第二邊L2及第三邊L3平行，第一邊L1及第四邊L4不平行，且第一夾角A1及第二夾角A2中至少一者不為直角。原理解釋如下。當投影機10在垂直軸V發生轉動偏移時，投影機10所發出之影像左側的光束長度會與影像右側的光束長度不一致。例如，影像左側的光束比較短，投影到螢幕11之投射影像PIMG的第二邊L2就會比較短。影像右側的光束比較長，投影到螢幕11之投射影像PIMG的第三邊L3就會比較長。因此，投射影像PIMG會變為第二邊L2較短而第三邊L3較長的梯形。由於投射影像PIMG失真為梯形，因此第一邊緣轉折影像EIMG1內之投射影像PIMG的第一夾角A1非為直角，且第二邊緣轉折影像 EIMG2內之投射影像PIMG的第二夾角A2非為直角。當第一夾角A1或第二夾角A2非為直角時，投影機10將判斷投射影像PIMG為失真的情況，而進入影像校正的步驟。例如，投影機10可依據第一夾角A1及第二夾角A2，調整投射影像PIMG之第一邊L1及第四邊L4，以產生校正後的投射影像之調整後的第一邊及調整後的第四邊。調整後的第一邊及調整後的第四邊互相平行。並且，雖然投射影像PIMG的第二邊L2以及第三邊L3為平行，因為第一邊L1及第四邊L4需要調整，因此第二邊L2或第三邊L3的長度也需要調整，以使投射影像PIMG為矩形，且符合在投射焦距下之預設影像輸出尺寸。例如，第三邊L3會被縮減到與第二邊L2相同的長度，以使投射影像PIMG的四個端點的角度為直角。因此，影像校正系統100具有水平梯形影像校正(H-Keystone)的功能。

第6圖係為影像校正系統100中，投射影像PIMG同時發生水平方向失真以及垂直方向失真的示意圖。第7圖係為影像校正系統100中，投影機10將投射影像PIMG校正，以產生校正後的投射影像CIMG之示意圖。在影像校正系統100中，如前述提及，投射影像PIMG可以利用水平梯形影像校正或是垂直梯形影像校正的功能校正影像失真。並且，當投影機10在垂直軸V以及水平軸H同時發生轉動偏移而使投射影像PIMG失真時，影像校正系統100也可以將失真的投射影像PIMG校正為矩形，說明如下。當投影機10在垂直軸V以及水平軸H同時發生轉動偏移而使投射影像PIMG失真時，投射影像PIMG的四個邊都可能都會產生歪斜，導致投射影像PIMG的四個端點的夾角都不是直角。例如，在第6圖中，投影機10依據第一邊緣轉折影像EIMG1內之第一夾角A1以及依據第二邊緣轉折影像EIMG2內之第二夾角A2，偵測出第一邊L1及第四邊L4不平行，且第二邊L2及第三邊L3不平行。因此，投影機10可依此判斷投射影像PIMG同時發生了水平影像失真以及垂直影像失真。接著，投影機10可依據第一夾角A1，調整投射影像PIMG之第一邊L1及第二邊L2，以產生互相垂直的調整後的第一邊L1’及調整後的第二邊L2’。以及，投影機10可依據第二夾角A2，調整投射影像PIMG之第三邊L3及第四邊L4，以產生互相垂直的調整後的第三邊L3’及調整後的第四邊L4’。並且，如前述提及，由於投射影像PIMG為四個邊所圍成的影像，屬於一個封閉的影像範圍。因此，調整投射影像PIMG之第一邊L1、第二邊L2、第三邊L3以及第三邊L4的斜率時，也要同時調整第一邊L1、第二邊L2、第三邊L3以及第三邊L4的長度。如此，調整後的第一邊L1’、調整後的第二邊L2’、調整後的第三邊L3’以及調整後的第四邊L4’可圍成如第7圖所示的矩形區域，即產生校正後的投射影像CIMG。並且，調整後的第一邊L1’的長度等於調整後的第四邊L4’的長度，且調整後的第二邊L2’的長度等於調整後的第三邊L3’的長度。需要特別說明的是，上述當投射影像PIMG同時發生水平方向失真以及垂直方向失真的調整方法(即，同時調整第一邊L1、第二邊L2、第三邊L3以及第四邊L4的方法)，可以作為影像校正系統100的通用調整方法。換句話說，可在無需在判斷投射影像PIMG是否同時在水準軸H和垂直軸V發生轉動偏移的前提條件下執行，故可以達到快速執行的功效，如下步驟：先依據第一夾角，調整投射影像的第一邊及第二邊，以產生互相垂直的調整後的第一邊及調整後的第二邊。接著，依據第二夾角調整投射影像的第三邊及第四邊，以產生互相垂直的調整後的第三邊及調整後的第四邊，再依據調整後的第一邊、調整後的第二邊、調整後的第三邊及調整後的第四邊產生校正後的投射影像。並且，當遇到無需調整的第一邊及/或第二邊、及/或第三邊、及/或第四邊時，則可不用調整對應的邊之斜率，或者可直接將對應的邊微調其長度後，視為調整後的邊。

在影像校正系統100中，投影機10可為短焦投影機，投射比(Throw Ratio)可為0.3~0.45。投射比以數學表示可為d/W，其中d為投影機10與影像平面(螢幕11)之間的距離，而W為校正後的投射影像CIMG之寬度。然而，本發明卻不被特定的投射比所侷限。例如，投影機10可支援更小的投射比，以更節省投影空間並能產生更寬敞的投射影像。

第8圖係為影像校正系統100中，影像校正方法的流程圖。影像校正方法的流程包含步驟S801至步驟S806。任何合理的步驟變更都屬於本發明所揭露的範疇，步驟S801至步驟S806說明如下。

步驟S801：投影機10投影影像至影像平面，以使影像平面顯示投射影像PIMG；步驟S802：產生投射影像PIMG之第一邊緣轉折影像EIMG1；步驟S803：產生投射影像PIMG之第二邊緣轉折影像EIMG2；步驟S804：依據第一邊緣轉折影像EIMG1，偵測投射影像PIMG之第一邊L1及第二邊L2所夾的第一夾角A1；步驟S805：依據第二邊緣轉折影像EIMG2，偵測投射影像PIMG之第三邊L3及第四邊L4所夾的第二夾角A2；步驟S806：依據第一夾角A1及第二夾角A2校正投射影像PIMG，以產生校正後的投射影像CIMG。

步驟S801至步驟S806的詳細說明已於前文中詳述，故於此將不再贅述。在影像校正系統100中，第一夾角A1及第二夾角A2可為投射影像PIMG的相對的兩個夾角，且第一夾角A1的端點及第二夾角A2的端點之連線可為投射影像PIMG之對角線。例如，上述實施例中，第一邊緣轉折影像EIMG1內之第一夾角A1，即為投射影像PIMG左上端點對應的夾角。第二邊緣轉折影像EIMG2內之第二夾角A2，即為投射影像PIMG右下端點對應的夾角。然而，影像校正系統100也可以利用投射影像PIMG右上端點對應的夾角以及左下端點對應的夾角來校正投射影像PIMG。並且，影像校正系統100計算夾角的方式可依據夾角兩邊的斜率來計算。例如，於第6圖中，於第一邊緣轉折影像EIMG1被產生後，影像校正系統100可以取得通過第一邊L1的兩點座標，以使第一邊L1符合線性方程式 Y=AL1×X+BL1，其中AL1為第一邊L1的斜率，BL1為第一邊L1對原點的偏移量，Y和X為直角座標系中之垂直軸和水平軸的座標。類似地，影像校正系統100可以取得通過第二邊L2的兩點座標，以使第二邊L2符合線性方程式Y=AL2×X+BL2，其中AL2為第二邊L2的斜率，BL2為第二邊L2對原點的偏移量，Y和X為直角座標系中，垂直軸和水平軸的座標。影像校正系統100可利用第一邊L1以及第二邊L2的斜率，檢測第一邊L1以及第二邊L2之第一夾角A1是否垂直。然而，影像校正系統100可以用任何影像辨識或是數值計算的方式來偵測第一夾角A1以及第二夾角A2，本發明並不被上述的演算法所侷限。

綜上所述，本發明描述了一種影像校正方法及影像校正系統，可應用於短焦投影機產生之投射影像的失真校正。影像校正系統可引入了一個以上的非廣角相機，來偵測投射影像之對角線的兩個夾角。影像校正系統可依據投射影像之對角線的兩個夾角，修正投射影像的四個邊，以產生矩形之修正後的投射影像。並且，由於影像校正系統引入的相機為非廣角相機，因此相機所擷取的影像不會受到有廣角變形或是廣角失真的影響。非廣角相機的製程也較為簡單，且成本低廉。並且，影像校正系統的相機只要擷取到投射影像之對角線的兩個夾角的影像即可，不需要擷取到全幅的投射影像，故影像校正系統的校正功能不會受到傳統廣角相機的視野限制。因此，本發明的影像校正系統，除了具有製程簡單且成本低廉的優點外，也具有很高的投射影像校正品質。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。