TWI676855B - 投影機校正方法與使用此方法的投影系統 - Google Patents

投影機校正方法與使用此方法的投影系統 Download PDF

Info

Publication number
TWI676855B
TWI676855B TW107129094A TW107129094A TWI676855B TW I676855 B TWI676855 B TW I676855B TW 107129094 A TW107129094 A TW 107129094A TW 107129094 A TW107129094 A TW 107129094A TW I676855 B TWI676855 B TW I676855B
Authority
TW
Taiwan
Prior art keywords
image
projector
dome
spatial relationship
camera
Prior art date
Application number
TW107129094A
Other languages
English (en)
Other versions
TW202008064A (zh
Inventor
蕭佩琪
Pei-Chi Hsiao
Original Assignee
中強光電股份有限公司
Coretronic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司, Coretronic Corporation filed Critical 中強光電股份有限公司
Application granted granted Critical
Publication of TWI676855B publication Critical patent/TWI676855B/zh
Publication of TW202008064A publication Critical patent/TW202008064A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提出一種投影機校正方法，用於使球面目標影像成像於觀看點。所述投影機校正方法包括：藉由一第一投影機投射一第一預設影像至一球幕，並且利用一第一攝像機拍攝該球幕以取得一第一變形影像；根據該第一預設影像以及該第一變形影像，計算該第一投影機、該第一攝像機以及該球幕之間的空間關係；根據該目標影像、該第一投影機與該球幕之間的空間關係以及該球幕與該觀看點之間的空間關係，產生一第一前置變形影像；以及藉由該第一投影機根據該第一前置變形影像進行投影。此外，一種使用此方法的投影系統亦被提出。

Description

投影機校正方法與使用此方法的投影系統
本發明是有關於一種投影方法，且特別是有關於一種球幕投影的投影機校正方法與使用此方法的投影系統。
多台投影機的投影拼接融合技術能夠因應大螢幕顯示的需求，特別是因應諸如弧形、球面、曲面、柱狀或大平面等不同幾何形狀的投影幕，以達到特殊投影的效果。在各種形狀的投影幕中，以球型投影幕最為具有包覆性，觀看者在特定位置上能夠看到高解析度且大範圍視角的影像，具有沉浸式(immersive)的虛擬實境感受。然而，影像投影到球型投影幕時會產生複雜的扭曲變形，因此如何預先進行校正成為需要研究的課題。
在目前的技術當中大多是透過諸如魚眼鏡頭、凸面反射鏡、非球面反射鏡或球面反射鏡等的硬體裝置來將影像預先變形，以使觀看者能夠看到未變形的影像。
但是，利用硬體裝置來達到上述目的的前提是投影機、投影屏幕與硬體裝置的相對擺設必須是固定的，因此在實際應用上難以擴充投影機機台數量，也不能任意變動投影機的位置，導致可以利用的空間受到侷限。此外，從投影機投出的光線會經過硬體裝置的反射或折射才會投影到投影幕，導致最終所呈現的亮度衰減。
“先前技術”段落只是用來幫助了解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表該內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種投影機校正方法與使用此方法的投影系統，可讓投射於球幕的影像不會扭曲，讓觀看者有良好的觀看品質以及具有良好的便利性與擴充性。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的，本發明的一實施例提出一種投影系統，包括第一投影機、球幕以及處理器。第一投影機投射球面目標影像。球幕接收球面目標影像。處 理器，耦接於第一投影機，並且用於根據目標影像、第一投影機與球幕之間的空間關係，以及球幕與觀看點之間的空間關係，產生第一前置變形影像，其中第一投影機根據第一前置變形影像進行投影，以使球面目標影像成像於該觀看點，其中觀看點的位置與球幕的球心位置的距離至少大於或等於球幕的球半徑/tan(fov/2)的距離，fov為觀看視角。
在本發明的一實施例中，上述的投影系統還包括第一攝像機，耦接於處理器，其中第一投影機投射第一預設影像至球幕，第一攝像機拍攝球幕，以取得第一變形影像。
在本發明的一實施例中，上述的處理器用於根據第一預設影像以及第一變形影像，計算第一投影機、第一攝像機以及球幕之間的空間關係。
在本發明的一實施例中，上述的處理器用於根據目標影像以及第一投影機與球幕之間的空間關係，計算出該第一前置變形影像，其中第一投影機投射第一前置變形影像至球幕以在球幕上形成第一球面影像，並且球面目標影像相同於第一球面影像。
在本發明的一實施例中，上述的處理器用於根據目標影像、球幕與觀看點之間的空間關係以及對應所述觀看點的內在參數，計算球面目標影像。
在本發明的一實施例中，上述的投影系統更包括耦接於處理器的第二投影機。處理器用於根據目標影像以及球幕與觀看點之間的空間關係，計算球面目標影像；根據第一投影機與球幕 之間的空間關係以及第一投影機的第一投影範圍，選擇球面目標影像的第一部分影像；以及根據第一部分影像以及第一投影機與球幕之間的空間關係，產生第一前置變形影像。
在本發明的一實施例中，上述的處理器用於根據第二投影機與球幕之間的空間關係以及第二投影機的第二投影範圍，選擇球面目標影像的第二部分影像；以及根據第二部分影像以及第二投影機與球幕之間的空間關係，產生第二前置變形影像。第二投影機根據第二前置變形影像進行投影。
在本發明的一實施例中，上述的第二投影機投射第二預設影像至球幕，並且第一攝像機拍攝球幕以取得第二變形影像。處理器更用於：根據第二預設影像以及第二變形影像，計算第二投影機、第一攝像機以及球幕之間的空間關係。
在本發明的一實施例中，上述的第一投影範圍與第二投影範圍在球幕上具有重疊區域。處理器更用於：調整第一前置變形影像以及第二前置變形影像的亮度。第一投影機根據調整後的第一前置變形影像進行投影，且第二投影機根據調整後的第二前置變形影像進行投影，以在球幕上形成合成球面影像，其中合成球面影像對應於重疊區域的亮度相同於球面目標影像對應於重疊區域的亮度。
在本發明的一實施例中，上述的處理器用於：根據第一部分影像以及觀看點與球幕之間的空間關係建立第一亮度遮罩，並且根據第二部分影像以及觀看點與球幕之間的空間關係建立第 二亮度遮罩；正規化第一亮度遮罩以及第二亮度遮罩；根據正規化後的第一亮度遮罩以及第一投影機、觀看點與球幕之間的空間關係，產生第一前置變形亮度遮罩；根據正規化後的第二亮度遮罩以及第二投影機、觀看點與球幕之間的空間關係，產生第二前置變形亮度遮罩；以及分別利用第一前置變形亮度遮罩以及第二前置變形亮度遮罩調整第一前置變形影像以及第二前置變形影像的亮度。
在本發明的一實施例中，上述的投影系統更包括耦接於處理器的第二攝像機。第二投影機投射第二預設影像至球幕，並且第二攝像機拍攝球幕以取得第二變形影像。第一攝像機拍攝顯示於球幕上的第三預設影像以取得第三變形影像，並且第二攝像機拍攝顯示於球幕上的第三預設影像以取得第四變形影像。處理器更用於根據第二預設影像以及第二變形影像，計算第二投影機、第二攝像機以及球幕之間的空間關係；以及根據第三變形影像以及第四變形影像，計算第一攝像機與第二攝像機之間的空間關係，以取得第一投影機、第二投影機以及球幕之間的空間關係。
在本發明的一實施例中，上述的第一預設影像包括多個控制點。處理器更用於取得第一變形影像中對應於控制點的多個對應控制點；根據控制點以及對應控制點，計算第一投影機與第一攝像機之間的相對角度和位移方向；以及根據相對角度、位移方向以及球幕的一已知半徑，計算控制點與對應控制點對應於三維空間中的多個座標點，以計算第一投影機、第一攝像機以及球 幕之間的空間關係。
為達上述之一或部份或全部目的或是其他目的，本發明的一實施例提出一種投影機校正方法，用於使目標影像成像於觀看點。所述投影機校正方法包括：藉由第一投影機投射第一預設影像至球幕，並且利用第一攝像機拍攝球幕以取得第一變形影像；根據第一預設影像以及第一變形影像，計算第一投影機、第一攝像機以及球幕之間的空間關係；根據目標影像、第一投影機與球幕之間的空間關係、球幕與觀看點之間的空間關係，產生第一前置變形影像；以及藉由第一投影機根據第一前置變形影像進行投影，其中觀看點的位置與球幕的球心位置的距離至少大於或等於球幕的球半徑/tan(fov/2)的距離，fov為觀看視角。
在本發明的一實施例中，上述的根據該目標影像、第一投影機與球幕之間的空間關係以及球幕與觀看點之間的空間關係，產生第一前置變形影像的步驟包括：根據目標影像以及球幕與觀看點之間的空間關係，計算球面目標影像；以及根據球面目標影像以及第一投影機與球幕之間的空間關係，計算第一前置變形影像。第一投影機投射第一前置變形影像至球幕以在球幕上形成第一球面影像，並且球面目標影像相同於第一球面影像。
在本發明的一實施例中，上述的根據目標影像以及球幕與觀看點之間的空間關係，計算球面目標影像的步驟包括：根據目標影像、球幕與觀看點之間的空間關係以及對應觀看點的內在參數，計算球面目標影像。
在本發明的一實施例中，上述的根據目標影像、第一投影機與球幕之間的空間關係以及球幕與觀看點之間的空間關係，產生第一前置變形影像的步驟包括：根據目標影像以及球幕與觀看點之間的空間關係，計算球面目標影像；根據第一投影機與球幕之間的空間關係以及第一投影機的第一投影範圍，選擇球面目標影像的第一部分影像；以及根據第一部分影像以及第一投影機與球幕之間的空間關係，產生第一前置變形影像。
在本發明的一實施例中，上述的投影機校正方法更包括：根據第二投影機與球幕之間的空間關係以及第二投影機的第二投影範圍，選擇球面目標影像的第二部分影像；根據第二部分影像以及第二投影機與球幕之間的空間關係，產生第二前置變形影像；以及藉由第二投影機根據第二前置變形影像進行投影。
在本發明的一實施例中，上述的投影機校正方法更包括：藉由第二投影機投射第二預設影像至球幕，並且利用第一攝像機拍攝球幕以取得第二變形影像；以及根據第二預設影像以及第二變形影像，計算第二投影機、第一攝像機以及球幕之間的空間關係。
在本發明的一實施例中，上述的第一投影範圍與第二投影範圍在球幕上具有重疊區域。所述投影機校正方法更包括：調整第一前置變形影像以及第二前置變形影像的亮度；以及藉由第一投影機根據調整後的第一前置變形影像進行投影，並且藉由第二投影機根據調整後的第二前置變形影像進行投影，以在球幕上 形成合成球面影像，其中合成球面影像對應於重疊區域的亮度相同於球面目標影像對應於重疊區域的亮度。
在本發明的一實施例中，上述的調整第一前置變形影像以及第二前置變形影像的亮度的步驟包括：根據第一部分影像以及觀看點與球幕之間的空間關係建立第一亮度遮罩，並且根據第二部分影像以及觀看點與球幕之間的空間關係建立第二亮度遮罩；正規化第一亮度遮罩以及第二亮度遮罩；根據正規化後的第一亮度遮罩以及第一投影機、觀看點與球幕之間的空間關係，產生第一前置變形亮度遮罩；根據正規化後的第二亮度遮罩以及第二投影機、觀看點與球幕之間的空間關係，產生第二前置變形亮度遮罩；以及分別利用第一前置變形亮度遮罩以及第二前置變形亮度遮罩調整第一前置變形影像以及第二前置變形影像的亮度。
在本發明的一實施例中，上述的投影機校正方法更包括：由第二投影機投射第二預設影像至球幕，並且利用第二攝像機拍攝球幕以取得第二變形影像；根據第二預設影像以及第二變形影像，計算第二投影機、第二攝像機以及球幕之間的空間關係；利用第一攝像機拍攝顯示於球幕上的第三預設影像以取得第三變形影像，並且利用第二攝像機拍攝顯示於球幕上的第三預設影像以取得第四變形影像；以及根據第三變形影像以及第四變形影像，計算第一攝像機與第二攝像機之間的空間關係，以取得第一投影機、第二投影機以及球幕之間的空間關係。
在本發明的一實施例中，上述的第一預設影像包括多個 控制點，並且上述的根據第一預設影像以及第一變形影像，計算第一投影機、第一攝像機以及球幕之間的空間關係的步驟包括：取得第一變形影像中對應於控制點的多個對應控制點；根據控制點以及對應控制點，計算第一投影機與第一攝像機之間的相對角度和位移方向；以及根據相對角度、位移方向以及球幕的已知半徑，計算控制點與對應控制點對應於三維空間中的多個座標點，以計算第一投影機、第一攝像機以及球幕之間的空間關係。
基於上述，本發明的實施例至少具有以下其中一個優點或功效。無論投影機的數量，本發明實施例所提出的投影機校正方法以及使用上述方法的投影系統，無需預先知道投影機相對於球幕的位移與角度，憑藉攝像機的輔助就能夠校正投影機，使觀看者能夠看到無變形的目標影像，具有高度的便利性與擴充性。此外，在多台投影機的投影系統中，本發明實施例更提出了各台投影機校正亮度的方法，即使多台投影機的投影範圍有重疊也能夠維持目標影像的亮度，進而提供良好的觀看體驗。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
A1‧‧‧第一前置變形亮度遮罩
A2‧‧‧第二前置變形亮度遮罩
C1‧‧‧第一變形影像
C2‧‧‧第二變形影像
CAM1‧‧‧第一攝像機
CAM2‧‧‧第二攝像機
D‧‧‧球幕
DD‧‧‧球幕的球心
D1‧‧‧第一亮度遮罩
D1’‧‧‧正規化後的第一亮度遮罩
D2‧‧‧第二亮度遮罩
D2’‧‧‧正規化後的第二亮度遮罩
F‧‧‧基礎矩陣
I1‧‧‧第一預設影像
I2‧‧‧第二預設影像
I1D‧‧‧第一預設球面影像
I2D‧‧‧第二預設球面影像
L‧‧‧距離
M1‧‧‧第一二維遮罩
M2‧‧‧第二二維遮罩
pi‧‧‧控制點
pi’‧‧‧轉換後的控制點
PJT1‧‧‧第一投影機
PJT2‧‧‧第二投影機
PS1、PS2、PS3‧‧‧投影系統
PSR‧‧‧處理器
qi‧‧‧對應控制點
qi’‧‧‧還原後的控制點
S‧‧‧影像輸出裝置
S110、S120、S130、S140‧‧‧投影機校正方法的步驟
T‧‧‧目標影像
TD‧‧‧球面目標影像
TD1‧‧‧第一部分影像
TD2‧‧‧第二部分影像
v‧‧‧觀看點
W1‧‧‧第一前置變形影像
W1’‧‧‧調整亮度後的第一前置變形影像
W1D’‧‧‧調整亮度後的第一球面影像
W2‧‧‧第二前置變形影像
W2’‧‧‧調整亮度後的第二前置變形影像
W2D’‧‧‧調整亮度後的第二球面影像
圖1A繪示本發明一實施例中投影系統的示意圖。
圖1B繪示本發明另一實施例中投影系統的示意圖。
圖1C繪示本發明又一實施例中投影系統的示意圖。
圖2繪示本發明一實施例中投影機校正方法的流程圖。
圖3A繪示本發明一實施例中預設影像的示意圖。
圖3B繪示本發明一實施例中第一球幕預設影像的示意圖。
圖3C繪示本發明一實施例中第一變形影像的示意圖。
圖3D繪示本發明一實施例中第二球幕預設影像的示意圖。
圖3E繪示本發明一實施例中第二變形影像的示意圖。
圖3F繪示本發明一實施例中投影機-相機之間的基礎矩陣的示意圖。
圖4繪示本發明一實施例中多台投影機的投影系統的架構示意圖。
圖5繪示本發明一實施例中目標影像與球面目標影像的示意圖。
圖6繪示本發明一實施例中第一前置變形影像的示意圖。
圖7A繪示本發明一實施例中第一部分影像的示意圖。
圖7B示本發明一實施例中第二部分影像的示意圖。
圖7C示本發明一實施例中第一前置變形影像的示意圖。
圖7D示本發明一實施例中第二前置變形影像的示意圖。
圖8繪示本發明一實施例中亮度校正方法的示意圖。
圖9繪示本發明一實施例中調整前置變形影像的亮度的示意圖。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。此外，本發明使用的連接、耦接等用語，是說明兩裝置之間的訊號的傳遞，並非僅限於裝置之間直接接觸的關係。
在本發明的實施例中，將欲讓觀看者看到的球面目標影像預先變形(prewarp)成前置變形影像，使得在投影機投射前置變形影像到球型投影幕(亦稱球幕)上後，觀看者能夠在觀看點看到沒有變形的球面目標影像。為了達到上述目的，必須取得投影機與球幕之間的相對角度以及位移量等空間資訊。因此，本發明的實施例以攝像機(camera)作為輔助裝置，由投影機將預設影像投影至球幕後，再利用攝影機拍攝成像於球幕上的預設影像，來取得對應的變形影像。透過預設影像與變形影像，便能夠計算出投影機與球幕之間的空間資訊。據此，即使投影機的位置或數量改變，也只需要再次計算空間資訊即可。
在一些實施例中，投影系統使用一台投影機來投射影像。如圖1A所示，投影系統PS1包括第一投影機PJT1、第一攝像機CAM1與處理器PSR，其中第一投影機PJT1與第一攝像機CAM1皆耦接於處理器PSR。此外，影像輸出裝置S耦接第一投 影機PJT1與第一攝像機CAM1，其中處理器PSR可設置於影像輸出裝置S內，但不以此為限，在其他實施例中，處理器PSR也可設置於第一投影機PJT1內。在其他實施例中，第一投影機PJT1與第一攝像機CAM1可以整合成一具有攝像機的投影機，並不限於第一投影機PJT1與第一攝像機CAM1是物理上分離的兩個裝置。影像輸出裝置S用於提供影像給第一投影機PJT1。第一投影機PJT1與第一攝像機CAM1皆對應球幕D設置，也就是，當第一投影機PJT1朝向球幕D投射影像時，第一攝像機CAM1能夠拍攝到球幕D上所呈現的變形的影像。此外，觀察者可位於一觀看點v來觀看第一投影機PJT1向球幕D所投射的影像，本發明並不在此限制觀看點v的位置。
在一些實施例中，投影系統使用多台投影機以投射影像。如圖1B所示，投影系統PS2包括第一投影機PJT1、第二投影機PJT2、第一攝像機CAM1與處理器PSR，其中第一投影機PJT1、第二投影機PJT2與第一攝像機CAM1皆耦接於處理器PSR。此外，影像輸出裝置S耦接第一投影機PJT1、第二投影機PJT2與第一攝像機CAM1，其中處理器PSR可設置於影像輸出裝置S內，但不以此為限，在其他實施例中，處理器PSR也可設置於第一投影機PJT1或者第二投影機PJT2內。在其他實施例中，第一投影機PJT1與第一攝像機CAM1可以整合成一具有攝像機的投影機，並不限於第一投影機PJT1與第一攝像機CAM1是物理上分離的兩個裝置。影像輸出裝置S用於提供影像給第一投影機 PJT1與第二投影機PJT2。第一投影機PJT1、第二投影機PJT2與第一攝像機CAM1皆對應球幕D設置，當第一投影機PJT1與第二投影機PJT2共同向球幕D投射影像時，第一攝像機CAM1能夠拍攝到球幕D上所呈現的變形的影像。此外，觀察者可位於一觀看點v來觀看第一投影機PJT1與第二投影機PJT2向球幕D所投射的拼接影像，本發明並不在此限制觀看點v的位置。
在一些實施例中，投影系統使用多台投影機來投射影像時，一台攝影機的視野範圍可能無法涵蓋多台投影機的總投影範圍，因此對應每台投影機都設置一台攝影機。如圖1C所示，投影系統PS3包括第一投影機PJT1、第二投影機PJT2、第一攝像機CAM1、第二攝像機CAM2與處理器PSR，其中第一投影機PJT1、第二投影機PJT2、第一攝像機CAM1與第二攝像機CAM2皆耦接於處理器PSR。此外，影像輸出裝置S耦接第一投影機PJT1、第二投影機PJT2、第一攝像機CAM1與第二攝像機CAM2，其中處理器PSR可設置於影像輸出裝置S內，但不以此為限，在其他實施例中，處理器PSR也可設置於第一投影機PJT1或者第二投影機PJT2內。在其他實施例中，第一投影機PJT1與第一攝像機CAM1可以整合成一具有攝像機的投影機，第二投影機PJT2與第二攝像機CAM2可以整合成一具有攝像機的投影機，並不限於第一投影機PJT1與第一攝像機CAM1是物理上分離的兩個裝置以及第二投影機PJT2與第二攝像機CAM2是物理上分離的兩個裝置。影像輸出裝置S用於提供影像給第一投影機PJT1與第二投影機PJT2。 第一投影機PJT1、第二投影機PJT2、第一攝像機CAM1與第二攝像機CAM2皆對應球幕D設置，當第一投影機PJT1向球幕D投射第一影像時，第一攝像機CAM1能夠拍攝到球幕D上所呈現的變形的第一影像，而當第二投影機PJT2向球幕D投射第二影像時，第二攝像機CAM2能夠拍攝到球幕D上所呈現的變形的第二影像。此外，觀察者可位於一觀看點v來觀看第一投影機PJT1與第二投影機PJT2向球幕D所投射的拼接影像，本發明並不在此限制觀看點v的位置。
雖然投影系統是以上述三種投影機與攝像機的組合來進行介紹，但本發明並不在此限制投影系統中的投影機與攝像機的數量，且兩者的數量可以相同或不同。
在一些實施例中，投影系統中的投影機與攝像機可例如是整合並封裝為一台投影裝置來實作，也可例如是分別以獨立的裝置來實作，本發明並不在此限制。
值得一提的是，在以下的說明中利用針孔相機模型(pinhole camera model)的成像原理應用於本發明實施例中的投影機與攝像機，也就是將投影機與攝像機假設為個別的針孔相機模型。然而，本發明並不限於此。換句話說，投影機與攝像機皆具有內在參數(intrinsic parameters)，包括內在投影矩陣與鏡頭失真係數(lens distortion coefficients)。詳細來說，內在投影矩陣中包括透鏡的焦距以及畫面中心座標的相關資訊，舉例而言，投影矩陣K的形式為[fx,0,cx；0 fy cy；0 0 1]，fx與fy透鏡的焦距係數， cx與cy為畫面中心係數。所屬技術領域具備通常知識者可清楚得知上述計算方式，在此不加贅述。鏡頭失真係數包括輻射形變參數(radial distortion)與切向形變參數(tangential distortion)，鏡頭失真係數也就是透鏡產生影像扭曲變形的參數，影像扭曲變形例如是枕狀變形(pincushion distortion)的影像或者桶狀變形(barrel distortion)的影像。在固定了焦距與投射影像的縮放大小後，內在參數便不會改變。所屬技術領域具備通常知識者當可從針孔相機模型中取得內在參數的相關介紹，故在此不再一一贅述。在一些實施例中，投影機的內在參數例如可在固定投影機的投射影像的縮放大小與焦距下，使用投影機-相機校正工具來取得座標轉換，而攝影機的內在參數例如可在固定攝像機的擷取影像縮放大小與焦距下使用相機校正工具來取得，本發明並不限於此。其中，投影機-相機校正工具可參考文獻”Projector-Camera Calibration Toolbox”,G.Falcao,N.Hurtos,J.Massich,and D.Fofi,2009以及文獻“Simple,Accurate,and Robust Projector-Camera Calibration”,Second International Conference on 3D Imaging,Modeling,Processing,Visualization & Transmission,D.Moreno and G.Taubin。此外，相機校正工具可參考Open CV,Open Source Computer Vision Library(http：//opencv.org/),2017所提供的服務。
處理器PSR用於負責進行投影機校正方法中的運算，處理器PSR可例如是微控制器(micro-controller)、嵌入式控制器(embedded controller)、中央處理器(central processing unit,CPU) 或類似的元件，或者是數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。本發明並不限於此。在一些實施例中，處理器PSR可用個人電腦來實作；在另一些實施例中，處理器PSR可用平板電腦或智慧型手機等行動電子裝置來實作，本發明並不限於此。值得一提的是，影像輸出裝置S可以是上述的個人電腦、平板電腦或智慧型手機等電子裝置，作為提供影像的影像源。
圖2繪示本發明一實施例的投影機校正方法的流程圖。
請參照圖2，為了校正投影機投射的目標影像，讓觀看者能夠看到在球幕上無變形的球面目標影像，首先會在步驟S110與S120中利用攝像機來建構出投影機與球幕之間的空間關係(座標關係)，例如是投影機與球幕之間的相對角度與位移位置等等，也就是外在參數。其中所謂的空間關係，也就是兩裝置之間座標轉換的關係，以下內容中所提及的皆屬於座標轉換的關係。
在步驟S110中，藉由投影機投射預設影像至球幕，並且利用攝像機拍攝球幕以取得變形影像。具體來說，投影機需要使其投射預設影像至球幕，並且利用攝像機來拍攝球幕以取得對應該預設影像的變形影像。據此，預設影像與變形影像能夠用來計算投影機、攝像機與球幕之間的空間關係(座標關係)。
在一些實施例中，預設影像例如是二維影像，其中包括 已知二維座標的多個控制點，其中每個控制點都不相同，每個控制點具有不同的圖樣。詳細來說，控制點為可由處理器PSR辨識的特徵點。另一方面，對應預設影像的變形影像包括可由處理器PSR辨識的多個對應控制點。換句話說，每一個變形影像中的對應控制點都對應於預設影像中的其中一個控制點。此外，預設影像可儲存於儲存裝置(未顯示)中，而儲存裝置例如是可移動隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。儲存裝置連接於處理器PSR，因此儲存裝置與處理器PSR將設置於一起，以便處理器PSR可控制儲存裝置提供預設影像給至少一投影機。
請參照圖3A至圖3C，當第一投影機PJT1投射第一預設影像I1至球幕D，球幕D上會形成第一預設球面影像I1D。此時第一攝像機CAM1拍攝球幕D並取得第一變形影像C1。如圖3A所示，處理器PSR提供給第一投影機PJT1的第一預設影像I1例如為矩形，且包括多個控制點pi，其中每一個控制點pi都可由處理器PSR從第一預設影像I1中識別出來。第一預設影像I1經由第一投影機PJT1的內在參數、球幕D的反射角度以及第一攝像機CAM1的內在參數而造成變形之後，由第一攝像機CAM1取像到的第一變形影像C1不再是矩形，但處理器PSR仍可從第一攝像機CAM1提供的第一變形影像C1中識別出多個對應控制點qi。第一變形影像C1與第一預設影像I1可用來後續計算第一投影機 PJT1、攝像機CAM1與球幕D之間的空間關係(座標關係)。
請參照圖3A、圖3D與圖3E，當第二投影機PJT2投射第二預設影像I2至球幕D，球幕D上會成第二預設球面影像I2D。此時第一攝像機CAM1拍攝球幕D並取得第二變形影像C2。類似地，第二變形影像C2與第二預設影像I2可用於後續計算第二投影機PJT2、第一攝像機CAM1與球幕D之間的空間關係。特別是，第二預設影像I2與第一預設影像I1可以相同或不同，本發明並不在此限。
在步驟S120中，處理器會根據預設影像以及變形影像來計算投影機、攝像機與球幕之間的空間關係。上述的空間關係例如包括投影機與攝像機之間相對角度與位移、投影機與球幕的球心之間的相對角度與位移以及攝像機與球幕的球心之間的相對角度與位移等等，也就是各者之間的座標關係。
在一些實施例中，一台或多台投影機的校正可以透過同一台攝像機來完成，以下透過圖3A至圖3E來進行說明。
首先，處理器PSR會進行內在參數的校正。詳細來說，處理器PSR會找出第一預設影像I1的多個控制點pi，並且利用第一投影機PJT1的內在參數來轉換該些控制點pi。此外，處理器PSR會找出第一變形影像C1的多個對應控制點qi，並且利用第一攝像機CAM1的內在參數來還原該些對應控制點qi。
請參考圖3F，以第一攝像機CAM1作為世界座標中心，根據轉換後的控制點pi’以及還原後多個對應控制點qi’，處理器 PSR可以計算出第一投影機PJT1與第一攝像機CAM1之間的基礎矩陣F(fundamental matrix)，再透過等式E=KiTFKc就能夠計算出本質矩陣E(essential matrix)，其中Ki為第一投影機PJT1的內在投影矩陣，Kc為第一攝像機CAM1的內在投影矩陣。第一投影機PJT1與第一攝像機CAM1之間的相對角度以及位移方向可由兩者之間的本質矩陣E分解得到，因此計算出本質矩陣E也就相當於得到了第一投影機PJT1與第一攝像機CAM1之間得相對角度以及位移方向。值得一提的是，所屬領域具備通常知識者當可從相關文獻中得到基礎矩陣F以及本質矩陣E的說明，故在此不再贅述。
為了得到第一投影機PJT1與第一攝像機CAM1之間的絕對位移量，處理器PSR例如是根據上述相對角度以及位移方向，利用三角量測法(triangulation)等方式來嘗試將變形後的多個控制點pi’與對應的還原後的多個對應控制點qi’還原成三維空間中的多個三維座標點。根據此時還原的三維座標點應該要貼合球幕D，處理器PSR可利用諸如最小平方法等方式使這些三維座標點逼近一個球面方程式，再搭配球幕D的已知半徑，便能夠得到球幕D的球心座標，進而能夠計算出第一投影機PJT1與第一攝像機CAM1之間的位移量的尺度，以得到絕對位移量。也就是說，取得第一投影機PJT1與第一攝像機CAM1之間的外在參數，其中外在參數包括絕對位移量。
根據前述段落的方式，處理器PSR便能夠在取得第一預 設影像I1與第一變形影像C1後，透過計算得到第一投影機PJT1、第一攝像機CAM1以及球幕D兩兩之間的空間關係。
此外，圖3D中第二投影機PJT2、第一攝像機CAM1以及球幕D兩兩之間的空間關係也能用類似於上述的方式來取得。如此一來，處理器PSR便能夠取得第一投影機PJT1、第二投影機PJT2與球幕D兩兩之間的空間關係。
在一些實施例中，多台投影機的校正也可以透過多台對應的攝像機來完成，以下以圖4的架構來進行說明，圖4的架構類似於圖1C中的投影系統PS3。
首先，處理器PSR會利用前述段落的方式來分別取得第一投影機PJT1、第一攝像機CAM1與球幕D兩兩之間的空間關係，以及第二投影機PJT2、第二攝像機CAM2與球幕D兩兩之間的空間關係。詳細來說，第一投影機PJT1會投射第一預設影像至球幕D，並且第一攝像機CAM1會拍攝球幕D以取得對應第一預設影像的第一變形影像，而處理器PSR會根據第一預設影像以及第一變形影像來計算出第一投影機PJT1、第一攝像機CAM1與球幕D兩兩之間的空間關係。第二投影機PJT2會投射第二預設影像至球幕D，並且第二攝像機CAM2會拍攝球幕D以取得對應第二預設影像的第二變形影像，而處理器PSR會根據第二預設影像以及第二變形影像來計算出第二投影機PJT2、第二攝像機CAM2與球幕D兩兩之間的空間關係。
接著，處理器PSR會計算第一攝像機CAM1與第二攝像 機CAM2之間的空間關係。舉例來說，可令第一攝像機CAM1與第二攝像機CAM2同時拍攝球幕D上顯示的第三預設影像，以分別取得第三變形影像與第四變形影像。接著處理器PSR便能夠根據第三變形影像與第四變形影像來利用類似於前述段落的方式計算出第一攝像機、第二攝像機與球幕D之間的空間關係，也就得到了第一攝像機與第二攝像機之間的空間關係。在一些實施例中，上述的第三預設影像可例如是由第一投影機PJT1或第二投影機PJT2來產生，或是以其他方式在球幕D上產生，抑或是球幕D本身的圖樣等，本發明並不在此限制第三預設影像的產生方式。
如此一來，處理器PSR在取得了第一投影機PJT1、第一攝像機CAM1與球幕D兩兩之間的空間關係以及第二投影機PJT2、第二攝像機CAM2與球幕D兩兩之間的空間關係後，又進一步取得了第一攝像機與第二攝像機之間的空間關係，也就能夠取得第一投影機PJT1、第二投影機PJT2與球幕D兩兩之間的空間關係。
在取得了投影機與球幕之間的空間關係後，處理器PSR便能夠計算出輸入特定影像至投影機並由投影機進行投射後，在任一個觀看點上的成像。同樣地，處理器PSR也能夠計算出欲在特定觀看點成像目標影像時，所必須輸入投影機的影像。
在步驟S130中，處理器會根據目標影像、投影機與球幕之間的空間關係以及球幕與觀看點之間的空間關係，產生前置變形影像，並且在步驟S140中藉由投影機根據前置變形影像來進行 投影，以使球面目標影像成像於觀看點。
在一些實施例中，球幕與觀看點之間的空間關係例如是固定且預設於處理器中，也就是投影系統設有一個最佳觀看位置作為觀看點。在一些實施例中，球幕與觀看點之間的空間關係可以是由觀看者來預先根據其位置進行設定。在一些實施例中，球幕與觀看點之間的空間關係也可以是由兩台以上的攝像機來利用三角定位法取得。換言之，只要在進行步驟S130之前處理器能夠取得球幕與觀看點之間的空間關係，本發明不限制球幕與觀看點之間實際的空間關係及其取得方式。
值得一提的是，一些實施例中假設位於觀看點的觀看者也適用針孔相機模型的成像原理。因此，處理器會設定對應觀看點的內在參數，以計算觀看點的成像。舉例來說，內在投影矩陣中的焦距資訊例如可以根據人眼觀看視角來決定，畫面中心資訊例如可以根據目標影像的尺寸來決定，而鏡頭失真係數例如設定為0。在一些實施例中，對應觀看點的內在參數可例如是處理器預設或由觀看者在觀看的當下依其需求來進行設定(例如，透過遙控器等輸入裝置)，本發明並不在此限。
詳細而言，當球幕與投影機的空間關係決定後，接下來能自行決定觀看者的空間關係(座標關係)，可以是自行定義的虛擬座標，也可以利用球幕的空間位置計算出來。一觀看點的最佳位置可設置在距離球幕D的球心位置DD(未顯示)往球幕D的外部平移的距離L的位置，其中距離L至少大於或等於球幕D的 球半徑/tan(fov/2)，使觀看者觀看範圍包含整個球幕D，其中fov代表觀看者的視角，例如，視角fov=150度，但不以此為限。球幕半徑例如為1200公厘(mm)，則觀看點最佳位置的距離L至少為322公厘(mm)。
請參照圖5，在一些實施例中，當處理器PSR欲將球面目標影像TD成像於觀看點，其首先會利用對應觀看點的內在參數將目標影像T進行還原，然後再將還原後的目標影像T根據球幕D與觀看點之間的空間關係來計算球幕D上的球面目標影像TD。換句話說，若投影機所投射的影像能夠在球幕D上成像出球面目標影像TD，則球面目標影像TD就能夠成像在觀看點。此外，目標影像T是由影像輸出裝置S所提供至處理器PSR。
首先以一台投影機的投影系統PS1為例，處理器PSR會根據球面目標影像TD、第一投影機PJT1與球幕D之間的空間關係，以及第一投影機PJT1的內在參數來計算出如圖6所示的第一前置變形影像W1。在處理器PSR將所計算出的第一前置變形影像W1輸入至第一投影機PJT1來由其進行投射後，球幕D上會成像出與球面目標影像TD相同的第一球面影像，因此位於觀看點的觀看者便能夠看到球面目標影像TD。
接著以多台投影機的投影系統PS2或PS3為例，如圖7A與7B所示，處理器PSR首先會根據第一投影機PJT1的規格與第一投影機PJT1與球幕D之間的空間關係，計算出第一投影機PJT1所能夠在球幕上投影的第一投影範圍，根據第二投影機PJT2的規 格與第二投影機PJT2與球幕D之間的空間關係，計算出第二投影機PJT2所能夠在球幕上投影的第二投影範圍。接著，處理器PSR會選擇出球面目標影像TD位於第一投影範圍的部分作為第一部分影像TD1，並且根據第二投影機PJT2在球幕上的第二投影範圍，選擇出球面目標影像TD位於第二投影範圍的部分作為第二部分影像TD2。
隨後，處理器PSR會根據第一部分影像TD1、第一投影機PJT1與球幕D之間的空間關係，以及第一投影機PJT1的內在參數來計算出如圖7C所示的第一前置變形影像W1。此外，處理器PSR會根據第二部分影像TD2、第二投影機PJT2與球幕D之間的空間關係，以及第二投影機PJT2的內在參數來計算出如圖7D所示的第二前置變形影像W2。
處理器PSR將所計算出的第一前置變形影像W1輸入至第一投影機PJT1來由其進行投射後，球幕D上會成像出與第一部分影像TD1相同的第一球面影像。在處理器PSR將所計算出的第二前置變形影像W2輸入至第二投影機PJT2來由其進行投射後，球幕D上會成像出與第二部分影像TD2相同的第二球面影像。
在一些實施例中，第一投影機PJT1在球幕D上的第一投影範圍與第二投影機PJT2在球幕D上的第二投影範圍具有重疊區域，因此處理器PSR例如可先對第一前置變形影像W1與第二前置變形影像W2作亮度調整，再將調整後的第一前置變形影像W1’輸入至第一投影機PJT1來由其進行投射，以及將調整後的第二前 置變形影像W2’輸入至第二投影機PJT2來由其進行投射。如此一來，能夠在球幕D上成像出與球面目標影像TD相同的合成球面影像，其中合成球面影像對應於重疊區域的亮度會相同於球面目標影像TD對應於重疊區域的亮度。
以下搭配圖8與圖9舉例說明調整第一前置變形影像W1與第二前置變形影像W2的亮度的方式。值得一提的是，所介紹的調整亮度方式雖然是以兩個投影機作為例子，但類似的方法也可以應用在具有更多投影機的投影系統的實施例中。
請參照圖8，在第一投影機PJT1與第二投影機PJT2的投影系統PS2為例，處理器PSR會先根據第一部分影像TD1、觀看點與球幕之間的空間關係以及對應觀看點的內在參數之後，處理器PSR建立第一二維遮罩M1、第一二維遮罩M1中設定值為1(白色)的部分表示第一部分影像TD1在觀看點成像時的影像區域，第一二維遮罩M1中設定值為0(黑色)的部分表示第一部分影像TD1在觀看點成像時的非影像區域。類似地，處理器PSR也會根據第二部分影像TD2以及觀看點與球幕之間的空間關係，建立第二二維遮罩M2。
隨後，處理器PSR會對第一二維遮罩M1與第二二維遮罩M2分別進行距離轉換(distance transform)，使影像區域的邊界產生漸層效果，以得到第一亮度遮罩D1以及第二亮度遮罩D2。其中距離轉換(distance transform)的方式是由第一二維遮罩M1中設定值為1(白色)的畫素(pixel)位置距離第一二維遮罩M1 中設定值為0(黑色)的畫素(pixel)位置的遠近做出亮度漸層的效果。也就是第一二維遮罩M1中設定值為1(白色)的畫素(pixel)位置距離第一二維遮罩M1中設定值為0(黑色)的畫素(pixel)位置愈遠則亮度越亮，反之越靠近則亮度越暗。
在取得第一亮度遮罩D1以及第二亮度遮罩D2後，處理器PSR會例如根據下列等式正規化第一亮度遮罩D1與第二亮度遮罩D2：
Figure TWI676855B_D0001
 其中n為被進行正規化的亮度遮罩數量。據此，處理器PSR便能夠得到以得到正規化後的第一亮度遮罩D1’(j=1，n=2)以及第二亮度遮罩D2’(j=2，n=2)。
接著，藉由類似於前述一台投影機的投影系統PS1中，將目標影像轉換為前置變形影像的方式，處理器PSR會將第一亮度遮罩D1’，根據第一投影機PJT1、觀看點以及球幕D之間的空間關係來轉換為第一前置變形亮度遮罩A1。另一方面，處理器PSR會將第二亮度遮罩D2’，根據第二投影機PJT2、觀看點以及球幕D之間的空間關係來轉換為第二前置變形亮度遮罩A2。
請參照圖7C、圖8與圖9，處理器PSR會利用第一前置變形亮度遮罩A1來調整第一前置變形影像W1的亮度，以得到調整亮度後的第一前置變形影像W1’。舉例來說，處理器PSR可將第一前置變形影像W1與第一前置變形亮度遮罩A1的每個對應像 素值相乘，以得到調整後的第一前置變形影像W1’。如此一來，第一投影機PJT1投射第一前置變形影像W1’後，球幕D上將成像出調整亮度後的第一球面影像W1D’。
請參照圖7D、圖8與圖9，處理器PSR會利用第二前置變形亮度遮罩A2來調整第二前置變形影像W2的亮度，以得到調整亮度後的第二前置變形影像W2’。舉例來說，處理器PSR可將第二前置變形影像W2與第二前置變形亮度遮罩A2的每個對應像素值相乘，以得到調整後的第二前置變形影像W2’。如此一來，第二投影機PJT2投射第二前置變形影像W2’後，球幕D上將成像出調整亮度後的第二球面影像W2D’。
當第一投影機PJT1與第二投影機PJT2同時分別投影第一前置變形影像W1’與第二前置變形影像W2’時，第一前置變形影像W1’與第二前置變形影像W2’部分重疊，球幕D上將成像出相同於球面目標影像TD的合成球面影像，其中球面目標影像TD是亮度分布均勻的。
值得一提的是，前述多個實施例中所介紹的投影機校正方法雖然是以兩個投影機作為例子，但類似的方法也可以應用在具有更多投影機的投影系統的實施例中。換言之，只要存在對應的攝像機來輔助校正，本發明並不限制投影系統中投影機的數量。
綜上所述，本發明的實施例至少具有以下其中一個優點或功效。無論投影機的數量，本發明實施例所提出的投影機校正方法以及使用上述方法的投影系統，無需預先知道投影機相對於 球幕的位移與角度，憑藉攝像機的輔助就能夠校正投影機，使觀看者能夠看到無變形的球面目標影像，具有高度的便利性與擴充性。此外，在多台投影機的投影系統中，本發明實施例更提出了各台投影機校正亮度的方法，即使多台投影機的投影範圍有重疊也能夠維持球面目標影像的亮度，進而提供良好的觀看體驗。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用於命名元件(element)的名稱，而並非用來限制元件數量上的上限或下限。

Claims (22)

  1. 一種投影系統，包括：一第一投影機，投射一球面目標影像；一球幕，接收該球面目標影像；以及一處理器，耦接於該第一投影機，並且用於根據一目標影像、該第一投影機與該球幕之間的空間關係以及該球幕與一觀看點之間的空間關係，產生一第一前置變形影像，其中該第一投影機根據該第一前置變形影像進行投影，以使該球面目標影像成像於該觀看點，其中該觀看點的位置與該球幕的一球心位置的距離至少大於或等於該球幕的球半徑/tan(fov/2)的距離，fov為觀看視角。
  2. 如申請專利範圍第1項所述的投影系統，還包括一第一攝像機，耦接於該處理器，其中該第一投影機，投射一第一預設影像至該球幕，該第一攝像機拍攝該球幕，以取得一第一變形影像。
  3. 如申請專利範圍第2項所述的投影系統，其中該處理器用於根據該第一預設影像以及該第一變形影像，計算該第一投影機、該第一攝像機以及該球幕之間的空間關係。
  4. 如申請專利範圍第3項所述的投影系統，其中該處理器用於根據該目標影像以及該第一投影機與該球幕之間的空間關係，計算出該第一前置變形影像，其中該第一投影機投射該第一前置變形影像至該球幕以在該球幕上形成一第一球面影像，並且該球面目標影像相同於該第一球面影像。
  5. 如申請專利範圍第3項所述的投影系統，其中該處理器用於：根據該目標影像、該球幕與該觀看點之間的空間關係以及對應該觀看點的一內在參數，計算該球面目標影像。
  6. 如申請專利範圍第1項所述的投影系統，更包括：一第二投影機，耦接於該處理器，其中該處理器用於：根據該目標影像以及該球幕與該觀看點之間的空間關係，計算出該球面目標影像；根據該第一投影機與該球幕之間的空間關係以及該第一投影機的一第一投影範圍，選擇該球面目標影像的一第一部分影像；以及根據該第一部分影像以及該第一投影機與該球幕之間的空間關係，產生該第一前置變形影像。
  7. 如申請專利範圍第6項所述的投影系統，其中該處理器更用於：根據該第二投影機與該球幕之間的空間關係以及該第二投影機的一第二投影範圍，選擇該球面目標影像的一第二部分影像；以及根據該第二部分影像以及該第二投影機與該球幕之間的空間關係，產生該第二前置變形影像，其中該第二投影機根據該第二前置變形影像進行投影。
  8. 如申請專利範圍第7項所述的投影系統，其中該第二投影機投射一第二預設影像至該球幕，並且該第一攝像機拍攝該球幕以取得一第二變形影像，其中該處理器更用於：根據該第二預設影像以及該第二變形影像，計算該第二投影機、該第一攝像機以及該球幕之間的空間關係。
  9. 如申請專利範圍第7項所述的投影系統，其中該第一投影範圍與該第二投影範圍在該球幕上具有一重疊區域，該處理器更用於：調整該第一前置變形影像以及該第二前置變形影像的亮度，其中該第一投影機根據調整後的該第一前置變形影像進行投影，且該第二投影機根據調整後的該第二前置變形影像進行投影，以在該球幕上形成一合成球面影像，其中該合成球面影像對應於該重疊區域的亮度相同於該球面目標影像對應於該重疊區域的亮度。
  10. 如申請專利範圍第9項所述的投影系統，其中該處理器用於：根據該第一部分影像以及該觀看點與該球幕之間的空間關係建立一第一亮度遮罩，並且根據該第二部分影像以及該觀看點與該球幕之間的空間關係建立一第二亮度遮罩；正規化該第一亮度遮罩以及該第二亮度遮罩；根據正規化後的該第一亮度遮罩以及該第一投影機、該觀看點與該球幕之間的空間關係，產生一第一前置變形亮度遮罩；根據正規化後的該第二亮度遮罩以及該第二投影機、該觀看點與該球幕之間的空間關係，產生一第二前置變形亮度遮罩；以及分別利用該第一前置變形亮度遮罩以及該第二前置變形亮度遮罩調整該第一前置變形影像以及該第二前置變形影像的亮度。
  11. 如申請專利範圍第6項所述的投影系統，更包括：一第二攝像機，耦接於該處理器，其中該第二投影機投射一第二預設影像至該球幕，並且該第二攝像機拍攝該球幕以取得一第二變形影像，其中該第一攝像機拍攝顯示於該球幕上的一第三預設影像以取得一第三變形影像，並且該第二攝像機拍攝顯示於該球幕上的該第三預設影像以取得一第四變形影像，其中該處理器更用於：根據該第二預設影像以及該第二變形影像，計算該第二投影機、該第二攝像機以及該球幕之間的空間關係；以及根據該第三變形影像以及該第四變形影像，計算該第一攝像機與該第二攝像機之間的空間關係，以取得該第一投影機、該第二投影機以及該球幕之間的空間關係。
  12. 如申請專利範圍第2項所述的投影系統，其中該第一預設影像包括多個控制點，其中該處理器用於：取得該第一變形影像中對應該些控制點的多個對應控制點；根據該些控制點以及該些對應控制點，計算該第一投影機與該第一攝像機之間的相對角度和位移方向；以及根據該相對角度、該位移方向以及該球幕的一已知半徑，計算該些控制點與該些對應控制點對應於三維空間中的多個座標點，以計算該第一投影機、該第一攝像機以及該球幕之間的空間關係。
  13. 一種投影機校正方法，用於使一球面目標影像成像於一觀看點，所述投影機校正方法包括：藉由一第一投影機投射一第一預設影像至一球幕，並且利用一第一攝像機拍攝該球幕以取得一第一變形影像；根據該第一預設影像以及該第一變形影像，計算該第一投影機、該第一攝像機以及該球幕之間的空間關係；根據一目標影像、該第一投影機與該球幕之間的空間關係以及該球幕與該觀看點之間的空間關係，產生一第一前置變形影像；以及藉由該第一投影機根據該第一前置變形影像進行投影，其中該觀看點的位置與該球幕的一球心位置的距離至少大於或等於該球幕的球半徑/tan(fov/2)的距離，fov為觀看視角。
  14. 如申請專利範圍第13項所述的投影機校正方法，其中根據該目標影像、該第一投影機與該球幕之間的空間關係以及該球幕與該觀看點之間的空間關係，產生該第一前置變形影像的步驟包括：根據該目標影像以及該球幕與該觀看點之間的空間關係，計算一球面目標影像；以及根據該球面目標影像以及該第一投影機與該球幕之間的空間關係，計算該第一前置變形影像，其中該第一投影機投射該第一前置變形影像至該球幕以在該球幕上形成一第一球面影像，並且該球面目標影像相同於該第一球面影像。
  15. 如申請專利範圍第14項所述的投影機校正方法，其中根據該目標影像以及該球幕與該觀看點之間的空間關係，計算該球面目標影像的步驟包括：根據該目標影像、該球幕與該觀看點之間的空間關係以及對應該觀看點的一內在參數，計算該球面目標影像。
  16. 如申請專利範圍第13項所述的投影機校正方法，其中根據該目標影像、該第一投影機與該球幕之間的空間關係以及該球幕與該觀看點之間的空間關係，產生該第一前置變形影像的步驟包括：根據該目標影像以及該球幕與該觀看點之間的空間關係，計算一球面目標影像；根據該第一投影機與該球幕之間的空間關係以及該第一投影機的一第一投影範圍，選擇該球面目標影像的一第一部分影像；以及根據該第一部分影像以及該第一投影機與該球幕之間的空間關係，產生該第一前置變形影像。
  17. 如申請專利範圍第16項所述的投影機校正方法，更包括：根據該第二投影機與該球幕之間的空間關係以及該第二投影機的一第二投影範圍，選擇該球面目標影像的一第二部分影像；根據該第二部分影像以及該第二投影機與該球幕之間的空間關係，產生該第二前置變形影像；以及藉由該第二投影機根據該第二前置變形影像進行投影。
  18. 如申請專利範圍第17項所述的投影機校正方法，更包括：藉由該第二投影機投射一第二預設影像至該球幕，並且利用該第一攝像機拍攝該球幕以取得一第二變形影像；以及根據該第二預設影像以及該第二變形影像，計算該第二投影機、該第一攝像機以及該球幕之間的空間關係。
  19. 如申請專利範圍第17項所述的投影機校正方法，其中該第一投影範圍與該第二投影範圍在該球幕上具有一重疊區域，所述投影機校正方法更包括：調整該第一前置變形影像以及該第二前置變形影像的亮度；以及藉由該第一投影機根據調整後的該第一前置變形影像進行投影，並且藉由該第二投影機根據調整後的該第二前置變形影像進行投影，以在該球幕上形成一合成球面影像，其中該合成球面影像對應於該重疊區域的亮度相同於該球面目標影像對應於該重疊區域的亮度。
  20. 如申請專利範圍第19項所述的投影機校正方法，其中調整該第一前置變形影像以及該第二前置變形影像的亮度的步驟包括：根據該第一部分影像以及該觀看點與該球幕之間的空間關係建立一第一亮度遮罩，並且根據該第二部分影像以及該觀看點與該球幕之間的空間關係建立一第二亮度遮罩；正規化該第一亮度遮罩以及該第二亮度遮罩；根據正規化後的該第一亮度遮罩以及該第一投影機、該觀看點與該球幕之間的空間關係，產生一第一前置變形亮度遮罩；根據正規化後的該第二亮度遮罩以及該第二投影機、該觀看點與該球幕之間的空間關係，產生一第二前置變形亮度遮罩；以及分別利用該第一前置變形亮度遮罩以及該第二前置變形亮度遮罩調整該第一前置變形影像以及該第二前置變形影像的亮度。
  21. 如申請專利範圍第16項所述的投影機校正方法，更包括：由該第二投影機投射一第二預設影像至該球幕，並且利用一第二攝像機拍攝該球幕以取得一第二變形影像；根據該第二預設影像以及該第二變形影像，計算該第二投影機、該第二攝像機以及該球幕之間的空間關係；利用該第一攝像機拍攝顯示於該球幕上的一第三預設影像以取得一第三變形影像，並且利用該第二攝像機拍攝顯示於該球幕上的該第三預設影像以取得一第四變形影像；以及根據該第三變形影像以及該第四變形影像，計算該第一攝像機與該第二攝像機之間的空間關係，以取得該第一投影機、該第二投影機以及該球幕之間的空間關係。
  22. 如申請專利範圍第13項所述的投影機校正方法，其中該第一預設影像包括多個控制點，其中根據該第一預設影像以及該第一變形影像，計算該第一投影機、該第一攝像機以及該球幕之間的空間關係的步驟包括：取得該第一變形影像中對應該些控制點的多個對應控制點；根據該些控制點以及該些對應控制點，計算該第一投影機與該第一攝像機之間的相對角度和位移方向；以及根據該相對角度、該位移方向以及該球幕的一已知半徑，計算該些控制點與該些對應控制點對應於三維空間中的多個座標點，以計算該第一投影機、該第一攝像機以及該球幕之間的空間關係。
TW107129094A 2018-07-31 2018-08-21 投影機校正方法與使用此方法的投影系統 TWI676855B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810856422.7A CN110784693A (zh) 2018-07-31 2018-07-31 投影机校正方法与使用此方法的投影***
CN201810856422.7 2018-07-31
??201810856422.7 2018-07-31

Publications (2)

Publication Number Publication Date
TWI676855B true TWI676855B (zh) 2019-11-11
TW202008064A TW202008064A (zh) 2020-02-16

Family

ID=67439045

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107129094A TWI676855B (zh) 2018-07-31 2018-08-21 投影機校正方法與使用此方法的投影系統

Country Status (4)

Country Link
US (1) US11503259B2 (zh)
EP (1) EP3606059B1 (zh)
CN (1) CN110784693A (zh)
TW (1) TWI676855B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI663577B (zh) * 2018-06-04 2019-06-21 宏碁股份有限公司 針對非平面螢幕之色不均瑕疵補償系統
TWI738423B (zh) * 2020-07-17 2021-09-01 智崴資訊科技股份有限公司 球幕顯示器的顯示方法
TWI750773B (zh) * 2020-08-19 2021-12-21 大陸商寶宸（廈門）光學科技有限公司 投影系統及方法與投影顯示系統
CN114740684B (zh) * 2022-04-27 2023-02-10 华中科技大学 一种基于曲面屏幕的立体投影优化方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040169827A1 (en) * 2003-02-28 2004-09-02 Mitsuo Kubo Projection display apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
JP2916142B1 (ja) 1998-08-10 1999-07-05 洋夫 岩田 全周球面スクリーン投影装置
WO2006025191A1 (ja) * 2004-09-01 2006-03-09 Olympus Corporation マルチプロジェクションシステムにおける幾何補正方法
JP2006189509A (ja) 2004-12-28 2006-07-20 Goto Optical Mfg Co ドームスクリーン用ビデオ投映機
US7252387B2 (en) * 2005-03-21 2007-08-07 Mitsubishi Electric Research Laboratories, Inc. System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment
US7773827B2 (en) 2006-02-15 2010-08-10 Mersive Technologies, Inc. Hybrid system for multi-projector geometry calibration
EP1987679B1 (en) * 2006-02-21 2010-05-12 Panasonic Electric Works Co., Ltd. Image display apparatus and image distortion correction method of the same
US20080204666A1 (en) 2007-02-02 2008-08-28 Robert Spearman Image projection and capture systems
WO2008144370A1 (en) * 2007-05-16 2008-11-27 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3d reconstruction
US8013904B2 (en) * 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
US8646918B2 (en) 2009-01-30 2014-02-11 Old Dominion University Research Foundation Projection system
US8102332B2 (en) * 2009-07-21 2012-01-24 Seiko Epson Corporation Intensity scaling for multi-projector displays
US8212945B2 (en) * 2010-04-01 2012-07-03 Seiko Epson Corporation Method and apparatus for calibrating a projector for image warping
US9497447B2 (en) 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
US20130070094A1 (en) * 2011-09-20 2013-03-21 The Regents Of The University Of California, A California Corporation Automatic registration of multi-projector dome images
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
CN105376540A (zh) * 2014-08-27 2016-03-02 中强光电股份有限公司 投影显示***以及投影区域的校正方法
US20170070711A1 (en) * 2015-09-03 2017-03-09 Disney Enterprises, Inc. Intensity correction for projection systems
US10277836B2 (en) * 2016-03-07 2019-04-30 Ricoh Company, Ltd. Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US9992464B1 (en) * 2016-11-11 2018-06-05 Christie Digital Systems Usa, Inc. Method and system for screen correction
US10621707B2 (en) * 2017-06-16 2020-04-14 Tilt Fire, Inc Table reprojection for post render latency compensation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040169827A1 (en) * 2003-02-28 2004-09-02 Mitsuo Kubo Projection display apparatus

Also Published As

Publication number Publication date
EP3606059A1 (en) 2020-02-05
EP3606059B1 (en) 2022-08-31
CN110784693A (zh) 2020-02-11
US20200045276A1 (en) 2020-02-06
TW202008064A (zh) 2020-02-16
US11503259B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
TWI692967B (zh) 影像裝置
KR102328020B1 (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
Ho et al. Dual-fisheye lens stitching for 360-degree imaging
US9946955B2 (en) Image registration method
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
KR20160034847A (ko) 단초점 카메라를 이용하여 디스플레이 시스템을 캘리브레이팅하기 위한 시스템 및 방법
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
WO2013130082A1 (en) Method and system for adaptive perspective correction of ultra wide-angle lens images
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
Amano Projection center calibration for a co-located projector camera system
JP6835080B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6700935B2 (ja) 撮像装置、その制御方法、および制御プログラム
CN113259642B (zh) 一种影片视角调节方法及***
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
KR20090108822A (ko) 카메라 영상 보정 방법 및 장치
JP2019525509A (ja) 水平視差ステレオパノラマ取込方法
JP2005258953A (ja) 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法
JP7012058B2 (ja) 画像補正方法及びその装置
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
JP2018174431A (ja) 画像処理装置、撮影装置、及び画像処理方法