TWI533079B - Panoramic imaging system and method thereof - Google Patents

Description

全景成像系統及其方法

　　本發明係有關於一種全景成像系統及其方法，尤指一種具有一全景反射鏡，配合單一影像感測裝置或單一投影裝置，使得感測所得的影像或投影出去的影像具有較佳的解析度與亮度之全景成像系統及其方法。

　　按，於照相、影片攝影、與投影領域中，有視角(Field of View，簡稱FOV)的規格。FOV又分為水平視角(Horizontal FOV，簡稱HFOV)與垂直視角(Vertical FOV，簡稱VFOV)。全景成像系統的HFOV是360度，VFOV的角度則不一定。

　　在全景攝影的技術面，由於投影在感光材料、CMOS影像感測器或電荷藕合元件的光源經過反射鏡曲面反射會有重疊以及能量無法平均分佈在每一個陣列式電容（或感光二極體）上面，造成電容（或感光二極體）接受到光學能量的強度大小不同，也就是投影的密度不均造成光學能量無法平均分布在每一個CMOS影像感測器感光二極體或電荷藕合元件的光上面，造成影像模糊。CMOS影像感測器或電荷耦合元件接收訊號電荷的強度密度之所以不均勻原因，原因就是曲面鏡的曲率半徑大小造成反射光入射CMOS影像感測器或電荷耦合元件後，投射於感光二極體上的光訊號轉換成訊號電荷的密度不均，曲面的曲率半徑越大投影在CMOS影像感測器感光二極體或電荷耦合元件的密度就越高，曲率半徑越小投影在CMOS影像感測器或電荷耦合元件上的密度就越低。

　　例如美國專利US5,990,934揭露一種採用金字塔反射鏡的全景成像方法與系統，但它必須使用四個攝影機（或影像感測裝置）。成本比較高。它還有一個缺點：越靠近金字塔反射鏡中心點的影像解析度越低。Vishvjit S. Nalwa，在其1996年的技術報告中提出的方法與系統，與US5,990,934相同。US5,793,527更進一步用四個鏡片與四個攝影機，將金字塔反射鏡得到的較低解析度影像合併成一個較高解析度的全景影像。

　　S. K. Nayar的1997文獻揭露另一種全景成像方法，使用類似拋物線反射鏡曲面(曲面方程式請參考該論文)的全景成像方法，且只使用一個攝影機（或影像感測裝置）。它改良了US5,990,934的攝影機太多的缺點。它也有兩個缺點：第一，越靠近反射鏡曲面中心點的影像解析度越不均勻、解析度越低、亮度越暗；第二，全景影像落在一個圓形區域內，影像感測裝置的四個角落閒置無用。目前市場上常見的產品，多屬採用此方法的產品。

　　我國專利公告案號TWI268102揭露一種影像處理單元，適用於一影像感測器，該影像處理單元包括多數個感光二極體，其排列於影像感測器中，這些感光二極體依位置的不同而具有不同尺寸的感光面積，其中這些感光二極體的感光面積由中央區域向外依序遞增，以補償光入射角過大而使敏感度降低的問題，進而提高影像擷取的品質。此專利的特徵正巧與全景成像的需求相反。

　　美國專利US5,539,483揭露一種使用金字塔反射鏡與四個投影裝置的全景投影系統。其原理與US5,990,934相同，只是將光源反過來操作，形成投影系統。因原理相同，其特性相同，它必須使用四個投影裝置。成本比較高。它還有一個缺點：越靠近金字塔反射鏡中心點的投影到螢幕上時，影像解析度越低。

　　在影像處理上，CMOS影像感測器或電荷藕合元件，透過陣列感光二極體所構成之畫素單元來擷取影像，其每一畫素單元之敏感度代表投射於感光二極體上的光訊號轉換成訊號電荷的強度表現。若感光二極體對光的敏感度降低時，造成接收訊號電荷的密度變低，將直接影響影像擷取之真實度與飽和度。又因為CMOS影像感測器或電荷耦合元件之陣列電荷儲存元件造成訊號電荷在不同電荷儲存元件所儲存的訊號電荷密度不同，使得所擷取的部分影像具有較模糊現象。

　　再者，CMOS影像感測器或電荷耦合元件接收訊號電荷的強度密度之所以不均勻原因，原因就是曲面鏡的曲率半徑大小造成反射光入射CMOS影像感測器或電荷耦合元件後，投射於感光二極體上的光訊號轉換成訊號電荷的密度不均，曲面的曲率半徑越大投影在CMOS影像感測器或電荷耦合元件的密度就越高，曲率半徑越小投影在CMOS影像感測器或電荷耦合元件上的密度就越低。此種邊緣衰減(attenuation)的效應直接影響成像的品質，造成中央較亮邊緣較暗的情況。雖然在光補償技術上，能藉由軟體或微透鏡(microlens)之聚焦來增強邊緣區域的光訊號，或是經由影像大小來計算較佳感光區域之有效面積，但效果還是有限。

　　針對上述習知全景成像系統之缺點，本發明提供一種全景成像系統及其方法，以改善上述之缺點。

　　本發明之一目的係提供一種全景成像系統及其方法，其具有一全景反射鏡，其錐面為一曲面使得在成像時，光源經全景反射鏡投射於感光二極體上的光訊號的密度更均勻且成矩形影像或非圓形影像者，避免了解析度不均勻問題與四個角落閒置無用問題。

　　本發明之一目的係提供一種全景成像系統及其方法，其具有一全景反射鏡，該全景反射鏡可為一凸鏡、凹鏡、平面鏡、或其組合，其投影結果的水平視角可以為121度至360度，且該矩形區域為一長方形區域。

　　本發明之一目的係提供一種全景成像系統及其方法，其具有一全景反射鏡，該全景反射鏡的四個角落分別具有一延伸反射鏡，該四個延伸反射鏡所反射之影像將分別落於該影像感測裝置的四個角落。

　　本發明之一目的係提供一種全景成像系統及其方法，其具有一全景反射鏡，其曲面係呈二次曲線狀，且該曲面之梯度決定該全景反射鏡投射於該影像感測裝置上影像的線性關係。

　　本發明之一目的係提供一種全景成像系統及其方法，其在投影時，矩形光源經全景反射鏡投影於360度螢幕上的光的密度更均勻，避免了解析度不均勻問題，故解析度較好。

　　本發明之一目的係提供一種全景成像系統及其方法，其所採用的影像感測裝置中感光元件的面積越靠近影像感測裝置中心點越大，離中心點越遠者面積越小，使具有感測所得的影像具有較佳的解析度與亮度。

　　為達上述之目的，本案之一種全景成像系統，其包括：一全景反射鏡，為一橢圓錐，且其錐面為一曲面，用以反射來自周遭的光源；以及一影像感測裝置，係置於該全景反射鏡之一側，用以接收從該全景反射鏡來的光源，以產生成像資訊；俾藉由該全景反射鏡使得一全景影像投射於該影像感測裝置時，可將該全景影像投射成一矩形區域或非圓形區域者。

　　為達上述之目的，本案之一種全景成像方法，其包括下列步驟：提供一影像感測裝置；從該影像感測裝置取得一未展開的矩形影像或非圓形影像；以及將該未展開的矩形影像或非圓形影像展開後還原成一環狀的全景影像。

　　為達上述之目的，本案之一種全景投影系統，其包括：一儲存裝置，可儲存從一影像感測裝置所感測之影像資訊；一處理單元，係耦接至該儲存裝置，可將該影像資訊處理後輸出；一視訊介面單元，耦接至該處理單元，可將該影像資訊轉換成一矩形全景影像或非圓形影像光源後輸出；一影像投影裝置，耦接至該視訊介面單元，可將該矩形全景影像或非圓形影像光源投射出去；一全景反射鏡，係置於該影像投影裝置之上方或下方，其為一橢圓錐，其錐面為一曲面，用以反射來自周遭的光源；以及一全景螢幕，係置於該全景反射鏡之周圍，且可將該全景反射鏡包覆於其中；俾藉由該全景反射鏡將一矩形區域或非圓形區域的光源投射於該全景螢幕上成一360度全景影像。

　　為達上述之目的，本案之一種全景投影方法，其包括下列步驟：提供一光源及一影像投影裝置；藉由該影像投影裝置將一未展開且密度均勻分佈之矩形影像或非圓形影像光源投射至一全景反射鏡；以及該全景反射鏡將該未展開且密度均勻分佈之矩形影像或非圓形影像還原成360度環狀全景影像。

　　為達上述之目的，本案之一種全景影像處理單元，係用於一全景成像系統中，該全景影像處理單元包括：複數個光感測元件，係排列於該影像感測裝置中，該些光感測元件依位置的不同而具有不同尺寸的感光面積，其中該些光感測元件的感光面積由一全景反射鏡的橢圓錐曲面所決定，光照度越低的區域，其感光面積越大，光照度越高的區域，其感光面積越小。

　　為使　貴審查委員能進一步瞭解本發明之結構、特徵及其目的，茲附以圖式及較佳具體實施例之詳細說明如後。

10‧‧‧全景反射鏡
11‧‧‧曲面
12‧‧‧延伸反射鏡
20‧‧‧影像感測裝置
21‧‧‧光感測元件
30‧‧‧透鏡
100‧‧‧儲存裝置
110‧‧‧處理單元
120‧‧‧視訊介面單元
130‧‧‧影像投影裝置
140‧‧‧全景反射鏡
141‧‧‧曲面
142‧‧‧延伸反射鏡
150‧‧‧全景螢幕
160‧‧‧透鏡

　　圖1a為一示意圖，其繪示本案一較佳實施例之全景成像系統之立體示意圖。
　　圖1b為一示意圖，其繪示本案一較佳實施例之全景成像系統之上側示意圖；
　　圖2為一示意圖，其繪示本案一較佳實施例之全景成像系統進一步具有一透鏡之示意圖。
　　圖3為一示意圖，其繪示本案另一較佳實施例之全景成像方法之流程示意圖。
　　圖4為一示意圖，其繪示本案另一較佳實施例之全景投影系統之方塊示意圖。
　　圖5為一示意圖，其繪示本案另一較佳實施例之全景投影方法之流程示意圖。
　　圖6為一示意圖，其繪示本案再一較佳實施例之全景影像處理單元之配置示意圖。

　　請一併參照圖1a至圖2，其中圖1a繪示本案一較佳實施例之全景成像系統之立體示意圖；圖1b繪示本案一較佳實施例之全景成像系統之上側示意圖；圖2繪示本案一較佳實施例之全景成像系統進一步具有一透鏡之示意圖。

　　如圖所示，本發明之全景成像系統，其包括：一全景反射鏡10；以及一影像感測裝置20所組合而成者。

　　該全景反射鏡10，其形狀例如但不限於為一橢圓錐，且其錐面為一曲面11，用以反射來自周遭的光源，其中，該周遭的光源例如但不限於為360度光源；該全景反射鏡10例如但不限於為一凸透鏡、凹面鏡或平面鏡。此外，該全景反射鏡10的投影結果的水平視角可以為121度至360度，且其曲面11使得該全景影像投射於該影像感測裝置20時，將該全景影像投射成一個非圓形區域者，且該非圓形區域較佳為一橢圓形區域，且該橢圓形區域可大於或等於該影像感測裝置20的感測區域。

　　其中，該全景反射鏡10的曲面11係呈二次曲線狀，且該曲面11之梯度可決定該全景反射鏡10投射於該影像感測裝置20上影像的線性關係。此外，該全景反射鏡10的四個角落分別具有一延伸反射鏡12，且該全景反射鏡10的每一個剖面均為一橢圓形。

　　該影像感測裝置20係置於該全景反射鏡10上方或下方，在本實施例中係以下方為例加以說明，但並不以此為限，用以接收從該全景反射鏡10來的光源，以產生成像資訊，俾藉由該全景反射鏡10使得一全景影像投射於該影像感測裝置20時，可將該全景影像投射成一矩形區域或非圓形區域，且較佳為一長方形區域，且該四個延伸反射鏡12所反射之影像將分別落於該影像感測裝置20的四個角落（如圖1b所示），以改善習知技術中該影像感測裝置20四個角落閒置無用之缺點。

　　其中，該影像感測裝置20進一步包括複數個光感測元件21，用以接受反射光源入射於該光感測元件21上之電磁輻射能量，以及產生相對應之複數個訊號電荷，其中該光感測元件21例如但不限於為一電荷耦合元件、一感光二極體(photodiode)、一互補氧化金屬半導體影像感測元件或其他感光材料。

　　此外，如圖2所示，本案之全景成像系統進一步具有一透鏡30，該透鏡30係置於該全景反射鏡10及該影像感測裝置20之間，俾藉由該透鏡30可達成放大(zoom in)、縮小(zoom out)、局部放大、局部縮小、改變景深或其他功能者。其中，該透鏡30例如但不限於為一凸鏡、凹鏡、平面鏡、或其組合。

　　本發明之全景成像系統，於運作時該全景反射鏡10的曲面使得一全景影像投射於該影像感測裝置20時，可將該全景影像投射成一個矩形區域或非圓形區域，且投射密度呈現均勻分佈，除可改善解析度不均勻問題與四個角落閒置無用之缺點外，亦可增大垂直視角(Vertical FOV，簡稱VFOV)。

　　請參照圖3，其繪示本案另一較佳實施例之全景成像方法之流程示意圖。

　　如圖所示，本發明亦提供一種全景成像方法，其包括下列步驟：提供一影像感測裝置20（步驟1）；從該影像感測裝置20取得一未展開的矩形影像或非圓形影像（步驟2）；以及將該未展開的矩形影像或非圓形影像展開後還原成一環狀的全景影像影（步驟3）。

　　於該步驟1中，提供一影像感測裝置20；其中，該影像感測裝置20進一步包括複數個光感測元件21，用以接受反射光源入射於該光感測元件21上之電磁輻射能量，以及產生相對應之複數個訊號電荷，其中該影像感測裝置20例如但不限於為一電荷耦合元件、一感光二極體、一互補氧化金屬半導體影像感測元件或其他感光材料，其詳情請參照上述之說明，在此不擬重複贅述。

　　於該步驟2中，從該影像感測裝置20取得一未展開的矩形影像或非圓形影像；其中，該矩形影像為具有密度均勻之影像。

　　於該步驟3中，將該未展開的矩形影像或非圓形影像展開後還原成一環狀的全景影像影；其中，該環狀的全景影像影為360度環狀影像且為真實世界比例的環狀影像。

　　請參照圖4，其繪示本案另一較佳實施例之全景投影系統之方塊示意圖。

　　如圖所示，本發明之全景投影系統，其包括：一儲存裝置100；一處理單元110；一視訊介面單元120；一影像投影裝置130；一全景反射鏡140；以及一全景螢幕150所組合而成者。

　　其中，該儲存裝置100可儲存從一影像感測裝置20所感測之影像資訊；其中，該儲存裝置100例如但不限於為一記憶體，該影像感測裝置20之原理請參照上述之說明，在此不擬重複贅述。

　　該處理單元110係耦接至該儲存裝置100，可將該影像資訊處理後輸出。其中，該處理單元110例如但不限於為一微處理器或微控制器。

　　該視訊介面單元120耦接至該處理單元110，可將該影像資訊轉換成一矩形或非圓形全景影像光源後輸出。

　　該影像投影裝置130耦接至該視訊介面單元120，可將該矩形或非圓形全景影像光源投射出去。其中，該影像投影裝置130例如但不限於為一投影機。

　　該全景反射鏡140，其形狀例如但不限於為一橢圓錐，且其錐面為一曲面141，用以反射來自周遭的光源，其中，該曲面141係呈二次曲線狀，該周遭的光源例如但不限於為360度光源；該全景反射鏡140例如但不限於為一凸鏡、凹鏡、平面鏡或其組合。此外，該全景反射鏡140的投影結果的水平視角可以為121度至360度。此外，該全景反射鏡140的四個角落分別具有一延伸反射鏡142，且該全景反射鏡140的每一個剖面均為一橢圓形。

　　該全景螢幕150係置於該全景反射鏡140之周圍，且可將該全景反射鏡140包覆於其中。其中，該處理單元110將根據該曲面141之梯度修正該影像資訊，使其與該全景反射鏡140之梯度相同，以使該影像資訊還原呈現於該全景螢幕150上。

　　此外，本案之全景投影系統進一步具有一透鏡160，該透鏡160係置於該全景反射鏡140及該影像投影裝置150之間，俾藉由該透鏡160可達成放大、縮小、局部放大、局部縮小、改變景深或其他功能者。

　　俾藉由該全景反射鏡140的曲面141將一矩形區域或非圓形區域且密度均勻分佈的光源投射於該全景螢幕150上成一360度全景影像，除可改善解析度不均勻問題與四個角落閒置無用之缺點外，亦可增大垂直視角(VFOV)。且該透鏡160可達成放大、縮小、局部放大、局部縮小、改變景深或其他功能者。因此，本案之全景投影系統確實較習知技術之全景投影系統具有進步性。

　　請參照圖5，其繪示本案另一較佳實施例之全景投影方法之流程示意圖。

　　如圖所示，本發明亦提供一種全景投影方法方法，其包括下列步驟：提供一光源及一影像投影裝置130（步驟1）；藉由該影像投影裝置130將一未展開且密度均勻分佈之矩形影像或非圓形影像光源投射至一全景反射鏡140（步驟2）；以及該全景反射鏡140將該未展開且密度均勻分佈之矩形影像或非圓形影像還原成360度環狀全景影像（步驟3）。

　　於該步驟1中，提供一光源及一影像投影裝置130；其中，該光源例如但不限於為一360度光源。而該影像投影裝置130例如但不限於為一般投影機。

　　於該步驟2中，藉由該影像投影裝置130將一未展開且密度均勻分佈之矩形影像或非圓形影像光源投射至一全景反射鏡140；其中，該全景反射鏡140其原理請參照上述之說明，在此不擬重複贅述。

　　於該步驟3中，該全景反射鏡140將該未展開且密度均勻分佈之矩形影像或非圓形影像還原成360度環狀全景影像；其中，該環狀的全景影像影為360度環狀影像且為真實世界比例的環狀影像。

　　請參照圖6，其繪示本案再一較佳實施例之全景影像感測裝置之配置示意圖。

　　如圖所示，本發明亦提供一種全景影像感測裝置，係用於一全景成像系統中，該影像感測裝置20包括：複數個光感測元件21，係排列於該影像感測裝置20中，該些光感測元件21依位置的不同而具有不同尺寸的感光面積，其中該些光感測元件21的感光面積由一全景反射鏡10的橢圓錐曲面11所決定，光照度越低的區域，其感光面積越大，光照度越高的區域，其感光面積越小。其中，該全景反射鏡10之原理請參照上述之說明，在此不擬重複贅述；其中，該周遭的光源例如但不限於為360度光源。該橢圓錐曲面11之梯度決定該全景反射鏡10投射於該影像感測裝置20上影像的線性關係。

　　其中，該光感測元件21例如但不限於為一光電二極體、一電荷耦合元件、一互補氧化金屬半導體影像感測元件或其他感光材料。如圖所示，越靠近該影像感測器20中央區域的光感測元件21，因為其光照度較低，因此，其感光面積較大；越靠近該影像感測器20外圍區域的光感測元件21，因為其光照度較高，因此，其感光面積較小。如此，即可改善習知影像感測器因為邊緣衰減(attenuation)的效應直接影響成像的品質，造成中央較亮邊緣較暗之缺點。

　　藉由上述之配置方式可改善習知全景成像系統投射於感光二極體21上的光訊號轉換成訊號電荷的密度不均，當曲面11的曲率半徑越大投影在該光感測元件21上的密度就越高，曲面11的曲率半徑越小投影在該光感測元件21上的密度就越低。因此，本案之全景影像感測裝置確實較習知全景成像裝置具有進步性。

　　綜上所述，藉由本案之全景成像系統之實施，其具有：1、具有一全景反射鏡，其特別的曲面使得在成像時，光源經全景反射鏡投射於感光二極體上的光訊號的密度更均勻且成矩形影像或非圓形影像，避免了解析度不均勻問題與四個角落閒置無用之缺點；2、其在投影時，矩形或非圓形影像光源經全景反射鏡投影於360度螢幕上的光的密度更均勻，避免了解析度不均勻問題，故解析度較好；以及3、其所採用的影像感測裝置中感光二極體的面積越靠近影像感測裝置中心點越大，離中心點越遠者面積越小，使具有感測所得的影像具有較佳的解析度與亮度等優點，因此，本案確實較習知之全景成像系統及其方法具有進步性。

　　本案所揭示者，乃較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。

　　綜上所陳，本案無論就目的、手段與功效，在在顯示其迥異於習知之技術特徵，且其首先創作合於實用，亦在在符合發明之專利要件，懇請　貴審查委員明察，並祈早日賜予專利，俾嘉惠社會，實感德便。

 

10‧‧‧全景反射鏡

11‧‧‧曲面

12‧‧‧延伸反射鏡

20‧‧‧影像感測裝置

21‧‧‧光感測元件

Claims (4)

1. 一種全景成像系統，其包括：一全景反射鏡，為一橢圓錐，且其錐面為一曲面，用以反射來自周遭的光源；以及一影像感測裝置，係置於該全景反射鏡之一側，用以接收從該全景反射鏡來的光源，以產生成像資訊，其中該影像感測裝置係置於該全景反射鏡的上方或下方，且該全景反射鏡的四個角落分別具有一延伸反射鏡，該四個延伸反射鏡所反射之影像將分別落於該影像感測裝置的四個角落；俾藉由該全景反射鏡使得一全景影像投射於該影像感測裝置時，可將該全景影像投射成一矩形區域或非圓形區域者。
2. 一種全景影像感測裝置，係用於一全景成像系統中，該影像感測裝置包括：複數個光感測元件，係排列於該影像感測裝置中，該些光感測元件依位置的不同而具有不同尺寸的感光面積，其中該些光感測元件的感光面積由一全景反射鏡的橢圓錐曲面所決定，光照度越低的區域，其感光面積越大，光照度越高的區域，其感光面積越小。
3. 如申請專利範圍第2項所述之全景影像感測裝置，其中該光感測元件為一光電二極體、一電荷耦合元件、一互補氧化金屬半導體影像感測元件或其他感光材料。
4. 如申請專利範圍第2項所述之全景影像感測裝置，其中該橢圓錐曲面之梯度決定該全景反射鏡投射於該影像感測裝置上影像的線性關係。