TWI759136B - 圖像輸出的方法、電腦程式產品、裝置及圖像產生方法 - Google Patents

Abstract

本發明之一實施例係提供圖像輸出的方法，該方法包含電腦對用於拍攝立體圖像而同時設置的第一光學系統和第二光學系統中的該第一光學系統所拍攝的第一圖像進行修正。該方法包含有：特定化部分圖像，該部分圖像係與在該第一圖像中反射的該第二光學系統的外形影像相對應，且該部分圖像為該第二光學系統所拍攝的圖像的一部分；獲得轉換圖像，基於該第一圖像且轉換成該部分圖像；及將該第一圖像的該影像置換成該轉換圖像。

Description

圖像輸出的方法、電腦程式產品、裝置及圖像產生方法

本發明係有關於一種圖像輸出的方法、電腦程式產品和裝置。

傳統上，由兩台相機拍攝的圖像已經用於產生立體視覺。另一方面，使用由諸如魚眼透鏡的廣角透鏡拍攝的圖像，可以獲得較廣區域中的資訊。因此，已經有人揭示了使用分別配備有廣角透鏡之複數台相機拍攝的圖像來獲得立體視覺，或獲得三維資訊。

專利文獻1揭示了一種成像裝置，該成像裝置使用分別具有魚眼透鏡之三個相機來計算三維位置。在該成像裝置中，每台相機的透鏡的直徑略相同，並且此等相機配置有光軸中心彼此平行且彼此相鄰且靠近的2個透鏡。例如，利用將具有180°視角的魚眼透鏡的複數個相機配置成第一相機和第二相機彼此緊鄰，使第一相機的透鏡或主體反射到以第二相機拍攝的圖像中。因此，在專利文獻1的成像裝置中，係在該反射區域的所有像素中，使用從複數個其他圖像的像素值計算出的平均像素值來補充每個像素值。

專利文獻1：日本專利特開2015-133691號公報

上述專利文獻1的技術著眼於使用三台以上相機來計算複數點的三維位置。在3D護目鏡上輕鬆地顯示電影，風景等影片，而不會感到任何不適感，且考慮到成本等，理想上係使用最少兩台相機拍攝的圖像來處理上述反射的區域。所揭示的技術之目的係提供一種在合併並處理由兩台相機拍攝的圖像 處理中，當由一台相機拍攝的圖像中存在反射有另一台相機的透鏡等的區域時，利用以其他透鏡拍攝的圖像以適當地置換該反射區域，以處理的技術來獲得更舒適的圖像。

本發明之實施例的一態樣係藉由圖像輸出的方法來說明。該圖像輸出的方法係電腦對用於拍攝立體圖像而同時設置的第一光學系統和第二光學系統中的該第一光學系統所拍攝的第一圖像進行修正。該方法包含有：特定化部分圖像，該部分圖像在該第一圖像中反射的該第二光學系統的外形影像相對應的部分圖像，且該部分圖像係由該第二光學系統所拍攝的圖像的一部分；獲得轉換圖像，基於該第一圖像且轉換成該部分圖像；及將該第一圖像的該影像置換成該轉換圖像。

本發明的另一個實施例還以使電腦執行上述方法的圖像輸出之電腦程式產品為例。此外，本發明的又另一個實施例還以一種生產用於儲存利用上述方法所產生的圖像的記憶媒體的方法為例。此外，本發明的再另一個實施例還以產生包含以上述方法所產生的圖像的影像的方法為例。

根據揭示的技術，在合併並處理由兩台相機拍攝的圖像之圖像處理中，當在由一台相機拍攝的圖像中存在反射有另一台相機的透鏡等的區域時，利用以其他透鏡拍攝的圖像以適當地置換該反射區域，即可獲得更舒適的圖像。

10,10A,10B:圖像編輯裝置

12,12A:第一相機(第一光學系統)

12L,14L:透鏡

14,14A:第二相機(第二光學系統)

16,16A:相機單元

20,20A,20B:控制部

22,22A,22B:記憶部

24,24A,24B:通訊部

40,50,50A:圖像輸出裝置

40D,50D:顯示部

50I:輸入部

2001:圖像取得部

2002:特定部

2003:轉換部

2004:置換部

2005:指示調整部

2006:輸出部

2007:顏色處理部

2008:失真處理部

2010:傳送部

2201:原始數據區域

2202:特性區域

2203:已處理區域

A,B,C,D:區域

B:圖像

D1,D1a,D1b:部分圖像

DL,P12L:邊界線

F,Fm:圖像幀

H:水平線

H12:平面

N:網路

P12,P12m:第一圖像

P14,P14m:第二圖像

S1,S2,S3,S4:影像系統

S601,S603,S605,S607,S609,S701,S703:步驟

T,Ta,Tb:樹木

Vb,V12,V14,V12a,V12b:向量

Y1,Y2:箭頭

δ 1,δ 2:傾斜角度

第1圖為表示第一實施例的影像系統結構的概略構造圖，且顯示該控制結構的方塊圖。

第2圖為表示由並設在第1圖的影像系統中的兩台相機所拍攝的圖像幀的示 例。

第3A圖和第3B圖為表示分解第2圖的圖像幀的示意圖。

第3A圖為表示第2圖的左側上的圖像的每個區域的示意圖。

第3B圖為表示第2圖的右側上的圖像的每個區域的示意圖。

第4A圖至第4E圖示意性表示使用由另一台相機拍攝的圖像的一部分來改變由第1圖的影像系統中的兩台相機之一拍攝的圖像的步驟。

第4A圖為表示由其中一台相機拍攝的圖像。

第4B圖為表示由另一台相機拍攝的圖像的部分圖像的圖，該圖係與另一台相機反射於由其中一台相機拍攝的圖像中之區域相對應。

第4C圖為表示使用第4B圖的部分圖像來置換由其中一台相機拍攝的圖像的反射區域處的圖。

第4D圖為表示在第4C圖中的置換之後由其中一台相機拍攝的圖像的圖。

第4E圖為表示在對另一台相機拍攝的圖像應用與第4A圖至4C圖相同的已處理的圖像的圖。

第5A圖至第5D圖為表示用於說明第4B圖的部分圖像的處理的示意圖。

第5A圖為表示反射區域的部分邊界線和部分圖像的部分邊界線。

第5B圖為表示部分圖像的該邊界線失真以匹配反射區域的該邊界線。

第5C圖為表示部分圖像被不自然地圖像合成的示例。

第5D圖為表示利用使部分圖像失真的自然圖像合成的示例圖。

第6圖為表示在第1圖的影像系統的圖像輸出裝置中的處理的流程圖。

第7圖為表示基於來自第1圖的影像系統的圖像輸出裝置中的操作員的指示的處理的流程圖。

第8圖為表示根據第二實施例的影像系統的構造的示意構造圖，並顯示其控制構造的方塊圖。

第9圖為表示根據第三實施例的影像系統的構造的示意構造圖，並顯示其控制構造的方塊圖。

第10A圖至第10E圖為說明兩台相機的設置之間的偏差之具體示例圖。

第11圖為表示根據第四實施例的影像系統的構造的示意構造圖，並顯示其控制構造的方塊圖。

以下，茲參考附圖說明根據本發明的實施例。相同的元件(或構造)由相同的符號表示，並且此等的名稱和功能也相同。因此，將不再重複有關此等的詳細說明。

另外，在本說明書中，相對於圖像雖使用「區域」之詞語和「部分圖像」或僅「圖像」一詞，但應該注意的，此等詞被用作同義詞來表示圖像的區域。

第1圖為表示包含根據第一實施例的圖像編輯裝置10的影像系統S1的構造圖。影像系統S1可以提供立體視覺圖像，亦即，立體圖像。

圖像編輯裝置10係資訊處理裝置，亦即電腦。圖像編輯裝置10包含有控制部20。控制部20係對用於拍攝立體圖像而同時設置的兩個光學系統所拍攝的圖像進行修正，並輸出修正後的，亦即修改後的圖像。這兩個光學系統包含兩台相機12、14，並且具備第一相機12的第一光學系統和第二相機14的第二光學系統。相機單元16包含第一相機12和第二相機14。控制部20可以處理由此等光學系統所拍攝的圖像，亦即圖像幀(如第2圖所示)，以獲得例如立體圖像。於此，兩台相機12、14的透鏡12L、14L分別為魚眼透鏡，並且具有大約180°的視角。然而，透鏡12L、14L不限於此種魚眼透鏡，並且可使用各種廣角透鏡，諸如具有150°的視角的透鏡或具有200°的視角的透鏡。於此，透鏡12L、14L的直徑略為相同。如第1圖示意性所示，相機12、14被配置成使光軸中心彼 此平行且相鄰接的兩個透鏡彼此靠近。此外，相機單元16可以例如透過網路N以有線或無線方式連接到圖像編輯裝置10。

相機12、14可以被設置為用於拍攝諸如戲劇的影片、用於拍攝車輛的外部或用於拍攝諸如音樂會的活動的影片的攝影裝置。作為相機12、14，可以使用使用諸如電荷耦合器件(CCD)、金屬氧化物半導體(MOS)或互補金屬氧化物半導體(CMOS)之類的圖像傳感器的攝影裝置。

控制部20係用於控制圖像編輯裝置10的操作之類的控制裝置的示例。控制部20具有CPU和主記憶部，並且透過程式來執行資訊處理。CPU也稱為處理器。然而，CPU不限於單一處理器，並可以具有複數個處理器。此外，透過單一插槽所連接的單一CPU可以具有多核心構造。上述每個部分的處理中的至少一部分可以由除了CPU之外的處理器執行，例如，也可用諸如數位信號處理器(DSP)或圖形處理單元(GPU)之類的專用處理器來處理。此外，上述每個部分的處理的至少一部分可以係積體電路(IC)或其他數位電路。此外，在上述各部分的至少一部分中可以包含有類比電路。控制部20的主記憶部係主記憶裝置的示例。控制部20中的CPU，係執行電腦程式並提供各種功能，而該電腦程式係在該主記憶部中以可執行方式被展開。控制部20中的主記憶部儲存由CPU執行的電腦程式和/或數據等。控制部20中的主記憶部為動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、唯讀記憶體(ROM)等。

控制部20連接到記憶部22。記憶部22為所謂的外部記憶部，並且用作輔助控制部20的主記憶部的記憶區域，儲存由控制部20的CPU執行的電腦程式和/或數據等。記憶部22為硬碟驅動器，固態驅動器(SSD)等。於此，記憶部22儲存實現後述的功能模組的圖像輸出程式。

圖像編輯裝置10還包含通信部24。圖像編輯裝置10可以經由通信部24連接到諸如網際網路的網路N，並且可以與外部裝置(例如，圖像輸出裝置 40)進行通信。

控制部20包含有：圖像取得部2001、特定部2002、轉換部2003、置換部2004、指示調整部2005和輸出部2006的每個功能模組。轉換部2003包含顏色處理部2007和失真處理部2008的每個功能模組。每個功能模組例如利用控制部20(亦即，其CPU)來執行主記憶部和/或儲存在記憶部22的程式，特別為圖像輸出程式來實現。然而，功能模組的一部分可以為諸如另一個處理器、數位電路或類比電路之類的硬體。每個功能模組都可以解釋為一部分、功能部或裝置。

圖像取得部2001獲得包含由相機12、14拍攝的圖像的圖像幀。第一相機12拍攝的第一圖像和第二相機14拍攝的第二圖像可以被整合以構成整體圖像幀F。圖像幀F被儲存在記憶部22的原始數據區域2201中。

於此，第2圖為表示整體地包含第一圖像和第二圖像的圖像幀F的示例。圖像幀F包含第一圖像P12和第二圖像P14。在圖像幀F中，第二圖像P14位於第一圖像P12的右側。此等圖像P12、P14之間的位置關係依據相機單元16的第一相機12和第二相機14之間的位置關係。此外，第一圖像P12和第二圖像P14的處理並不限於以上示例。

在第2圖的第一圖像P12和第二圖像P14的每一個中，周圍的黑色部分為非拍攝區域，非拍攝區域內的略圓形部分為拍攝區域，在拍攝區域的一部分具有一個反射區域。

第3A、3B圖以分解的方式顯示出第2圖的圖像幀的示意圖，第3A圖第2圖的左側圖像的每個區域的示意圖，第3B圖第2圖右側圖像的每個區域的示意圖。第2圖的圖像P12、P14中的每一個中的非拍攝區域、拍攝區域和反射區域分別對應於作為示意圖的第3A和3B圖的圖像的區域A、B和C。

如第2圖、第3A和3B圖所示，第一光學系統的第一相機12的透鏡 12L和第二光學系統的第二相機14的透鏡14L分別為魚眼透鏡，由於如上所述所配置，因此第一圖像P12具有區域C，該區域C係反射有第二光學系統的相機14和/或透鏡14L。第二圖像P14具有區域C，該區域C反射有第一光學系統的相機12及透鏡12L等。此等反射區域C對於產生立體圖像並不理想，理想上需進行修正，以使其成為實質正規的圖像(沒有反射區域時的圖像)。因此，為了修正，控制部20具備有特定部2002、轉換部2003和置換部2004的每個功能模組。以下，除非另有說明，否則將以第一光學系統的第一相機12在圖像幀F中對第一圖像P12的變化為例來說明每個功能部，且將省略針對由第二光學系統的第二相機14拍攝的第二圖像P14的變化的重複說明。

特定部2002係執行特定化部分圖像之步驟，其係與由其中一個光學系統所拍攝的圖像中所反射的另一個光學系統的外形影像相對應的部分圖像，且該部分圖像係由另一個光學系統所拍攝的圖像的一部分。具體而言，特定部2002係特部分圖像D，其係與由第一光學系統所拍攝的第一圖像P12所反射的第二光學系統的外形影像相對應的部分圖像D，且該部分圖像D係由第二光學系統所拍攝的圖像P14的一部分。此外，在第一圖像P12反射的第二光學系統的外形影像與在第一圖像P12的該反射區域C的部分圖像為相對應。

第4A圖為表示由第一光學系統所拍攝的第一圖像P12的示意圖(如第3A圖所示)。在第4A圖的第一圖像P12中，反射區域C在右端，亦即，在第二光學系統的一側。與該第一圖像P12的反射區域C相對應的部分圖像D和在第二圖像P14中的第二圖像P14的反射區域C不重疊，且與相當於第二圖像P14的示意圖(如第3B圖所示)之第4B圖的部分圖像D相對應。

特定部2002執行部分圖像D，該部分圖像D係相對於第4A圖的第一圖像P12的反射區域C指定第二圖像P14。由特定部2002來特定化部分圖像D，可以利用分別對第一圖像P12和第二圖像P14進行圖像分析來執行。已訓練機器 學習模式可以用於圖像分析。或者，特定部2002可以執行將與第一光學系統和第二光學系統的類型相對應且事先預定的區域的資訊定義為部分圖像D的區域。亦即，可以利用預先檢查第一光學系統和第二光學系統的特性並且基於該特性數據來執行演算處理而特定化部分圖像D。

在本實施例中，預先檢查第一光學系統和第二光學系統的特性，並且將該特性數據儲存在記憶部22的特性區域2202中。特定部2002利用基於特性區域2202的特性數據執行演算處理來特定化部分圖像D。以此種方式特定化的部分圖像D，包含拍攝被拍體的圖像，該被拍體係第二光學系統，亦即在沒有第二相機14的情況下用於形成包含在第一圖像P12的圖像的來源。此外，可以利用另一種方法特定化部分圖像D。

轉換部2003執行獲得轉換圖像之步驟，該步驟基於修正後的圖像來轉換部分圖像。具體而言，轉換部2003獲得已轉換的部分圖像D1，基於第一圖像P12對第二圖像P14的部分圖像D進行修正。轉換部2003的顏色處理部2007係基於第一圖像P12中第二光學系統的外形影像，亦即反射區域C附近的圖像的色調、亮度或顏色飽和度來修正第二圖像P14的部分圖像D的色調、亮度或顏色飽和度。如此一來，第一圖像P12和第二圖像P14的部分圖像D被合成而沒有任何不適。

轉換部2003的失真處理部2008，讓部分圖像D失真，使得第一圖像P12中的第二光學系統的外形影像，亦即反射區域C附近的圖像和第二圖像P14的部分圖像D被平順地連接。如此一來，第一圖像P12和第二圖像P14的部分圖像D就被平順地合成。

當顏色處理部2007基於要修正的第一圖像P12中的反射區域C附近的圖像的色調、亮度或顏色飽和度來適用轉換後的部分圖像D1時，根據既定程式修正部分圖像D的色調、亮度或顏色飽和度，以使觀看者俱有既定的整體感 或連續性。

失真處理部2008考慮到儲存在特性區域2202中的第一光學系統和第二光學系統的特性，例如，視野區的偏差等而使部分圖像D失真。於此，基於儲存在特性區域2202中的第一光學系統和第二光學系統的特性來執行此等轉換處理。然而，執行此等轉換處理，亦即顏色處理和/或失真處理，可利用將第一光學系統的第一圖像P12與第二光學系統的第二圖像P14以及使用此等的手動轉換已處理的圖像數據作為訓練數據，藉由學習到的人工智慧來執行。

置換部2004將第一圖像P12的第二光學系統的上述成像，亦即反射區域C，置換為由轉換部2003轉換的部分圖像，亦即，轉換後的部分圖像D1。如第4C圖所示，將第一圖像的反射區域C置換為轉換後的部分圖像D1，亦即，執行圖像B和部分圖像D1的圖像合成。由於轉換部2003已經對部分圖像D執行了顏色處理和失真處理以建立轉換後的部分圖像D1，故於此的置換可以利用簡單地擬合轉換後的部分圖像D1來完成。結果，可以將第一圖像P12修正並且可以獲得與沒有第二光學系統時的圖像略相同的自然圖像P12m(如第4D圖所示)。

第4E圖為表示以與第4A至4C圖相同的處理適用於以另一台相機14所拍攝的圖像P14且修正後的第二圖像P14m。圖像幀Fm包含修正後的第一圖像P12m和修正後的第二圖像P14m。

於此，茲參考第5A-5D圖說明失真處理部2008對部分圖像D的失真處理。

第5A圖並排顯示出第一圖像P12中的反射區域C的邊界線P12L的一部分和與此對應的第二圖像P14中的部分圖像D的邊界線DL的一部分。從第5A圖可以理解，即使第二圖像P14中的部分圖像D被適用於第一圖像P12中的反射區域C，也存在偏差並且在置換時存在連續性的問題。為了解決該問題，失真處理執行使整個部分圖像D沿箭頭Y1的方向失真的處理，以便使部分圖像D的邊 界線DL，特別係第5A圖中由虛線圓包圍的邊界線DL部分，與反射區域C的邊界線P12L相匹配。對於該處理，可以使用儲存在特性區域2202中的變換矩陣(transformation matrix)等。

第5C圖表示在圖像B中存在的樹木T與部分圖像D1a中存在的樹木Ta之間的邊界處出現圖像合成的失真的示例。於此種情況下，藉由執行失真處理以便在箭頭Y2的方向上放大部分圖像D1a以獲得部分圖像D1b，使得存在於圖像B中的樹木T和存在於部分圖像D1b中的樹木Tb被平順地連接。

如上所述的對部分圖像D1的失真處理，亦可如下的方式來實現，亦即針對一對圖像B和部分圖像D1a，將一對圖像B和操作員已進行失真處理之部分圖像D1b用作教師數據，透過機器學習程式來訓練器學習模式而建立已訓練模式。

此外，可以利用將部分圖像D的邊界線DL朝向圖像B稍微位移來放大部分圖像D1的區域，使得部分圖像D1的區域與圖像B的區域重疊。於此種情況下，可以利用使部分圖像D1的邊界DL附近的透明度在圖像B的方向上平順地增大來平順地連接圖像B和部分圖像D1。

如上所述，使用第一圖像P12且以相同的方式修正由第二光學系統所拍攝的第二圖像P14。從而，可以獲得包含修正後的第一圖像P12m和修正後的第二圖像P14m的修正後圖像幀Fm(如第4A-4E圖所示)。修正後的圖像幀被儲存在記憶部22的已處理區域2203中。此外，該修正後的圖像幀可以被連續地儲存並且用於以例如30圖像幀/秒的速度提供立體影像。

可以將應於某一個圖像幀的轉換應用於另一圖像幀。或者，分析影像的場景，並且對於略相同場景中所包含的圖像幀，可以將應用於該場景的一個圖像幀的轉換應用於另一圖像幀。

指示調整部2005經由圖像輸出裝置40等從操作員接收指示，並根 據該指示調整圖像。例如，當操作員使用修正後的圖像框看到立體影像並感覺該影像有問題時，可以將修正的指示從圖像輸出裝置40傳送到圖像編輯裝置10。為此目的的應用程式將被安裝在圖像輸出裝置40中。該修正指示對應於放大或縮小部分圖像D的區域的指示。因此，當圖像編輯裝置10的控制部20的指示調整部2005接收到修正指示時，因應於該指示，創建用於放大或縮小部分圖像D的區域的指示並將其傳送到特定部2002。結果，特定部2002可以特定化基於指示確定的部分圖像D，而非由初始設定確定的部分圖像D。修正指示可以簡單地為「修正」指示，於此種情況下，例如，可以先修正放大側，然後當接收到修正指示時可以從初始設定修正縮小側。在修正指示的階段，操作員可以選擇與放大或縮小相對應的值。此外，圖像輸出裝置40係所謂的用戶終端，亦即電腦，其可以為行動電話、智慧型手機、車載裝置等，並且包含諸如CPU的控制部，記憶部等。較佳地，圖像輸出裝置40係用於觀看立體影像的護目鏡裝置或與其等效的裝置。

輸出部2006執行以輸出包含修正後的第一圖像P12m和修正後的第二圖像P14m的修正後的圖像幀。第1圖的圖像輸出裝置40的顯示部(螢幕)40D，可以顯示基於由輸出部2006輸出的修正後的圖像幀而再現的立體圖像。

於此，茲參考第6圖的流程圖進一步說明由控制部20進行的上述圖像處理。又，步驟S601可以為圖像取得部2001中的處理步驟，步驟S603可以為特定部2002中的處理步驟，步驟S605可以為轉換部2003中的處理步驟，步驟S607可以為置換部2004的處理步驟，步驟S609可以為輸出部2006的處理步驟。以下，將僅說明第一圖像P12，但同樣適用於第二圖像P14。

當獲取圖像幀時(步驟S601)，對該反射區域C執行以上處理。關於圖像幀F的第一圖像P12，在圖像幀F的第二圖像P14中進行特定化部分圖像D(步驟S603)。然後，對所特定化的部分圖像D執行上述轉換處理，並且獲取 轉換後的部分圖像D1(步驟S605)。轉換處理包含上述顏色處理和/或上述失真處理。然後，將第一圖像P12的反射區域C置換為轉換後的部分圖像D1(步驟S607)。包含有作為該結果而獲得的修正後的第一圖像P12m的修正後圖像幀Fm，於此被輸出到圖像輸出裝置40等(步驟S609)。

第7圖的流程圖表示可以在步驟S603中執行以特定化第6圖中的部分圖像的處理。

當經由圖像輸出裝置40接收到來自操作者的指示時(步驟S701)，根據該指示執行部分圖像D的放大或縮小(步驟S703)。結果，如上所述，可以放大或縮小由特定部2002特定化的部分圖像D的區域。而且，正如前述所提，可以於部分圖像D和圖像B重疊的部分中，平順地改變部分圖像D的透明度，使得部分圖像D和圖像B被平順地連接。

如以上所述，根據第一實施例的圖像編輯裝置10，當使用另一個圖像的部分圖像來處理兩個光學系統的一個圖像的反射區域時，可以獲得更自然的圖像。

接下來，將說明第二實施例。關於第二實施例，為了盡可能避免重複說明，以下將主要說明與第一實施例的不同點，並且將省略其他說明。此外，在第二實施例中，與在第一實施例中相同，可以用相同的方式進行已說明過的修正等。

第8圖表示根據第二實施例的成像系統S2的構造。成像系統S2包含圖像編輯裝置10A和圖像輸出裝置50，其中圖像編輯裝置10A具備含有兩個光學系統的相機單元16，圖像輸出裝置50處理由該圖像編輯裝置10A所提供的圖像幀並輸出立體影像。圖像輸出裝置50對應於本發明的圖像輸出裝置，並且具備有與該圖像編輯裝置10略相同的構造。然而，圖像輸出裝置50不同於由負責創作立體影像的操作者專門操作的圖像輸出裝置40，且其係觀看立體影像的用戶 使用的裝置，於此尤其為護目鏡裝置。

圖像編輯裝置10A連接具有第一相機12和第二相機14的相機單元16。與該圖像編輯裝置10相同地，圖像編輯裝置10A具備控制部20A、記憶部22A和通信部24A。控制部20A具有與該控制部20相同的構造，記憶部22A具有與該記憶部22相同的構造，通信部24A具有與該通信部24相同的構造。控制部20A具備有圖像取得部2001和傳送部2010的每個功能模組。例如，利用由控制部20A，亦即其CPU執行儲存在主記憶部和/或記憶部22A中的程式來實現每個功能模組。

控制部20A的圖像取得部2001獲取包含由相機單元16所拍攝的第一圖像P12和第二圖像P14的圖像幀F。然後，傳送部2010經由網路N將該圖像幀傳送到圖像輸出裝置50。圖像取得部2001可以將獲取的圖像幀儲存在記憶部22A的原始數據區域2201中。此外，當然可以經由記憶媒體而不是網路將圖像幀提供給圖像輸出裝置50。這一點與已說明過的其他實施例係相同的。

圖像輸出裝置50具備有電腦的構造，並且包含控制部20B、記憶部22B和通信部24B。控制部20B具有與該控制部20相同的構造，記憶部22B具有與該記憶部22相同的構造，通信部24B具有與該通信部24相同的構造。控制部20B包含圖像取得部2001、特定部2002、轉換部2003、置換部2004、指示調整部2005和輸出部2006的每個功能模組。控制部20B的轉換部2003包含顏色處理部2007和失真處理部2008的每個功能模組。例如，利用由控制部20B，亦即其CPU執行儲存在主記憶部和/或記憶部分22B中的程式(例如，圖像輸出程式)來實現每個功能模組。

圖像輸出裝置50還包含用於顯示圖像幀的顯示部50D(如第2圖所示)。顯示部50D包含顯示立體圖像的護目鏡式監視器。圖像輸出裝置50還具備輸入部50I，並且可以輸入來自用戶的指示。來自用戶的指示由控制部20B的 指示調整部2005獲取。此外，輸入部50I可以為遙控器，還可以包含有功能部，例如眼動追蹤(eye tracking)功能部，該功能部利用身體的一部分(例如，眼睛)的運動來輸入。於此種情況下，該功能部可以由控制部20B實現。

圖像輸出裝置50的控制部20B的圖像取得部2001係獲取從圖像編輯裝置10傳送的圖像幀F。結果，控制部20B包含有上述功能模組，與第一實施例的圖像編輯裝置10相同，對圖像取得部2001、特定部2002、包含有顏色處理部2007和失真處理部2008的轉換部2003、置換部2004和/或指示調整部2005進行以上處理，就可以產生包含有修正圖像P14m的修正後圖像幀。然後，控制部20B的輸出部2006係將所產生的已處理的圖像幀Fm輸出至顯示部50D。

以此種方式，不使用圖像編輯裝置10來處理圖像幀，圖像輸出裝置50可以處理反射包含已拍攝的圖像P12、P14在內的透鏡等的圖像幀，並輸出修正後的圖像幀。然後，可以使用該圖像框來提供立體影像。

此外，在以上實施例中使用的相機單元16，兩個相機12、14從一開始就是整合性的單元。然而，可以利用並排配置兩個獨立的相機來構成相機單元16。以下，將說明此種情況下的第三實施例。

同樣在第三實施例中，為了盡可能避免重複說明，以下將主要說明與第一實施例的差異點，並且將省略其他說明。此外，同樣在第三實施例中，可以用與第一實施例相同的方式進行已說明過的修改。

第9圖為表示第三實施例的影像系統S3的構造圖。影像系統S3包含圖像編輯裝置10B，該圖像編輯裝置10B係從相機單元16A獲取並編輯圖像，且在相機單元16A的構造和圖像編輯裝置10B的功能方面，此與第一實施例的影像系統S1不同。

利用將兩個獨立的相機分別安裝在預定位置，可以為相機單元16A提供兩個光學系統。相機單元16A包含固定件16H。第一相機12A利用諸如螺 絲的機械連接裝置設置並固定到該固定件16H的第一固定部。相同地，第二相機14A利用諸如螺絲的機械連接裝置設置並固定到固定件16H的第二固定部。相機12A、14A具有與相機12、14相同的構造，除了它們為獨立的相機之外。

固定件16H並排配置有相機12A、14A，因此，設計成取得適合獲得立體影像的圖像。換句話說，相機單元16A的固定件16H，具有第一和第二固定件的位置關係，尺寸等，而該第一和第二固定件的位置關係，尺寸係讓被設置於那的相機12A、14A形成能夠以與第一和第二實施例的相機12、14相同的方式整體性起作用。

第10A圖為表示相機12A的光軸向量V12和相機14A的光軸向量V14之間的關係。此外，在圖10A中，向量Vb係通過相機12A的光軸的向量V12和相機14A的光軸的向量V14的起點的向量。

第10B圖為表示由相機14A的光軸的向量V14和向量Vb所形成的虛擬平面H12。

第10C圖為表示相機12A的光軸的向量V12存在於平面H12上，並且相機12A的光軸的向量V12和相機14A的光軸的向量V14為略平行的狀態。在第10C圖的狀態下，相機12和相機14A利用拍攝影像，使得人可以感知到立體圖像而沒有不適感。

第10D圖為表示相機12A的光軸的變化圖。相機12A的光軸的向量V12a在平面H12下側傾斜角度δ 1。當具有如此的光軸的向量V12a時，由於相機12A和相機14A所拍攝的影像可能會混淆人的左眼和右眼的感知，因此影像可能會使人感到不適。此外，儘管相機12A的光軸的向量V12存在於平面H12上，但顯示出向內側傾斜角度δ 2的向量V12b。當相機12A具有如此的光軸向量V12b時，由相機12A和相機14A所拍攝的影像很少會混淆人的左眼和右眼的感知，但這並非較佳，因為在其中一個圖像中另一個透鏡的反射面積更大。此外，向量 偏差不限於以上的示例。

所以，當存在如第10D圖所示的相機12A的光軸的向量V12a或向量V12b時，理想上係鼓勵相機操作者在開始拍攝影像之前要預先調整相機12A和相機14A之間的物理位置關係。

第10E圖為表示相機12A的光軸的向量V12存在於平面H12上，並且相機12A的光軸的向量V12和相機14A的光軸的向量V14為略平行的狀態。然而，由於平面H12不包含水平線H，所以平面H12不形成水平面。在第10E圖的狀態下，當相機12A和相機14A拍攝影像時，雖然人們會感覺到不太舒服的立體影像，但在相同被拍體的左右影像之間可能會有高低落差。於此種情況下，較佳係預先調整相機12A和相機14A之間的整體上下關係，或者將向量Vb調整為水平。拍攝後，較佳調整影像誤差以校正左右影像之間的高低落差。

如上所述，在第10E圖所示的狀態情況下，在將相機12A、14A安裝到固定件16H上可能存在有錯誤。即使相機12A的透鏡的光軸的向量V12和相機14A的透鏡的光軸的向量V14略平行，依據相機之安裝狀態，可能在垂直方向上存在誤差。為了在上述圖像處理中反映出此誤差，圖像編輯裝置10B的控制部20除了上述功能模組2001至2008之外，還具備作為功能模組的校準(calibration)部2009。此等功能模組中的每一個模組，例如利用控制部20，亦即其CPU來執行被儲存在主記憶部和/或記憶部20的程式，特別係圖像輸出程式來實現。然而，功能模組的一部分，例如，校準部2009可以為諸如另一處理器、數位電路或類比電路之類的硬體。

與第一和第二實施例的相機12、14所拍攝的圖像相同，在以相機12A、14A所拍攝的圖像中，在第9圖中會生上下偏差等現象。另外，如第10A-10E圖所示，由相機12A、14A所拍攝的圖像中也可能出現因相機12A、14A的相對位置偏移或相機12A、14A的姿勢的改變等因素所導致之偏差(以下稱為「相機 偏差」)。因此，校準部2009在諸如圖像編輯裝置10B啟動的既定時間操作，並校正相機偏差。於此，校準部2009僅在既定時間內操作以計算以下修正值。該修正值由特定部2002和/或轉換部2003連續使用。然而，校準部2009可以根據來自用戶的校準期望輸入來操作。然後，校準部可以督促用戶校正相機的位置。

校準部2009在既定時間內獲取包含圖像的圖像幀，該圖像係利用由圖像取得部2001取得的相機12A、14A所拍攝，將由第一相機12A所拍攝的圖像與由第二相機14A拍攝的圖像進行比較來計算修正值。首先，校準部2009在由第一相機12A所拍攝的圖像和由第二相機14A所拍攝的圖像中，共同的奇點(singularity)較佳為複數個，更佳為3個以上的奇點。這可以利用習知的圖像識別技術來完成。然後，計算修正值以使該奇點的偏差，亦即，相機偏差接近於，較佳地與最初在相機單元16A中所設定的初始值相匹配。用於計算修正值的程式和/或數據被儲存在圖像編輯裝置10B的記憶部22中。此外，校準部2009可以利用在相機12A、14A上顯示標記並拍攝而不是奇點而獲得的標記圖像部來執行該計算。

由校準部2009計算出的相機偏差的修正值，於此係用於轉換部2003中的處理。例如，該相機偏差的修正值被併入在轉換部2003的失真處理部2008中的失真處理中所使用的上述轉換矩陣中。

相機偏差的修正值可以考慮因相機12A、14A的透鏡12L、14L所引起的亮度差和視野差。因此，相機偏差的修正值也可以用在轉換部2003的顏色處理部2007中的處理中。

由校準部2009計算出的修正值也可以用於特定部2002特定化部分圖像的處理。此允許將部分圖像的特定化範圍保持為最小化，因此，可以減輕控制部20執行演算處理的負擔。

因此，第三實施例的影像系統S3的圖像編輯裝置10B在處理因相 機12A、14A引起的相機偏移的同時，對以相機單元16A所拍攝的圖像執行上述圖像編輯處理，並輸出修正後的圖像幀。結果，基於已輸出的修正後的圖像幀所呈現的立體圖像，可以更佳地顯示在第9圖的圖像輸出裝置40的顯示部40D上。

接下來，將說明第四實施例。關於第四實施例，為了盡可能避免重複說明，以下將主要說明與第二與第三實施例的差異處，並且將省略其他說明。同樣在第四實施例中，已說明過的改變等相同地可以與上述實施例相同方式進行。

第11圖為表示根據第四實施例的成像系統S4的構造。成像系統S4具備有：於第3實施例中說明過的相機單元16A、於第2實施例中說明過的圖像編輯裝置10A、以及處理由該圖像編輯裝置10A所提供的圖像幀，並輸出立體圖像的圖像輸出裝置50A。圖像輸出裝置50A更具備與第二實施例中說明過的圖像輸出裝置50的不同之處在於，控制部20B還包含作為功能模組的該校準部2009。

影像系統S4的圖像編輯裝置10A向圖像輸出裝置50A提供了圖像幀，該圖像幀包含由相機單元16A的相機12A、14A拍攝的圖像。當處理於第二實施例中說明過的圖像幀時，圖像輸出裝置50A也執行如於第三實施例中所述的校準部2009中的處理。雖然於此僅可以在圖像輸出裝置50A中的圖像處理的最初既定間內來啟動校準部2009，但例如，在其他時間也可以依據用戶輸入的校準需求進行操作。此外，從以上說明還可以理解到圖像輸出裝置50A的校準部2009。例如，利用控制部20B，亦即其CPU來執行儲存在主記憶部和/或記憶部22B中的程式來實現。

然後，由圖像輸出裝置50A的校準部2009計算出的相機偏差的修正值係可以用於特定部2002中的處理和/或轉換部2003中的處理。因此，圖像輸出裝置50A的控制部20B可以更佳地產生修正後的圖像幀。然後，控制部20B的輸出部2006將所產生的已處理的圖像幀輸出至顯示部50D。

此外，上述第三和第四實施例中所述的校準部2009的處理，可以將其分別併入到第一實施例的圖像編輯裝置10中的處理和第二實施例的圖像輸出裝置50中的處理中。

以上四個實施例僅為示例，並且可以在不脫離其要旨的情況下適當地修改和實施本發明。只要沒有技術上的矛盾，本發明中所述的處理或裝置可以自由地組合實施。

此外，被說明為由一個裝置執行的步驟可以由複數個裝置共享並執行。例如，作為電腦的圖像編輯裝置10，10B以及圖像輸出裝置50，50A未必係一台電腦，可以被構成為具備複數個電腦的影像系統。或者，被說明為由不同裝置執行的處理也可以由一個裝置執行。在電腦系統中，可以靈活地改變用於實現每個功能的硬體構造類型。

本發明係在電腦中提供一種安裝有上述實施例所述功能的電腦程式，也可以利用由該電腦具有的一個以上的處理器讀取並執行程式來實現。如此般的電腦程式係可以利用可連接到電腦的系統匯流排的非臨時性電腦可讀記憶媒體提供給電腦，或也可以透過網路提供給電腦。非臨時性電腦可讀記憶媒包含有：例如，磁碟(軟式磁碟(註冊商標)，硬式磁碟驅動器(HDD)等)、光碟(CD-ROM，DVD光碟，藍光光碟等)之任何類型的光碟、唯讀存儲器(ROM)、隨機存取記憶體(RAM)、EPROM、EEPROM、磁卡、快閃記憶體、光學卡片、及任何類型的適合儲存電子指令的媒體。

此外，利用上述控制部20或20B執行的上述處理，亦即讓利用該方法所產生的圖像(例如，包含上述修正後的第一圖像P12m的修正後之圖像幀Fm)儲存在圖像編輯裝置10，10B或圖像輸出裝置50，50A的記憶媒體中，例如，該記憶媒體可以為分佈式。本發明也提供一種生產該記憶媒體的方法。於此種情況下，記憶媒體可以為上述各種記憶媒體。

此外，在以上實施例中，已經說明過了圖像處理，但由圖像輸出裝置40或圖像輸出裝置50，50A提供連續地包含修正後的圖像幀Fm的影像，該修正後的圖像幀Fm包含有上述已處理的圖像P12m，P14m。本發明還包含有生產該影像的方法。

此外，在本說明書和附圖中，使用廣角鏡形成的圖像係以略圓形為示例來說明有關該圖像的處理。然而，以略圓形所示的圖像為一示例，當然本說明書和附圖中所述的圖像處理也可用相同方式放大該略圓形的圖像的周邊部分的圖像，而應用於失真為諸如略四邊形的圖像。

關於以上第1圖至第11圖所示的實施例，將進一步揭示以下的附記。

附記1：一種圖像輸出的方法，該方法包含：一電腦對用於拍攝一立體圖像而同時設置的一第一光學系統和一第二光學系統中的該第一光學系統所拍攝的一第一圖像進行修正，修正步驟包含：特定化一部分圖像，該部分圖像係與在該第一圖像中反射的該第二光學系統的一外形影像相對應，且該部分圖像為該第二光學系統所拍攝的圖像的一部分；獲得一轉換圖像，基於該第一圖像且轉換成該部分圖像；以及將該第一圖像的該影像置換成該轉換圖像，其中，獲得該轉換圖像的步驟中，包含有基於該第一圖像中的該第二光學系統的該外形影像的附近的圖像的色調、亮度或顏色飽和度來改變該部分圖像的色調、亮度或顏色飽和度。

附記2：該部分圖像包含拍攝被拍體的圖像，該被拍體係在沒有該第二光學系統的情況下用於形成包含在該第一圖像中的圖像得來源。

附記3：附記1或附記2所述之方法，其中在獲得該轉換圖像的步驟中，包含有該第一圖像中的該第二光學系統的該外型影像的附近的圖像的色調、亮度或顏色飽和度來改變該部分圖像的色調、亮度或顏色飽和度。

附記4：附記1至3之任一項所述之方法，其中在獲得該轉換圖像的步驟中，包含使該部分圖像失真，已使該第一圖像中的該第二光學系統的外形影像之附近的圖像和該部分圖像平順連接。

附記5：附記1至4之任一項所述之方法，其中特定化該部分圖像之步驟中，包含與該第一光學系統來該第二光學系統的種類相對應的預定區域的資訊被定義為該部分圖像的區域。

附記6：附記1至5之任一項所述之方法，其中進一步具有收到操作員以放大或縮小該部分圖像區域之指示的步驟。

附記7：一種圖像輸出電腦程式產品，於電腦中執行附記1至6之任一所述之方法。

附記8：一種圖像輸出裝置，係安裝有附記7所述之電腦程式產品。

附記9：一種方法係產生儲存有利用附記1至6之任一項所述之方法所產生的圖像的記憶媒體。

附記10：一種方法係產生影像，該影像係包含利用附記1至6之任一項所述之方法所產生的影像。

T,Ta:樹木

B:圖像

D1a:部分圖像

Claims (11)

1. 一種圖像輸出方法，包含：一電腦對用於拍攝一立體圖像而同時設置的一第一光學系統和一第二光學系統中的該第一光學系統所拍攝的一第一圖像進行修正，修正步驟包含：特定化一部分圖像，該部分圖像係與在該第一圖像中反射的該第二光學系統的一外形影像相對應，且該部分圖像為該第二光學系統所拍攝的圖像的一部分；基於該第一圖像且轉換該部分圖像以獲得轉換圖像；以及將該第一圖像的該影像置換成該轉換圖像；其中，獲得該轉換圖像的步驟中，包含有基於該第一圖像中的該第二光學系統的該外形影像的附近的圖像的色調、亮度或顏色飽和度來改變該部分圖像的色調、亮度或顏色飽和度。
2. 一種圖像輸出方法，包含：一電腦對用於拍攝立體圖像而同時設置的一第一光學系統和一第二光學系統中的該第一光學系統所拍攝的一第一圖像進行修正，修正步驟包含：特定化一部分圖像，該部分圖像係與在該第一圖像中反射的該第二光學系統的外形影像相對應，且該部分圖像為該第二光學系統所拍攝的圖像的一部分；基於該第一圖像且轉換該部分圖像以獲得轉換圖像；以及將該第一圖像的該影像置換成該轉換圖像； 其中，特定化該部分圖像的步驟中，包含將使用該第一光學系統和該第二光學系統的特徵數據所指定的區域資訊定義為該部分圖像的區域。
3. 一種圖像輸出方法，包含：一電腦對用於拍攝立體圖像而同時設置的一第一光學系統和一第二光學系統中的該第一光學系統所拍攝的一第一圖像進行修正，修正步驟包含：特定化一部分圖像，該部分圖像係與該第一圖像中反射的該第二光學系統的一外形影像相對應，且該部分圖像係由該第二光學系統所拍攝的圖像的一部分；基於該第一圖像且轉換成該部分圖像以獲得轉換圖像；將該第一圖像的該影像置換成該轉換圖像；以及收到一操作員以放大或縮小該部分圖像區域之指示。
4. 如請求項1至3之任一項所述之方法，其中該部分圖像包含拍攝一被拍體的一圖像，該被拍體係在沒有該第二光學系統的情況下用於形成包含在該第一圖像中的圖像的來源。
5. 如請求項1至3之任一項所述之方法，其中在獲得該轉換圖像的步驟中，包含使該部分圖像失真，以使該第一圖像中的該第二光學系統的外形影像之附近的圖像和該部分圖像平順連接。
6. 如請求項1至3之任一項所述之方法，其中在獲得該轉換圖像之步驟中，包含將該部分圖像的一邊界移至該圖像附近的該圖像，以使該部分圖像與該圖像附近的圖像重疊，並且從該影像往該影像外側 且該影像附近的該圖像方向，平順地提高該部分圖像之該邊界附近的透明度。
7. 如請求項1至3之任一項所述之方法，其中更進一步包含：該電腦將在既定時間分別獲得由該第一光學系統和該第二光學系統所拍攝的圖像，並且由該第一光學系統所拍攝的圖像和由該第二光學系統所拍攝的圖像進行比較，計算出該第一光學系統和該第二光學系統之間的偏差的校正值之步驟；使用計算出的該校正值來進行該轉換。
8. 一種圖像輸出方法，係電腦對用於拍攝立體圖像而同時設置的第一光學系統和第二光學系統中的該第一光學系統所拍攝的第一圖像進行修正，包含有：將在既定時間獲得由該第一光學系統和該第二光學系統所分別拍攝的圖像，並且由該第一光學系統所拍攝的圖像和由該第二光學系統所拍攝的圖像進行比較，計算出該第一光學系統和該第二光學系統之間的偏差的校正值之步驟；特定化部分圖像之步驟，係與該第一圖像中反射的該第二光學系統的外形影像相對應的部分圖像，且該部分圖像係由該第二光學系統所拍攝的圖像的一部分；獲得轉換圖像之步驟，使用計算出的該校正值且基於該第一圖像來轉換該部分圖像；及將該第一圖像的該影像置換成該轉換圖像之步驟。
9. 一種圖像輸出電腦程式產品，於電腦中執行如請求項1至8之任一項所述之方法。
10. 一種圖像輸出裝置，係安裝有如請求項9所述之電腦程式產品，其中該圖像輸出裝置包括一電腦。
11. 一種圖像產生方法係利用如請求項1至8之任一項所述之方法來產生該圖像。

Images