TWI462569B - 三維影像攝相機及其相關控制方法 - Google Patents

三維影像攝相機及其相關控制方法 Download PDF

Info

Publication number
TWI462569B
TWI462569B TW100114159A TW100114159A TWI462569B TW I462569 B TWI462569 B TW I462569B TW 100114159 A TW100114159 A TW 100114159A TW 100114159 A TW100114159 A TW 100114159A TW I462569 B TWI462569 B TW I462569B
Authority
TW
Taiwan
Prior art keywords
image
camera
eye image
depth
eye
Prior art date
Application number
TW100114159A
Other languages
English (en)
Other versions
TW201244457A (en
Inventor
Kun Nan Cheng
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW100114159A priority Critical patent/TWI462569B/zh
Priority to US13/190,658 priority patent/US9177380B2/en
Publication of TW201244457A publication Critical patent/TW201244457A/zh
Application granted granted Critical
Publication of TWI462569B publication Critical patent/TWI462569B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

三維影像攝相機及其相關控制方法
本發明是有關於一種三維影像攝相機(以下簡稱3D攝相機)及其相關控制方法,且特別是有關於利用不同等級的複數個鏡頭所組成的3D攝相機及其相關控制方法。
由於3D電影的帶動之下,其相關產品,例如3D電視機,開始蓬勃發展。然而,由於3D影片來源有限,因此出現2D轉3D的影像處理技術,其目的即為增加3D影片數量供3D電視機播放。另一方面,3D攝影機以及3D照相機的出現,也增加了3D影片的數量。以下的描述皆以3D攝相機來作說明,而3D攝相機可以是3D攝影機或者3D照相機。
一般來說,現今市場上的3D攝相機採用二個完全相同等級的鏡頭,並且模擬人的雙眼來記錄影像資料。請參照第1圖,其所繪示為習知3D攝相機的成像流程示意圖。其中,左鏡頭120可包括左透鏡(L)122、左感光元件124;右鏡頭130可包括右透鏡(R)132、右感光元件134。而左透鏡(L)122可將物件100成像於左感光元件124上,並輸出左感光信號;右透鏡(R)132可將物件100成像於右感光元件134上,並輸出右感光信號。
之後,左2D影像處理電路126會處理左感光元件124輸出的左感光信號並成為一左眼影像128;右2D影像處理電路136會處理右感光元件134輸出的右感光信號並成為一右眼影像138。接著,3D攝相機中的儲存裝置(未繪示)即可儲存左眼影像128以及右眼影像138的資料,用以製作3D影片。其中,左眼影像128以及右眼影像138可為單一張圖片,或者是連續的影像;再者,左眼影像128以及右眼影像138具有相同的解析度。
由以上的描述可知,習知3D攝相機在產生左眼影像128以及右眼影像138時係利用二組完全相同等級的鏡頭,並且利用個別的影像處理電路產生左眼影像128以及右眼影像138。而左眼影像128以及右眼影像138在產生過程中不會互相影響。
當3D電視機在放映3D影片時,3D電視機中的控制電路會依序將左眼影像126傳遞至使用者的左眼,並將右眼影像136傳遞至使用者的右眼,據此,使用者可觀賞3D影像。
一般來說,鏡頭的透鏡係由多個光學元件組成,並可由光圈來控制鏡頭的進光量;感光元件可為光耦合元件(CCD)或者互補式金氧半光感測單元(CMOS sensor)。透鏡的複雜程度與感光元件的解析度與成像能力皆是鏡頭等級的指標,等級較高的鏡頭其成本當然較高。由於習知3D攝相機皆是利用的二個完全相同等級的鏡頭來產生左眼影像126以及右眼影像136,因此具有較高成本。
本發明的目的是提出一種3D攝相機及其相關控制方法。利用不同規格(等級)的二個鏡頭所所組成的3D攝相機,可以產生二張不同品質的影像,並且組合成為相同品質的左眼影像以及右眼影像。
本發明係有關於一種三維影像攝相機,包括:一第一鏡頭,用以提供一第一感光信號;一第二鏡頭,用以提供一第二感光信號;以及一影像處理單元,用以接收該第一感光信號及該第二感光信號據以產生一第一眼影像、一第一比對影像;其中,該影像處理單元根據該第一眼影像以及該第一比對影像產生一3D深度資料。
本發明更提出一種三維攝相機的控制方法,包括下列步驟:根據一第一感光信號獲得一第一眼影像;根據一第二感光信號獲得一第一比對影像;以及,根據該第一眼影像及該第一比對影像產生一3D深度資料。
為了對本發明之上述及其他方面有更佳的瞭解,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:
由於左眼與右眼看到同一個物件時,左眼與右眼的呈現的影像會有些許不同,而人體的大腦即根據雙眼看到的影像來建立三維(3D)影像。請參照第2a與第2b圖,其所繪示為雙眼觀看物體時,個別眼睛的成像示意圖。
當一個物體在很接近雙眼的正前方位置I時,左眼看到的物件會在左眼視野影像的右側,而右眼所看到的物件會在右眼視野影像的左側。當物件繼續遠離雙眼時,左眼與右眼看到的物件會逐漸的往中央接近。假設物件在位置II時,左右眼所看到的影像完全相同,亦即物件在影像的正中央,此位置II即可視為一參考距離。當物體繼續遠離雙眼時,左眼看到的物件會在左眼視野影像的左側,而右眼所看到的物件會在右眼視野影像的右側。
根據上述的特性,即發展出一種3D深度(3D depth)的概念。請參照第3a、3b、3c、3d圖,其所繪示為利用雙眼同時看到的影像決定物件位置的方法。而以下的描述僅以水平方向進行。
假設左眼看到的左眼視野影像如第3a圖所示,影像中菱形物件302L在的左側、圓形物件304L在右側、三角形物件306L在中央;而右眼看到的右眼視野影像如第3b圖所示,影像中菱形物件302R在右側、圓形物件304R在左側、三角形物件306R在中央。因此,如第3c圖所示即可獲得三個物件與眼睛之間的距離關係。亦即,圓形物件304最接近眼睛、三角形物件306在參考位置上、菱形物件304最遠離眼睛。
如第3d圖所示,假設第3a圖的左眼視野影像被定義為一參考影像(reference image),則第3b圖中與第3a圖中兩影像中相同物件之間因視差/視野所造成的水平距離即為兩影像間之3D深度。很明顯地,三角形物件306L與306R在參考位置上所以三角形物件306的3D深度為0,亦即左右眼的視野影像中,三角形物件306的水平位置相同。同理,左眼視野影像中圓形物件204L位於右側,而右眼視野影像中圓形物件204R位於左側,因此圓形物件204的3D深度為負值的d1。同理,左眼影像中菱形物件204L位於左側,而右眼視野影像中菱形物件204R位於右側,因此菱形物件204的3D深度為正值的d2。
當然,如果將第3b圖的右眼視野影像定義為參考影像,則接近眼睛的物件之3D深度為正值,遠離眼睛的物件之3D深度為負值。
三維立體視覺效果的影像畫面即利用此3D深度概念而形成。因此,本發明的三維(3D)攝相機及其相關控制方法即利用上述的3D深度概念來加以實現。
請參照第4圖,其所繪示為本發明一實施例之3D攝相機示意圖。其中,3D攝相機的二個鏡頭420、430規格不相同。舉例來說,左鏡頭係為一主鏡頭420,可為較佳等級的鏡頭,右鏡頭係為一輔鏡頭430可為較差等級的鏡頭。本實施例中等級較差的鏡頭可能其解析度會較低,影像尺寸規格不相同,品質比較差,或是僅具有單色成像,但是具有成本較低的優勢。
本實施例之主鏡頭420包括主透鏡(P)422、主感光元件424;右鏡頭430包括輔透鏡(S)432、輔感光元件434。而主透鏡(P)422可將物件400成像於主感光元件424上,並輸出主感光信號;輔透鏡(S)432可將物件400成像於輔感光元件434上,並輸出輔感光信號。
根據本發明的實施例,由於左鏡頭係為主鏡頭420,右鏡頭係為輔鏡頭430,因此影像處理單元450接收主感光信號以及輔感光信號。而根據主感光信號產生一左眼影像428並且作為參考影像;再者,根據輔感光信號產生一第一比對影像(comparison image);由於,相較於參考影像,此實施例之第一比對影像的解析度較低,因此影像大小也較小。再者,為了要有一較佳的位置比較基礎,因此需進行縮放(scaling),使得第一比對影像成為與參考影像相同大小的一第二比對影像,並且利用第二比對影像以及參考影像來獲得一3D深度資料;最後,本實施例可根據參考影像以及3D深度資料重建一右眼影像438。
由於輔鏡頭430的成像規格或品質和主鏡頭420產生的參考影像不一致,因此,此實施例中第一比對影像或第二比對影像僅用於與參考影像(左眼影像428)進行比較而獲得3D深度資料。當獲得3D深度資料之後,影像處理電路450即根據品質較佳的參考影像(左眼影像428)來重建右眼影像438,重建產生的右眼影像438和原有的左眼影像428兩者係進一步提供使用者清晰的3D成像。
請參照第5圖,其所繪示為本發明另一實施例之影像處理單元示意圖。影像處理電路450包括主影像處理電路451、輔影像處理電路452、先期處理電路454、3D深度產生器456、以及3D重建單元458。根據本發明的實施例,由於左鏡頭係為主鏡頭420,右鏡頭係為輔鏡頭430,主影像處理電路451接收主感光信號成為一左眼影像並作為參考影像。右影像處理電路452接收右感光信號成為一第一比對影像。先期處理電路454根據左眼影像的大小來縮放第一比對影像並成為一第二比對影像,使得第二比對影像與左眼影像428(參考影像)具有相同的大小。
接著,3D深度產生器456接收相同大小的第二比對影像與左眼影像(參考影像),並且計算出3D深度資料並傳遞至3D重建單元458。最終,3D重建單元458即根據左眼影像(參考影像)以及3D深度資料來重建右眼影像,並且輸出左眼影像以及右眼影像。
以下利用第6a至第6e圖來詳細解釋本發明的控制方法。如第6a圖所示,主影像處理電路451產生的一左眼影像例如來說可具有高解析度以及高品質,並且作為參考影像;其中,菱形物件302L在左側、圓形物件304L在右側、三角形物件306L在中央。而輔影像處理電路452產生第6b圖所示的第一比對影像,可能具有較低解析度;其中,菱形物件302R在右側、圓形物件304R在左側、三角形物件306R在中央。
因此,先期處理電路454即根據左眼影像的大小來放大第一比對影像進而成為第6c圖所示的第二比對影像,使得第二比對影像與左眼影像具有相同的大小。很明顯地,由於先期處理電路454縮放了第一比對影像,因此第二比對影像的規格或品質與左眼影像不一致,因此不直接作為右眼影像。
接著,3D深度產生器456即可比對左眼影像與第二比對影像中各物件之間的距離,並且產生如第6d所示的3D深度資料。
最終,3D重建單元458主要利用左眼影像以及3D深度資料來重建右眼影像。如第6e圖所示,將左眼影像中的圓形物件304L向左移動d1的距離而成為右眼影像中的圓形物件304R’;將左眼影像中的菱形物件302L向右移動d2的距離而成為右眼影像中的菱形物件302R’;而左眼影像中的三角形物件306L不需移動即成為右眼影像中的三角形物件306R’。
很明顯地,由於左眼影像係為高品質的影像,因此根據3D深度資料移動左眼影像中的各種物件後所形成的右眼影像具有與左眼影像相同的高品質與高解析度。
請參照第7圖,其所繪示為本發明3D影像的控制方法流程圖。首先,根據主鏡頭輸出的主感光信號獲得第一眼影像並作為參考影像(步驟S702);根據輔鏡頭輸出的輔感光信號獲得第一比對影像(步驟S704);接著,縮放第一比對影像成為第二比對影像,使得第二比對影像與參考影像具有相同的大小(步驟S706);接著,根據第二比對影像與參考影像計算出一3D深度(步驟S708);以及,根據3D深度與參考影像來重建一第二眼影像(步驟S710)。
根據上述的實施例,由於左眼影像(參考影像)與第二比對影像中的物件簡單,因此3D深度產生器456可以直接利用物件之間的距離來進行比較並獲得3D深度。
3D深度產生器456計算以產生3D深度資料的方法可如下所述。3D深度產生器456可各別將左眼影像(參考影像)與第二比對影像切割為複數個區塊(Block),左眼影像的複數區塊和第二比對影像的複數區塊是互相對應的,並利用互相對應的區塊來進行比較(例如為距離運算),並進而獲得各個區塊3D深度(block base 3D depth)作為3D深度資料。此外,在另一實施例中,更可以利用內插法(interpolation),藉由每個區塊3D深度,進一步求得更細部的子區塊3D深度(sub-block base 3D depth)作為最終的3D深度資料。當然,最小的區塊單位即為一個像素。也就是說,利用內插法可獲得每個像素的3D深度,而3D重建單元即可利用左眼影像(參考影像)以及每個像素3D深度(pixel base 3D depth)來獲得高品質以及高解析度的右眼影像。
請參照第8圖,其所繪示為本發明影像處理單元的另一實施例示意圖。與前一實施例的差異在於增加了一3D深度內插單元457,用以接收3D深度產生器輸出之區塊3D深度資料,並輸出子區塊3D深度資料至3D重建單元。而子區塊3D深度資料可以為像素3D深度資料。
實際上,由於左右眼睛在觀測相同的物件時,有些區域無法同時被左右眼睛所觀察到。如第8圖所示,3D重建單元458可再接收第二比對影像,並將左眼影像無法還原的小部份區域利用擷取第二比對影像來重建完成。當然,上述的小部份區域如果沒有利用3D重建單元來進行重建,通常觀察者也不易察覺。
由以上的說明可知,本發明係運用在具有主鏡頭與輔鏡頭的3D攝相機系統。利用不同等級的鏡頭來重建相同影像品質以及解析度的左眼影像以及右眼影像。因此,可以降低3D相機的成本,或者,利用一高價值的單鏡頭攝相機搭配一般單鏡頭的攝相機,即可合成一3D影片。
再者,本發明的實施例可以有一些其他的變化。舉例來說,先期處理電路可以將左眼影像(參考影像)進行縮放處理,使得縮放處理後的參考影像與輔鏡頭輸出的影像具有相同大小。如此,3D深度產生器即可據以產生3D深度資料,而3D重建單元更可以根據縮小後的參考影像以及3D深度資料來重建另一眼影像。
另外,本發明也可以利用相同解析度但是光學特性不同的鏡頭來作為輔鏡頭。舉例來說,利用相同解析度的單色鏡頭來作為輔鏡頭。如此,本發明更可以省略先期處理電路,亦即不需要進行縮放輔鏡頭輸出的影像,並直接利用3D深度產生器來接收主鏡頭與輔鏡頭輸出的影像。由於主鏡頭與輔鏡頭輸出的影像解析度大小相同,因此3D深度產生器即可直接進行比對左眼影像以及第一比對影像並且輸出3D深度資料。或者,利用相同解析度的鏡頭來作為輔鏡頭,而先期處理電路可將輔鏡頭輸出的第一筆對影像進行去色處理。之後,3D深度產生器接收第一眼影像以及去色處理後的第一比對影像並且輸出3D深度資料。據此,具有相同解析度的主鏡頭與輔鏡頭的一實施例中,其3D深度產生器比較該第二比對影像以及該第一眼影像據以產生一區塊3D深度的最小區塊單位可以像素為單位。
另外,本發明的3D攝相機也可以不需要具備重建右眼影像的能力(亦即不需要3D重建單元)。換句話說,3D攝相機中可以僅儲存左眼影像(參考影像)以及3D深度資料。而進行3D影像播放時,3D攝相機僅需要輸出左眼影像(參考影像)以及3D深度資料至外部的播放單元(例如3D電視),當外部的播放單元中具有3D重建單元時,即可以根據左眼影像(參考影像)以及3D深度資料來重建右眼影像,並且將左眼影像以及右眼影依序呈現在螢幕上。
另外,由上述說明可知3D深度資料也可以用來作為判斷物件與攝相機之間的距離參數。也就是說,利用二個鏡頭即可以進行物件與攝相機之間的距離偵測。此方式可以近一步的應用於遊戲機的動作偵測。
請參照第9圖,其所繪示為應用本發明的一種體感遊戲機。體感遊戲機包括一遊戲主機820、以及一體感偵測單元830。其中,體感偵測單元830包括一主鏡頭832與一輔鏡頭834。其中,體感偵測單元830可拍攝使用者850,並據以建立3D深度資料並獲得使用者位置與體感偵測單元830之間的距離。於遊戲進行中,主鏡頭832可拍攝使用者的畫面並且呈現在電視機810或者可與朋友分享。
除此之外,主鏡頭832與輔鏡頭834所產生的影像更可進一步地產生3D深度資料傳遞至遊戲主機820。當使用者的手或者腳在動作時,相關位置的3D深度資料會對應地改變,因此,遊戲主機820即可將3D深度資料的變化作為一控制信號,並於電視機810上產生對應的畫面。
或者,體感偵測單元830更可作為手勢操作的電視機之輸入裝置。當然,更可以利用體感偵測單元830來偵測車輛、飛行器、船隻、機器人、與附近物件之間的距離,並做出正確的判斷。
再者,利用本發明更可以實現多視角的同步3D攝相機。請參照第10圖,其所繪示為多視角的同步3D攝相機示意圖。多視角的同步3D攝相機910包括二個主鏡頭921、928、以及六個輔鏡頭923~927同時拍攝物件900。
利用第一主鏡頭921可直接產生第一眼影像931,利用第二主鏡頭928可直接產生第八眼影像938。再者,利用輔鏡頭922~927可生相對應的多個比對影像。接著,利用本發明的影像處理技術,根據用第一眼影像931或者第八眼影像938即可以產生第二眼影像932、第三眼影像933、第四眼影像934、第五眼影像935、第六眼影像936、第七眼影像937。
當電視機接收到第一影像931~第八影像938之後,即可區分為七組雙眼影像。由左而右依序為第一組雙眼影像包括第一眼影像931與第二眼影像932;第二組雙眼影像包括第二眼影像932與第三眼影像933;第三組雙眼影像包括第三眼影像933與第四眼影像934;第四組雙眼影像包括第四眼影像934與第五眼影像935;第五組雙眼影像包括第五眼影像935與第六眼影像936;第六組雙眼影像包括第六眼影像936與第七眼影像937;第七組雙眼影像包括第七眼影像937與第八眼影像938。
如此一來,當電視機前由左至右坐了七個使用者,電視機即可控制七組雙眼影像至相對應的七個使用者,俾使每個使用者皆可看到不同視角的物件900。
當然,第10圖的多視角的同步3D攝相機910不須限定主鏡頭的數目,例如:僅利用一個主鏡頭並搭配多輔鏡頭也可以達成多視角的同步3D攝相機910。
利用本發明更可以實現360度環形攝相機。請參照第11圖,其所繪示為360度環形攝相機示意圖。360度環形攝相機950包括四個主鏡頭962~968、以及八個輔鏡頭971~978同時拍攝360度的景象。
運用相同的原理,利用第一主鏡頭962可直接產生第一眼影像981,利用第二主鏡頭964可直接產生第四眼影像984,利用第三主鏡頭966可直接產生第七眼影像987,利用第四主鏡頭968可直接產生第十眼影像990。再者,利用輔鏡頭971~978可生相對應的多個比對影像。接著,利用本發明的影像處理技術,根據用第一眼影像981、第四眼影像984、第七眼影像987、或者第十眼影像990即可以產生第二眼影像982、第三眼影像983、第五眼影像985、第六眼影像986、第八眼影像988、第九眼影像989、第十一眼影像991、第十二眼影像992。
因此,根據第一影像981~第十二影像992,即可播放360度的環形影像。
因此,本發明的優點是提出一種3D攝相機及其相關控制方法。利用不同規格(等級)的二個鏡頭所所組成的3D攝相機,可以產生二張不同品質的影像,並且組合成為相同品質的左眼影像以及右眼影像,並成為3D影片。
綜上所述,雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...物件
120...左鏡頭
122...左透鏡
124...左感光元件
126...左2D影像處理電路
128...左眼影像
130...右鏡頭
132...右透鏡
134...右感光元件
136...2D影像處理電路
138...右眼影像
302、302L、302R...菱形物件
304、304L、304R...圓形物件
306、306L、306R...三角形物件
400...物件
420...主鏡頭
422...主透鏡
424...主感光元件
428...左眼影像
430...輔鏡頭
432...輔透鏡
434...輔感光元件
438...右眼影像
450...影像處理單元
451...主影像處理電路
452...輔影像處理電路
454...先期處理電路
456...3D深度產生器
457...3D深度內插單元
458...3D重建單元
810...電視機
820...遊戲主機
830...體感偵測單元
832...主鏡頭
834...輔鏡頭
850...使用者
900...物件
910...多視角同步3D攝相機
921、928...主鏡頭
922~927...輔鏡頭
931...第一眼影像
932...第二眼影像
933...第三眼影像
934...第四眼影像
935...第五眼影像
936...第六眼影像
937...第七眼影像
938...第八眼影像
950...360度環形攝相機
962~968...主鏡頭
971~978...輔鏡頭
981...第一眼影像
982...第二眼影像
983...第三眼影像
984...第四眼影像
985...第五眼影像
986...第六眼影像
987...第七眼影像
988...第八眼影像
989...第九眼影像
990...第十眼影像
991...第十一眼影像
992...第十二眼影像
第1圖所繪示為習知3D攝相機的成像流程示意圖。
第2a與第2b圖所繪示為雙眼觀看物體時個別眼睛的成像示意圖。
第3a、3b、3c、3d圖所繪示為利用雙眼同時看到的影像決定物件位置的方法。
第4圖所繪示為本發明3D攝相機示意圖。
第5圖所繪示為本發明影像處理單元示意圖。
第6a至第6e圖釋本發明的控制方法之解釋圖示。
第7圖所繪示為本發明3D影像的控制方法流程圖。
第8圖所繪示為本發明影像處理單元的另一實施例示意圖。
第9圖所繪示為應用本發明的一種體感遊戲機。
第10圖所繪示為多視角的同步3D攝相機示意圖。
第11圖所繪示為360度環形攝相機示意圖。
450...影像處理單元
451...主影像處理電路
452...輔影像處理電路
454...先期處理電路
456...3D深度產生器
458...3D重建單元

Claims (18)

  1. 一種三維影像攝相機,包括:一第一鏡頭,用以提供一第一感光信號;一第二鏡頭,用以提供一第二感光信號;以及一影像處理單元,包括:一第一影像處理電路,用以接收該第一感光信號以產生一第一眼影像;一第二影像處理電路,用以接收該第二感光信號以產生一第一比對影像;一先期處理電路,用以接收該第一眼影像與該第一比對影像,以產生一第二比對影像;以及一3D深度產生器,用以接收並比較該第二比對影像以及該第一眼影像據以產生一3D深度資料;其中,該第二比對影像與該第一眼影像大小相同。
  2. 如申請專利範圍第1項所述之3D攝相機,其中,該影像處理單元更利用該第一眼影像及該3D深度資料產生一第二眼影像。
  3. 如申請專利範圍第2項所述之3D攝相機,其中該3D攝相機更包括一第三鏡頭,並可據以產生一第三比對影像,使得該影像處理單元據以產生一第三眼影像。
  4. 如申請專利範圍第3項所述之3D攝相機,其中該3D攝相機係為一多視角同步3D攝相機或者一360度環形攝相機。
  5. 如申請專利範圍第1項所述之3D攝相機,其中處理該第一比對影像包括對該第一比對影像進行縮放處理或去色處理。
  6. 如申請專利範圍第1項所述之3D攝相機,其中該影像處理單元更包括:一3D重建單元,用以接收該第一眼影像與該3D深度資料據以產生該第二眼影像。
  7. 如申請專利範圍第1項所述之3D攝相機,其中該影像處理單元包括:該第一影像處理電路,用以接收該第一感光信號以產生該第一眼影像;該第二影像處理電路,用以接收該第二感光信號以產生該第一比對影像;該先期處理電路,用以接收該第一眼影像與該第一比對影像,以產生該第二比對影像;以及該3D深度產生器,用以接收並比較該第二比對影像以及該第一眼影像據以產生一區塊3D深度(block base 3D depth),作為該3D深度資料。
  8. 如專利申請範圍第7項所述之3D攝相機,更包括:一3D深度內插單元,接收該區塊3D深度並進行一內插運算後獲得一子區塊3D深度,作為該3D深度資料。
  9. 如申請專利範圍第7項所述之3D攝相機,其中該區塊3D深度係為一以像素為單位的3D深度資料。
  10. 一種三維(3D)攝相機的控制方法,包括下列步驟:根據一第一感光信號獲得一第一眼影像;根據一第二感光信號獲得一第一比對影像;根據該第一眼影像及處理該第一比對影像獲得一第二比對影像;以及根據該第一眼影像及該第二比對影像產生一3D深度資料;其中,該第二比對影像與該第一眼影像大小相同。
  11. 如申請專利範圍第10項所述之3D攝相機的控制方法,更包括利用該第一眼影像及該3D深度資料產生一第二眼影像。
  12. 如申請專利範圍第11項所述之3D攝相機的控制方法,其中更包括下列步驟:根據一第三鏡頭獲得一第三比對影像;以及根據該第三比對影像與該第一眼影像獲得一第三眼影像。
  13. 如申請專利範圍第12項所述之3D攝相機的控制方法,其中該3D攝相機係為一多視角同步3D攝相機或者 一360度環形攝相機。
  14. 如申請專利範圍第10項所述之3D攝相機的控制方法,其中處理該第一比對影像包括對該第一比對影像進行縮放處理或去色處理。
  15. 如申請專利範圍第10項所述之3D攝相機的控制方法,其中該3D攝相機係為一體感偵測單元,可輸出該3D深度資料的變化至一遊戲主機,使得該遊戲主機根據該3D深度資料的變化作為一控制信號,並於一電視機上產生對應的畫面。
  16. 如申請專利範圍第10項所述之3D攝相機的控制方法,其中,根據該第二比對影像與該第一眼影像計算出一3D深度資料更包括下列步驟:將該第二比對影像分為複數個比對區塊;將該第一眼影像區分為複數個第一區塊;比較該複數比對區塊與對應之該複數第一區塊之複數距離以獲得一區塊3D深度作為該3D深度資料。
  17. 如申請專利範圍第16項所述之3D攝相機的控制方法,更包括以下步驟:對該區塊3D深度進行內插運算並獲得該3D深度資料中的一子區塊3D深度以作為該3D深度資料。
  18. 如申請專利範圍第16項所述之3D攝相機的控制方法,其中該區塊3D深度係為一像素3D深度。
TW100114159A 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法 TWI462569B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100114159A TWI462569B (zh) 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法
US13/190,658 US9177380B2 (en) 2011-04-22 2011-07-26 3D video camera using plural lenses and sensors having different resolutions and/or qualities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100114159A TWI462569B (zh) 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法

Publications (2)

Publication Number Publication Date
TW201244457A TW201244457A (en) 2012-11-01
TWI462569B true TWI462569B (zh) 2014-11-21

Family

ID=47021032

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100114159A TWI462569B (zh) 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法

Country Status (2)

Country Link
US (1) US9177380B2 (zh)
TW (1) TWI462569B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817575A (zh) * 2015-11-30 2017-06-09 聚晶半导体股份有限公司 影像捕获设备及其产生深度信息的方法与自动更正的方法
US20170155889A1 (en) * 2015-11-30 2017-06-01 Altek Semiconductor Corp. Image capturing device, depth information generation method and auto-calibration method thereof
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
CN110209273B (zh) * 2019-05-23 2022-03-01 Oppo广东移动通信有限公司 手势识别方法、交互控制方法、装置、介质与电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6383079B1 (en) * 1995-11-22 2002-05-07 Nintendo Co., Ltd. High performance/low cost video game system with multi-functional peripheral processing subsystem
US6847392B1 (en) * 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
US20090014201A9 (en) * 2006-06-23 2009-01-15 Scheel Mark A Non-halogenated heavy metal free vehicular cable insulation and harness covering material
US20090252423A1 (en) * 2007-12-21 2009-10-08 Honda Motor Co. Ltd. Controlled human pose estimation from depth image streams
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6927769B2 (en) * 2000-11-21 2005-08-09 Vrex, Inc. Stereoscopic image processing on a computer system
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US7982777B2 (en) * 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
KR100653965B1 (ko) 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP5238429B2 (ja) * 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
JP2010278878A (ja) * 2009-05-29 2010-12-09 Fujifilm Corp 立体画像表示装置及びその表示画像切替方法
DE102009023896B4 (de) * 2009-06-04 2015-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erfassen einer Pflanze
EP2499827A4 (en) * 2009-11-13 2018-01-03 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
TW201133124A (en) * 2010-03-24 2011-10-01 Acer Inc Apparatus and method for capturing three-dimensional image
KR20110116325A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법
KR101697184B1 (ko) * 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6383079B1 (en) * 1995-11-22 2002-05-07 Nintendo Co., Ltd. High performance/low cost video game system with multi-functional peripheral processing subsystem
US6847392B1 (en) * 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
US20090014201A9 (en) * 2006-06-23 2009-01-15 Scheel Mark A Non-halogenated heavy metal free vehicular cable insulation and harness covering material
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
US20090252423A1 (en) * 2007-12-21 2009-10-08 Honda Motor Co. Ltd. Controlled human pose estimation from depth image streams

Also Published As

Publication number Publication date
US20120268572A1 (en) 2012-10-25
US9177380B2 (en) 2015-11-03
TW201244457A (en) 2012-11-01

Similar Documents

Publication Publication Date Title
CN102428707B (zh) 立体视用图像对位装置和立体视用图像对位方法
US8503764B2 (en) Method for generating images of multi-views
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
JP5833667B2 (ja) マルチビューシステムにおいてモノビジョンを提供する方法および装置
JP2011064894A (ja) 立体画像表示装置
KR20150096529A (ko) 피드백 기반 3차원 비디오를 위한 제로 디스패리티 평면
CN105723705B (zh) 用于自动立体多视图显示器的图像的生成
JP2014045473A (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
TWI462569B (zh) 三維影像攝相機及其相關控制方法
CN110381305A (zh) 裸眼3d的去串扰方法、***、存储介质及电子设备
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
JP6016180B2 (ja) 画像処理方法及び画像処理装置
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及***
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
KR20160003355A (ko) 3차원 입체 영상 처리 방법 및 시스템
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
TWI826033B (zh) 影像顯示方法與3d顯示系統
KR20180016823A (ko) 영상 보정 장치 및 방법
CN118283238A (zh) 立体影像深度调整方法与装置
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees