TWI507012B - 3次元攝像裝置(一) - Google Patents

3次元攝像裝置(一) Download PDF

Info

Publication number
TWI507012B
TWI507012B TW099145851A TW99145851A TWI507012B TW I507012 B TWI507012 B TW I507012B TW 099145851 A TW099145851 A TW 099145851A TW 99145851 A TW99145851 A TW 99145851A TW I507012 B TWI507012 B TW I507012B
Authority
TW
Taiwan
Prior art keywords
row
pixel
light
pixels
filter
Prior art date
Application number
TW099145851A
Other languages
English (en)
Other versions
TW201143366A (en
Inventor
Masao Hiramoto
Masayuki Misaki
Teruyuki Takizawa
Masaaki Suzuki
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201143366A publication Critical patent/TW201143366A/zh
Application granted granted Critical
Publication of TWI507012B publication Critical patent/TWI507012B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Polarising Elements (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Filters (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

三次元攝像裝置(一) 技術領域
本發明係有關於一種使用1個光學系統與1個攝像元件來取得具有視差之複數圖像的單眼三次元攝像技術。
背景技術
近年來,使用CCD或CMOS等固態攝像元件(以下有時稱「攝像元件」)之數位相機或數位電影的高功能化、高性能化令人驚歎。特別是隨著半導體製造技術之進步,攝像元件之像素構造更為細微。結果,造成攝像元件之像素及驅動電路之高積體化。故,僅僅數年間,攝像元件之像素數從100萬像素左右顯著地增加至1000萬像素以上。又,攝像所得之圖像品質也突飛猛進。另一方面,就顯示裝置而言,藉由薄型液晶或電漿顯示器,無論在何處皆可用高解析度來進行高對比之顯示而實現高性能。上述影像之高品質化潮流已逐漸由二次元影像擴及三次元影像。如今雖然仍需偏光眼鏡,但高畫質之三次元顯示裝置已開始開發。
就三次元攝像技術而言,具有單純構造之代表物係使用由2個攝影機構成之攝像系統,分別取得右眼用圖像及左眼用圖像。這種所謂二眼攝像方式中,由於使用2個攝影機,因此攝像裝置較為大型,且成本也會提高。故,已在研究利用1個攝影機來取得具有視差之複數圖像的方式。舉例言之,專利文獻1揭示了使用穿透軸方向彼此正交之2片偏光板與旋轉之偏光濾光器的方式。
第10圖為顯示該方式之攝像系統構成的示意圖。攝像裝置具有0度偏光之偏光板11、90度偏光之偏光板12、反射鏡13、半鏡14、圓形偏光濾光器15、使圓形偏光濾光器旋轉之驅動裝置16、光學透鏡3、及取得由光學透鏡所成像之影像的攝像裝置9。在此,半鏡14係將穿透偏光板11而以反射鏡13反射之光加以反射,使穿透偏光板12之光穿透。藉由以上構成,分別穿透配置於彼此分離之處的偏光板11、12的光會經由半鏡14、圓形偏光濾光器15及光學透鏡3而入射攝像裝置9而取得圖像。該方式之攝像原理係藉由使圓形偏光濾光器15旋轉,在不同時間點捕捉分別入射2片偏光板11、12之光,以取得具有視差之2個影像。
惟,上述方式係一面旋轉圓形偏光濾光器15,一面拍攝因時間分割而位置不同之圖像,因此有一無法同時取得具有視差之2個圖像的課題。又,由於使用機械性驅動,因此在耐久性上可能會有問題。且,由於以偏光板及偏光濾光器來接受全入射光,因此有一攝像裝置9接受之光量(受光量)會降低50%以上之課題。
針對上述方式,專利文獻2揭示了不使用機械性驅動來同時取得具有視差之2個圖像的方式。該方式之攝像裝置係以反射鏡將由2個入射區域入射之光加以聚光,並以交互配列有2種偏光濾光器之攝像元件來受光,藉此不使用機械性驅動部來取得具有視差之2個圖像。
第11圖為顯示該方式之攝像系統構成的示意圖。該攝像系統具有穿透軸方向彼此正交之2個偏光板11、12、反射鏡13、光學透鏡3及攝像元件1。攝像元件1之攝像面具有複數像素10、對應像素而一對一配置偏光濾光器17、18。偏光濾光器17、18係交互配列於全像素上。在此,偏光濾光器17、18之穿透軸方向分別與偏光板11、12之穿透軸方向一致。
藉由以上構成,入射光穿透偏光板11、12、在反射鏡13反射、通過光學透鏡3後,入射攝像元件1之攝像面。分別穿透偏光板11、12而入射攝像元件1之光會分別穿透偏光濾光器17、18,在與該等偏光濾光器相對向之像素進行光電轉換。在此,若將分別通過偏光板11、12而入射攝像元件1之光所形成之圖像分別稱為右眼用圖像與左眼用圖像,則右眼用圖像、左眼用圖像分別可由與偏光濾光器17、18相對向之像素群獲得。
如此,專利文獻2所揭示之方式係不使用專利文獻1所揭示之旋轉圓形偏光濾光器,而於攝像元件之像素上交互地配置穿透軸方向彼此正交之2種偏光濾光器。藉此,相較於專利文獻1之方式,解像度雖會降低至1/2,但可使用1個攝像元件來同時獲得具有視差之右眼用圖像與左眼用圖像。
惟,該技術也與專利文獻1之技術相同,由於入射光穿透偏光板及偏光濾光器時光量會減少,因此攝像元件之受光量會大幅減少。
針對攝像元件之受光量減少的問題,專利文獻3揭示了機械性切換具有視差之複數圖像拍攝與通常圖像拍攝之方式來作為另一提案。第12圖為該手法之攝像系統構成的示意圖。第12圖所示之攝像裝置包含有:具有2個偏光穿透部20、21,使只通過該等偏光穿透部而來自光學透鏡3之入射光穿透的光通過部19;將來自偏光穿透部20、21之光分離之特定成分穿透濾光器23與彩色濾光器24成1組之受光部光學濾光器盤22;以及,將光通過部19及特定成份穿透濾光器23由光路徑上移除而將彩色濾光器24***光路徑、或進行相反動作之濾光器驅動部25。
依據該技術,使濾光器驅動部25動作,拍攝具有視差之2個圖像時,係使用光通過部19及特定成分穿透濾光器23,而一般拍攝時,則使用彩色濾光器24。拍攝具有視差之2個圖像時,基本上與專利文獻2所示者相同,光利用率會大幅降低。另一方面,拍攝一般彩色圖像時,會將光通過部19由光路徑移除,或***彩色濾光器24來代替特定成分穿透濾光器23,藉此獲得光利用率高的彩色圖像。
先行技術文獻 專利文獻
專利文獻1:日本專利特開昭62-291292號公報
專利文獻2:日本專利特開昭62-217790號公報
專利文獻3:日本專利特開2001-016611號公報
習知技術藉由使用偏光板(偏光穿透部)及偏光濾光器,可用單眼攝影機來拍攝具有視差之2個圖像。這些技術中,偏光板及偏光濾光器皆由具有0°、90°之穿透軸的2種偏光元件構成。故,雖然可用單眼攝影機來拍攝具有視差之2個圖像,但有光利用率低、攝像感度降低之課題。又,為了獲得無感度上問題之彩色圖像,必須在上述所示之受光部設置光學濾光器盤或濾光器驅動部。且,即使設置了光學濾光器盤或濾光器驅動部,若被攝體之狀態在拍攝具有視差之圖像時與拍攝彩色圖像時不同,則視差圖像與彩色圖像不會是相同狀態之圖像。換言之,有無法同時獲得兩圖像之課題。
有鑑於上述課題,本發明提供一種不需於攝像系統設置機械性驅動部,而可獲得具有視差之複數圖像的攝像技術。依據本發明之較佳實施形態,可同時獲得具有視差之複數圖像與無感度上問題之圖像。
本發明之三次元攝像裝置包含有:透光部,係具有使已朝特定方向偏光之光穿透的偏光區域、及使光不受偏光方向影響而穿透的非偏光區域者;固態攝像元件,係配置成可接受已穿透前述透光部之光者,並具有已分割為分別包含第1像素及第2像素之複數像素區塊的像素陣列、及與前述第1像素相對向配置之偏光濾光器的濾光器陣列,且前述偏光濾光器係使已穿透前述偏光區域之光的至少一部分入射前述第1像素;成像部,係將影像形成於前述固態攝像元件之攝像面者;及,圖像生成部,係根據由前述第1像素輸出之第1像素訊號及由前述第2像素輸出之第2像素訊號,生成因入射前述偏光區域之光產生之圖像及因入射前述非偏光區域之光產生之圖像。
有一實施形態中,前述偏光區域之穿透軸方向與前述偏光濾光器之穿透軸方向一致。
有一實施形態中,當將前述偏光區域作為第1偏光區域,並將前述偏光濾光器作為第1偏光濾光器時,前述透光部具有第2偏光區域,該第2偏光區域具有與前述第1偏光區域之穿透軸正交之穿透軸,各像素區塊具有第3像素,前述濾光器陣列具有第2偏光濾光器,該第2偏光濾光器具有與前述第1偏光濾光器之穿透軸不同方向之穿透軸,且配置成與前述第3像素相對向,前述圖像生成部使用前述第1像素訊號、前述第2像素訊號、及由前述第3像素輸出之第3像素訊號,生成因入射前述偏光區域之光產生的圖像及因入射前述非偏光區域之光產生的圖像。
有一實施形態中,前述第1及第2偏光區域係相對於前述透光部之中心對稱地配置。
有一實施形態中,前述第2像素係鄰接於前述第1及第3像素而配置。
有一實施形態中,前述第1及第2偏光區域係相互分開地配置。
有一實施形態中,前述圖像生成部將因入射前述非偏光區域之光產生的圖像訊號,加算於因入射前述第1偏光區域之光產生的圖像訊號、及因入射前述第2偏光區域之光產生的圖像訊號,藉此生成對應前述第1偏光區域之圖像訊號及對應前述第2偏光區域之圖像訊號。
有一實施形態中,各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列2行,前述第2像素配置於第1列2行,前述第3像素配置於第4列2行,與第1列1行及第3列1行之像素相對向地配置使青波長帶之光穿透的青濾光器,與第2列1行及第4列1行之像素相對向地配置使黃波長帶之光穿透的黃濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,第2列2行及第4列2行之像素相對向地分別配置前述第1及第2偏光濾光器。
有一實施形態中,各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列1行,前述第2像素配置於第1列2行,前述第3像素配置於第4列1行,與第1列1行及第3列1行之像素相對向地配置使青波長帶之光穿透的青濾光器,與第2列2行及第4列2行之像素相對向地配置使黃波長帶之光穿透的黃濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,第2列1行及第4列1行之像素分別配置前述第1及第2偏光濾光器。
有一實施形態中,各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列2行,前述第2像素配置於第1列2行,前述第3像素配置於第4列2行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列1行及第4列1行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置使綠波長帶之光穿透的綠濾光器,與第2列2行之像素相對向地配置前述第1偏光濾光器及使綠波長帶之光穿透的綠濾光器,與第4列2行之像素相對向地配置前述第2偏光濾光器及使綠波長帶之光穿透的綠濾光器。
有一實施形態中,各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列1行,前述第2像素配置於第1列2行,前述第3像素配置於第4列1行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列2行及第4列2行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置使綠波長帶之光穿透的綠濾光器,與第2列1行之像素相對向地配置前述第1偏光濾光器及使綠波長帶之光穿透的綠濾光器,與第4列1行之像素相對向地配置前述第2偏光濾光器及使綠波長帶之光穿透的綠濾光器。
有一實施形態中,各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列2行,前述第2像素配置於第1列2行,前述第3像素配置於第4列2行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列1行及第4列1行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,與第2列2行及第4列2行之像素相對向地配置前述第1及第2偏光濾光器。
有一實施形態中,各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列1行,前述第2像素配置於第1列2行,前述第3像素配置於第4列1行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列2行及第4列2行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,第2列1行及第4列1行之像素相對向地分別配置前述第1及第2偏光濾光器。
有一實施形態中,前述圖像生成部藉由使用了由前述8個像素輸出之像素訊號的運算,生成因入射前述第1偏光區域之光產生的圖像、因入射前述第2偏光區域之光產生的圖像、及彩色圖像。
有一實施形態中,各像素區塊更包含第4像素,前述第1像素、第2像素、第3像素及第4像素係配列成2列2行,與前述第2像素相對向地配置使第1波長帶之光穿透的第1濾色器,與前述第4像素相對向地配置使第2波長帶之光穿透的第2濾色器。
有一實施形態中,前述第1波長帶相當於紅波長帶,前述第2波長帶相當於藍波長帶。
依據本發明之三次元攝像裝置,係包含具有偏光區域及非偏光區域之透光部、以及具有配置有偏光濾光器之第1像素群與未配置有偏光濾光器之第2像素群的攝像元件。故,藉由使用了第1像素群之訊號與第2像素群之訊號的運算處理,可生成因入射偏光區域之光產生的圖像與入射非偏光區域之光產生的圖像。換言之,可獲得具有視差之複數圖像。又,由於可生成穿透非偏光區域之圖像,因此亦可獲得無感度降低之圖像。如此,依據本發明之三次元攝像裝置,可獲得一在不設置機械性驅動部之情形下,僅利用訊號運算便同時獲得具有視差之複數圖像與無感度問題之圖像的效果。
圖式之簡單說明
第1圖係本發明實施形態之攝像裝置的全體構成圖。
第2圖係顯示本發明實施形態1之透光板、透鏡及攝像元件之配置關係的示意圖。
第3圖係本發明實施形態1之透光板的正面圖。
第4圖係本發明實施形態1之固態攝像元件攝像面的基本色構成圖。
第5圖係本發明實施形態2之固態攝像元件攝像部的基本色構成圖。
第6圖係本發明實施形態2之透光板的正面圖。
第7圖係本發明實施形態2之D值與偏光角的關係圖。
第8圖係本發明實施形態2之E值與偏光角的關係圖。
第9圖係本發明實施形態3之固態攝像元件攝像部的基本色構成圖。
第10圖係專利文獻1之攝像系統構成圖。
第11圖係專利文獻2之攝像系統構成圖。
第12圖係專利文獻3之攝像系統構成圖。
用以實施發明之最佳形態
以下,參考圖式來說明本發明之實施形態。對於在所有圖式中共通之要件係標以相同符號。而,本說明書中,顯示圖像之訊號或資訊有時會僅稱為「圖像」。又,有時會將具有視差之複數圖像稱為「複數視點圖像」(multi-viewpoint images)。
(實施形態1)
首先,說明本發明之第1實施形態。第1圖係顯示本實施形態之三次元攝像裝置全體構成的方塊圖。本實施形態之攝像裝置為數位式電子攝像機,具有攝像部100、以及根據來自攝像部100之訊號來生成顯示圖像之訊號(圖像訊號)的訊號處理部200。
攝像部100包含:攝像元件(影像感測器)1,係具有配列於攝像面上之複數感光細胞(像素)者;透光板2,係使已朝特定方向偏光之光穿透的偏光區域及使光不受偏光方向影響而穿透的非偏光區域者;光學透鏡3,係用以將影像形成於攝像元件1之攝像面上者;及,去紅外光濾光器(infrared cut filter)4。攝像部100還包含:訊號產生接收部5,係產生用以驅動攝像元件1之基本訊號並接收來自攝像元件1之輸出訊號後,送出至訊號處理部200者;以及,元件驅動部6,係根據訊號產生接收部5所產生之基本訊號來驅動攝像元件1者。攝像元件1典型上為CCD或CMOS感測器,可利用習知半導體製造技術製造。訊號產生接收部5及元件驅動部6係由例如CCD驅動器等LSI構成。
訊號處理部200包含:圖像訊號生成部7,係處理攝像部100所輸出之訊號來生成圖像訊號者;記憶體30,係儲存用於生成圖像訊號之各種資料者;以及,介面(IF)部8,係將所生成之圖像訊號送出至外部者。圖像訊號生成部7可藉由公知之數位訊號處理器(DSP)等硬體與可實行包含圖像訊號生成處理之圖像處理之軟體的組合來適當實現。記憶體30由例如DRAM等構成。記憶體30記錄由攝像部100獲得之訊號,並暫時記錄圖像訊號生成部7所生成之圖像資料或經壓縮之圖像資料。這些圖像資料可透過介面部8而送出至未圖示之記錄媒體或顯示部等。
而,本實施形態之攝像裝置雖可具有電子快門、觀景窗、電源(電池)或閃光燈等公知的構成要件,但該等之說明對於理解本發明而言並無特別必要,因此加以省略。
接著,參考第2~4圖來更詳細說明攝像部100之構成。
第2圖係攝像部100之透光板2、光學透鏡3及攝像元件1之配置關係的示意圖。而,第2圖中,省略透光板2、光學透鏡3及攝像元件1以外之構成要件。透光板2具有偏光區域A及非偏光區域(透明區域)C,使入射光穿透。光學透鏡3為公知透鏡,可將穿透透光板2之光聚光,並成像於攝像元件1之攝像面1a。而,以下說明中,將由偏光區域A之中心朝向非偏光區域C之中心的方向作為x方向,並於與攝像面1a平行之平面中,將垂直x方向之方向作為y方向。
第3圖為本實施形態之透光板2之正面圖。透光板2之形狀與光學透鏡3相同為圓形,但亦可為其它形狀。第2圖中,透光板2之左側半邊為x方向(水平方向)具有穿透軸之偏光區域A。透光板2之右側半邊為使入射光不受偏光方向影響穿透之透明區域C。偏光區域A由公知偏光板等所形成。透明區域C只要是可使光以高穿透率之構件,用什麼形成皆可。本實施形態中,透光板2係作為本發明之透光部。而,第3圖所示之透光板2係由偏光區域A及非偏光區域C形成,但亦可一部分由遮光性構件形成。
第2圖所示之攝像元件1之攝像面1a形成有光感測細胞陣列(像素陣列),而光感測細胞陣列包含配列成二次元狀之複數光感測細胞(像素)。又,在與像素陣列相對向而光入射之側形成有包含複數偏光濾光器及濾色器之濾光器陣列。各像素典型上包含光二極體,藉由光電轉換輸出對應各自接受之光量(受光量)的電訊號(稱為「光電轉換訊號」或「像素訊號」)。本實施形態中,將鄰近之4個像素組作為1個像素區塊,對應各像素區塊的4個像素配置有2個濾色器、1個透明構件、1個偏光濾光器。
第4圖為形成於攝像面1a之部分濾光器陣列110的示意圖。濾光器陣列110構造成使穿透偏光區域A之光的至少一部分及穿透透明區域C之光的至少一部分入射各像素。各像素區塊中,使青波長帶(藍與綠波長帶)之光穿透的濾色器(青要件Cy)係相對向地配置於第1列1行之像素。使黃波長帶(綠與紅波長帶)之光穿透的濾色器(黃要件Ye)係相對向地配置於第2列1行之像素。使可視光不受波長及偏光方向影響而穿透之透明構件(透明要件W)係相對向地配置於第2列1行之像素。具有x方向穿透軸之偏光濾光器(偏光要件Wh)係相對向地配置於第2列2行之像素。而,透明要件W亦可用空氣代替。Cy、W、Ye、Wh之配置不限於第4圖所示之配置,彼此互換亦可。又,除了第4圖所示之正方格子狀之像素配列外,亦可採用相對x方向及y方向朝斜向配置之斜交型像素配列。以下說明中,有時將青要件、黃要件、透明要件、偏光要件統稱為「色要件」。
藉由以上構成,攝影時入射攝像裝置之光會通過透光板2、光學透鏡3、去紅外光濾光器4、濾光器陣列110而入射像素。各像素接受穿透偏光板2之偏光區域A之光及穿透穿透透明區域C之光,輸出對應接受之光量的像素訊號。各像素所輸出之像素訊號透過訊號產生接收部5送出至訊號處理部200。訊號處理部200之圖像訊號生成部7根據攝像部100所送出之訊號來生成複數視點圖像。
以下,說明各像素輸出之像素訊號。首先,說明穿透W要件或Wh要件而在相對向之像素進行光電轉換之光所產生的像素訊號。在此,將透光板2之偏光區域A的偏光特性與Wh要件之偏光特性設為相同。假設透光板2之偏光區域A的透光率為100%時,將相當於穿透該區域而通過光學透鏡3、去紅外光濾光器4並光電轉換之光量設為As,將相當於穿透透光板2之透明區域C而通過光學透鏡3、去紅外光濾光器4並光電轉換之光量設為Cs。實際上,由於透光板2之偏光區域A之透光率並非100%,因此將其透光率設為T1,並將重疊2片穿透軸方向相同之偏光板時的透光率設為T1×T2。透光板2之透明區域C的透光率設定為100%。
將相當於穿透W要件並在其相對向像素進行光電轉換之光量的訊號量以Sw表示。將相當於穿透透光板2之偏光區域A後通過光學透鏡3、去紅外光濾光器4並光電轉換之光量的訊號量以T1×As表示。由於相當於穿透透光板2之透明區域C後通過光學透鏡3、去紅外光濾光器4並光電轉換之光量的訊號量為Cs,因此訊號量Sw可用以下之算式1表示。
Sw=T1xAs+Cs‧‧‧(算式1)
當將相當於穿透Wh要件並在其相對向像素進行光電轉換之光量的訊號量以Swh表示時,穿透透光板2之偏光區域A後通過光學透鏡3、去紅外光濾光器4並光電轉換之光量的訊號量可用T1×T2×As表示。由於相當於穿透透光板2之透明區域C後通過光學透鏡3、去紅外光濾光器4並光電轉換之訊號量為T1×Cs,因此訊號量Swh可用以下之算式2表示。
Swh=T1xT2xAs+T1xCs‧‧‧(算式2)
根據上述算式1與算式2,可算是表示穿透透光板2之偏光區域A而光電轉換之光量的圖像訊號As,及表示穿透透光板2之透明區域C而光電轉換之光量的圖像訊號Cs。As及Cs分別可用以下之算式3及算式4表示。
As=(Sw-Swh/T1)/(T1-T2)‧‧‧(算式3)
Cs=(Swh-T2xSw)/(T1-T2)‧‧‧(算式4)
圖像訊號生成部7藉由對每一像素區塊執行以上運算,對每一像素區塊算出As及Cs。如此生成之As的集合會形成因入射偏光區域A之光產生的圖像,Cs的集合則形成因入射透明區域C之光產生的圖像。如此,本發明可利用簡單之像素間運算來作成具有視差的2個圖像。
另一方面,彩色圖像係使用訊號量Scy(顯示穿透青要件並光電轉換之光量)、訊號量Sye(顯示穿透黃要件並光電轉換之光量)及訊號量Sw(顯示穿透W要件並光電轉換之光量)而如下生成。首先,紅色資訊Sr可藉由(Sw-Scy)之運算獲得。藍色資訊Sb可藉由(Sw-Sye)之運算獲得。再者,藉由(Sw-Sr-Sb)之運算,可獲得綠色資訊。藉由以上運算,可輕易製作RGB之彩色圖像。結果,本實施形態之光量降低可抑制到只有透光板2之偏光區域A的損失,若該部分之光量降低為50%,則加上穿透透明區域C之光量,可獲得一確保了入射光之75%光量的彩色圖像。
如上所述,依據本實施形態之攝像裝置,將2列2行作為像素之基本構成,對應4個像素配置2個濾色器、偏光濾光器及透光性構件。第1列1行配置青要件(Cy),第1列2行配置透明要件(W),第2列1行配置黃要件(Ye),第2列2行配置僅使已朝x方向偏光之光穿透的偏光要件(Wh)。又,如第3圖所示,透光板2構造成左半部僅使已朝x方向偏光之光穿透,右半部構造成使入射光不受偏光方向影響而通過。根據相對向於透明要件W之像素之像素訊號與相對向於偏光要件Wh之像素之像素訊號的運算,可製作具有視差的2個圖像。再者,藉由使用相對向於青要件Cy之像素之像素訊號、相對向於黃要件Ye之像素之像素訊號及相對向於透明要件W之像素之像素訊號的運算,可製作將光量降低抑制到約入射光量之25%的彩色圖像。換言之,依據本實施形態可達到一效果,即:不需使用習知技術所使用之機械性驅動部,僅利用像素訊號間之運算,便可同時獲得複數視點圖像及大幅抑制光利用率降低之彩色圖像。
而,本實施形態中,雖然將透光板2之偏光區域A與透明區域C構造成面積相同,但亦可增加透明區域C之比例來進而提高彩色圖像之光利用率。惟,此時有可能使視差之精度降低。彩色圖像之光利用率與視差精度具有取捨之關係,因此如何設定透明區域C之比例便成一設計事項。又,本實施形態中,如第4圖所示,係使用青要件、黃要件、透明要件、偏光要件,但由於只要使用不同穿透波長之3種色要件,便可獲得彩色圖像,因此並未受限於這些色構成。又,不受限於第4圖所示之色配置。舉例言之,可使用使藍波長帶之光穿透之藍濾光器(藍要件B)及使紅波長帶之光穿透之紅濾光器(紅要件R)來代替青要件及黃要件。又,亦可與已配置偏光要件Wh之像素相對向地再配置濾色器。舉例言之,在穿透偏光要件Wh之光的光路徑上,配置使綠波長帶之光穿透之綠濾光器,並配置綠濾光器來代替偏光要件Wh。如此,4個色要件中,同色之2個要件以透明要件或接近人類視感度特性之綠要件為佳。又,只要對應4個像素配置4個色要件,可任意配置色要件。
如第3圖所示,本實施形態之透光板2以通過中心之線2分割,左側為偏光區域A,右側為透明區域C,但該等區域不一定需要相互鄰接。舉例言之,偏光區域A與透明區域C可夾著遮光去性構件相互分離配置。
又,本實施形態中,透光板2之偏光區域A與攝像元件1之偏光要件Wh具有同一方向之穿透軸,但這些穿透軸即使方向不同亦可。透光板2之偏光區域A之穿透軸方向與攝像元件1之偏光要件Wh之穿透軸方向以某一角度交叉時,可根據該角度將算式2~4加以變形。
關於攝像部100之構成,第2圖所示之各構成要件的配置關係只是其中一例,本發明並未受限於這些配置關係。舉例言之,光學透鏡3只要可於攝像面1a形成影像,亦可配置成較透光板2離開攝像元件1。又,亦可配置複數透鏡,並於該等透鏡間配置透光板2。又,透鏡3與透光板2不需為獨立之構成要件,亦可兩者一體化。再者,透光板2與攝像元件1之攝像面不一定要平行配置。舉例言之,可於兩者間配置鏡子、稜鏡等可將光反射之光學元件52,藉此使透光板2與攝像元件1之攝像面位於彼此交叉之平面上。
(實施形態2)
接著,說明本發明之第2實施形態。本實施形態之攝像裝置除了透光板2、攝像元件1之構造及圖像訊號生成部7以外,與實施形態1之攝像裝置相同。故,僅說明與實施形態1不同之處,重複之事項則省略說明。
第5圖顯示本實施形態之固態攝像元件1之攝像面的基本色構成。本實施形態中,將4列2行作為像素之基本構成,第1列1行與第3列1行為青要件(Cy),第1列2行與第3列2行為透明要件(W),第2列1行與第4列1行為黃要件(Ye),第2列2行為穿透軸方向相對x方向呈θ角度之偏光要件(Wh),第4列2行為穿透軸方向相對y方向呈θ角度之偏光要件(Wv)。固態攝像元件1之各像素與上述色要件1對1對應,相對向於各色要件而配置。
又,第6圖為本實施形態之透光板2a之正面圖。透光板2a之形狀為圓形,具有與光學透鏡3相同之有效徑。透光板2a於第6圖之左側具有偏光區域A(僅使入射光之x方向偏光成分穿透之長方形偏光區域,以下稱「偏光左部」),右側具有相同大小之偏光區域B(僅使入射光之y方向偏光成分穿透之偏光區域,以下稱「偏光右部」)。透光板2a中,偏光區域A、B以外之區域為透明區域C,由透光性構件形成,使入射光不受偏光方向影響而穿透。如此,本實施形態之偏光板2a具有相對於中心對稱配置之2個偏光區域A、B。藉由上述構成,可獲得因分別入射偏光區域A、B之光所形成之複數視點圖像。而,偏光左部及偏光右部之形狀不一定必須是長方形。
以上構成中,首先說明顯示穿透W要件、Wh要件或Wv要件而在分別相對向之像素光電轉換之光量的訊號。惟,就條件而言,透光板2a之偏光區域A之偏光特性、Wh要件之偏光特性與Wv要件之偏光特性除了穿透軸方向外皆相同。又,當假設透光板2a之偏光左部的透光率為100%時,將與穿透該區域,並通過光學透鏡3、去紅外光濾光器4而光電轉換之光量相當的訊號量設為As。同樣地,當假設透光板2a之偏光右部之透光率為100%時,將與穿透該區域,並通過光學透鏡3、去紅外光濾光器4而光電轉換之光量相當的訊號量設為Bs。又,將與穿透透光板2a之透明區域C,並通過光學透鏡3、去紅外光濾光器4而光電轉換之光量相當的訊號量設為Cs。實際上,由於透光板2a之偏光區域A的穿透率並非100%,因此將其穿透率設為T1。又,將當疊合2片偏光方向相同之偏光板時的透光率設為T1×T2。
若將與穿透W要件並在其相對向像素光電轉換之光量相當之訊號量表示為Sw,則與穿透透光板2a之偏光區域A,並通過光學透鏡3、去紅外光濾光器4而光電轉換之光量相當的訊號量可表示為T1x(As+Bs)。又,由於與穿透透光板2a之透明區域C,並通過光學透鏡3、去紅外光濾光器4而光電轉換之光量相當的訊號量為Cs,因此訊號Sw可用以下算式5表示。
Sw=T1x(As+Bs)+Cs‧‧‧(算式5)
穿透Wh要件並在其相對向像素光電轉換之光量相當之訊號量表示為Swh,則與穿透透光板2a之偏光左部,並通過光學透鏡3、去紅外光濾光器4而光電轉換之光量相當的訊號量可表示為T1xT2xAscosθ。與穿透透光板2a之偏光右部,並通過光學透鏡、去紅外光濾光器而光電轉換之光量相當的訊號量可表示為T1xT2xBssinθ。由於與穿透透光板2a之透明區域C,並通過光學透鏡、去紅外光濾光器而光電轉換之光量相當的訊號量為T1×Cs,因此訊號Swh可用以下算式6表示。
Swh=T1x(T2xAscosθ+T2xBssinθ+Cs)‧‧‧(算式6)
穿透Wv要件並在其相對向像素光電轉換之光量相當之訊號量表示為Swv,則與穿透透光板2a之偏光左部,並通過光學透鏡、去紅外光濾光器而光電轉換之光量相當的訊號量可表示為T1xT2xAssinθ。與穿透透光板2a之偏光右部,並通過光學透鏡、去紅外光濾光器而光電轉換之光量相當的訊號量可表示為T1xT2xBscosθ。由於與穿透透光板2a之透明區域C,並通過光學透鏡、去紅外光濾光器而光電轉換之光量相當的訊號量為T1×Cs,因此訊號Swv可用以下算式7表示。
Swv=T1x(T2xAssinθ+T2xBscosθ+Cs)‧‧‧(算式7)
藉由上述算式5、算式6及算式7,可算出與穿透透光板2a之偏光左部而光電轉換之光量相當的圖像訊號As、與穿透透光板2a之偏光右部而光電轉換之光量相當的圖像訊號Bs、以及與穿透透光板2a之透明區域C而光電轉換之光量相當的圖像訊號Cs。As、Bs、Cs分別可用以下算式8~算式10表示。惟,k、D、E分別可用算式11~13表示。
As={T2(sinθ-cosθ)Sw+(kcosθ-1)Swh+(1-ksinθ)Swv}/D‧‧‧(算式8)
Bs={T2(sinθ-cosθ)Sw+(1-ksinθ)Swh+(kcosθ-1)Swv}/D‧‧‧(算式9)
Cs=(T2(sinθ+cosθ)Sw-Swh-Swv)/E‧‧‧(算式10)
k=T2/T1‧‧‧(式11)
D=T2(sinθ-cosθ)(2T1-T2(sinθ+cosθ))‧‧‧(算式12)
E=T2(sinθ+cosθ)-2T1‧‧‧(算式13)
如此,本實施形態中,可藉由簡單的像素訊號間運算來生成顯示複數視點之訊號As、Bs、及光利用率高的圖像Cs。圖像Cs並非顯示視差之圖像,但亦可具有與複數視點圖像As、Bs類似之部分。故,對於類似之部分,藉由於複數視點圖像As、Bs加上圖像Cs,可提高複數視點圖像As、Bs之光利用率。
在此,關於算式8~算式10,這些算式是由分數表示,因此可知分母越大,計算誤差越小。故,假定塑膠製偏光膜,設為T1=0.45、T2=0.9,使θ在0~45度間改變時,將計算上述D與E之結果顯示於第7、8圖。根據這些結果,可知使D值最大之角度θ為20度,使E值最大之角度θ為45度。惟,D值在θ=45度變為0,因此宜使D值優先,將θ=20度設為其中一個設計值。
另一方面,彩色圖像與實施形態1時相同,可使用顯示穿透青要件而光電轉換之光量的訊號量Scy、顯示穿透黃要件而光電轉換之光量的訊號量Sye、以及顯示穿透W要件而光電轉換之光量的訊號量Sw而如下生成。紅色資訊Sr可藉由(Sw-Scy)之運算獲得。藍色資訊Sb可藉由(Sw-Sye)之運算獲得。又,藉由(Sw-Sr-Sb)之運算,可獲得綠色資訊。藉由以上運算,可輕易生成RGB之彩色圖像。結果,本實施形態之光量降低可抑制到只有透光板2之偏光區域A的損失,若加上穿透透明區域C之光量,可獲得大幅降低入射光光量降低之彩色圖像。
如上所述,依據本實施形態之攝像裝置,將4列2行作為像素之基本構成,對應8個像素使用2個Cy要件、2個Ye要件、2個透明要件、2個偏光要件。於第1列1行及第3列1行配置青要件(Cy),第1列2行及第3列2行配置透明要件(W)、第2列1行及第4列1行配置黃要件(Ye)、第2列2行配置穿透軸方向相對x方向呈θ角度之偏光要件(Wh)、第4列2行配置穿透軸方向相對y方向呈θ角度之偏光要件(Wv)。又,透光板2a於第6圖之左側具有穿透軸方向與x方向一致之偏光左部,右側具有相同大小而穿透軸方向與y方向一致之偏光右部。藉由上述構成,根據相對向於透明要件W之像素的訊號、相對向於透明要件Wh之像素的訊號、及相對向於透明要件Wv之像素的訊號間運算,可製作複數視點圖像。再者,根據相對向於青要件Cy之像素的訊號、相對向於黃要件Ye之像素的訊號、及相對向於透明要件W之像素的訊號間運算,可製作大幅抑制感度降低之彩色圖像。換言之,與實施形態1相同,依據本實施形態可達到一效果,即:不需要習知技術所使用之機械性動作部分,僅利用圖像訊號間之運算,便可同時獲得複數視點圖像與大幅抑制感度降低之彩色圖像。
而,本實施形態中,透光板2a之偏光左部及偏光右部之形狀為長方形,但並未受限於此。再者,雖將偏光要件Wh之穿透軸方向定為相對x方向呈角度θ、將Wv之穿透軸方向定為相對y方向呈角度θ,但並未受限於此,分別為其它角度亦無妨。又,本實施形態中,如第6圖所示,雖使用青要件、黃要件、透明要件與偏光要件,但由於只要使用穿透波長帶不同的3種色要件,便可獲得彩色圖像,因此並未受限於這些要件。又,不限於第6圖所示之色配置。舉例言之,可使用使藍波長帶之光穿透的藍濾光器(藍要件B)、及使紅波長帶之光穿透的紅濾光器(紅要件R)來代替青要件及黃要件。又,亦可與配置有偏光要件Wh、Wv之像素相對向更配置濾色器。舉例言之,可於穿透偏光要件Wh、Wv之光的光路徑上配置使綠波長帶之光穿透的綠濾光器,並配置綠濾光器來代替透明要件W。如此,4個色要件中,同色2要件以透明要件或接近人類視感度特性之綠要件為佳。
本實施形態之變形例可為如下構成。(1)替換第5圖所示之構成的至少1列之2要件,(2)將第5圖所示之Cy要件替換為紅及藍要件的其中一者,並將Ye要件替換為紅及藍要件的另一者,(3)替換上述(2)構成之至少1列的2要件,(4)將第5圖所示之Cy濾光器替換為紅及藍要件的其中一者,將Ye要件替換為紅及藍要件的另一者、並將W要件替換為綠要件,且除了Wh及Wv要件外更配置綠要件,(5)替換上述(4)構成之至少1列的2要件。這些任一變形例皆可藉由相同訊號運算,獲得複數視點圖像及光利用率高的彩色圖像。
(實施形態3)
接著,說明本發明第3實施形態。第9圖顯示本實施形態之固態攝像元件1之攝像面的基本色構成。將2列2行作為基本構成,第1列1行為青要件(Cy)、第1列2行為穿透軸方向相對x方向呈θ角度之偏光要件(Wh)、第2列1行為黃要件(Ye)、第2列2行為穿透軸方向相對y方向呈θ角度之偏光要件(Wv)。固態攝像元件1之各像素係1對1地對應上述色要件,位於各色要件之正下方。又,本實施形態中,透光板2a與實施形態2相同,因此省略說明。以下,主要說明與實施形態2不同之處。
本實施形態之構成中,由於未設置W要件,因此無法進行實施形態2所示之計算。惟,拍攝接近無彩色之被攝體時,由於Cy+Ye=W+G,因此若將RGB之受光訊號比率設為Kr、Kg、Kb,通過W要件而獲得之訊號係通過Cy要件與Ye要件而獲得之訊號合算的(Kr+Kg+Kb)/(Kr+2Kg+Kb)倍。故,藉由進行上述運算,若將其結果設為顯示在與W要件相對向之像素光電轉換之光量的訊號,之後的處理便可用與實施形態2之處理相同之處理來製作複數視點圖像。
另一方面,關於彩色圖像,可使用相當於穿透青要件而光電轉換之光量的訊號量Scy、相當於穿透黃要件而光電轉換之光量的訊號量Sye、相當於穿透Wh要件而光電轉換之光量的訊號量Swh、及相當於穿透Wv要件而光電轉換之光量的訊號量Swv來如下生成。首先,加算Swh與Swv,並將其作為W要件之訊號量Sw。如此一來,紅色資訊Sr可藉由(Sw-Scy)之運算而獲得。藍色資訊Sb可藉由(Sw-Sye)之運算而獲得。再者,藉由(Sw-Sr-Sb)之運算可獲得綠色資訊。結果,光量降低可抑制到只有透光板2a之偏光區域A,若加上透明區域C之光量,可獲得大幅抑制入射光光量降低之彩色圖像。
如上所述,依據本實施形態,將2列2行作為像素之基本構成,對應4個像素使用Cy要件、Ye要件、及2個偏光要件。第1列1行配置青要件(Cy)、第1列2行配置穿透軸方向相對x方向呈θ角度之偏光要件(Wh)、第2列1行配置黃要件(Ye)、第2列2行配置穿透軸方向相對y方向呈θ角度之偏光要件(Wv)。又,透光板2a於第6圖之左側具有穿透軸方向與x方向一致之偏光左部,右側具有相同大小且穿透軸方向與y方向一致之偏光右部。藉由上述構成,根據使用了相對向於青要件Cy之像素的訊號、相對向於黃要件Ye之像素的訊號、相對向於偏光要件Wh之像素的訊號、及相對向於偏光要件Wv之像素的訊號之運算,可製作複數視點圖像與大幅抑制感度降低之彩色圖像。換言之,與實施形態1、2相同,可獲得一效果,即:不需設置習知技術所使用之機械性動作部分,僅利用圖像訊號間之運算,便可同時獲得複數視點圖像與大幅抑制感度降低之彩色圖像。
而,本實施形態中,不受限於第9圖所示之色配置,可變更青要件、黃要件、偏光要件之位置。又,亦可配置紅要件及藍要件來代替青要件及黃要件。
以上實施形態1~3中,攝像裝置雖構造成取得複數視點圖像及彩色圖像兩者,但亦可構造成僅取得複數視點圖像。在僅獲得視差資訊之目的下利用本發明時,無第4、5、9圖所示之Cy要件及Ye要件亦可。
又,攝像裝置在獲得複數視點圖像後,可施以差分處理,藉此獲得差分圖像。再者,可根據複數視點圖像,求取視差圖像(disparity map),該視差圖像係顯示各對應點之圖像上位置偏差的大小。藉由求取視差圖像,可獲得顯示被攝體深度之資訊。
實施形態1~3中,係利用訊號運算從拍攝所得之光電轉換訊號生成圖像,但亦可使有別於攝像裝置而獨立之其它裝置來執行利用訊號演算所進行之圖像生成處理。此時,攝像裝置可不具有第1圖所示之圖像訊號生成部7。舉例言之,使其它裝置讀取藉由具有實施形態1~3之攝像部100的攝像裝置所取得之訊號,並使該其它裝置執行規定各實施形態之訊號運算處理的程式,藉此亦可獲得同樣效果。
產業上之利用可能性
本發明之三次元攝像裝置對於使用固態攝像元件之所有攝像機很有效。舉例言之,可利用於數位照相機、數位攝影機等民生用攝像機、或產業用之固態監視攝像機等。
1...固態攝像元件
1a...攝像面
2...透光板
3...光學透鏡
4...去紅外光濾光器
5...訊號產生接收部
6...元件驅動部
7...圖像訊號生成部
8...圖像介面部
9...攝像裝置
10...像素
11...0度偏光之偏光板
12...90度偏光之偏光板
13...反射鏡
14...半鏡
15...圓形偏光濾光器
16...使偏光濾光器旋轉之驅動裝置
17、18...偏光濾光器
19...光通過部
20、21...偏光穿透部
22...受光部光學濾光器盤
23...特定成分穿透濾光器
24...彩色濾光器
25...濾光器驅動部
30...記憶體
100...攝像部
110...濾光器陣列
200...訊號處理部
A、B...偏光區域
C...非偏光區域(透明區域)
第1圖係本發明實施形態之攝像裝置的全體構成圖。
第2圖係顯示本發明實施形態1之透光板、透鏡及攝像元件之配置關係的示意圖。
第3圖係本發明實施形態1之透光板的正面圖。
第4圖係本發明實施形態1之固態攝像元件攝像面的基本色構成圖。
第5圖係本發明實施形態2之固態攝像元件攝像部的基本色構成圖。
第6圖係本發明實施形態2之透光板的正面圖。
第7圖係本發明實施形態2之D值與偏光角的關係圖。
第8圖係本發明實施形態2之E值與偏光角的關係圖。
第9圖係本發明實施形態3之固態攝像元件攝像部的基本色構成圖。
第10圖係專利文獻1之攝像系統構成圖。
第11圖係專利文獻2之攝像系統構成圖。
第12圖係專利文獻3之攝像系統構成圖。
1...固態攝像元件
1a...攝像面
2...透光板
3...光學透鏡
A...偏光區域
C...非偏光區域(透明區域)

Claims (16)

  1. 一種三次元攝像裝置,包含有:透光部,係具有使已朝特定方向偏光之光穿透的偏光區域、及使光不受偏光方向影響而穿透的非偏光區域者;固態攝像元件,係配置成可接受已穿透前述透光部之光者,並具有已分割為分別包含第1像素及第2像素之複數像素區塊的像素陣列、及包含與前述第1像素相對向配置之偏光濾光器的濾光器陣列,且前述偏光濾光器係使已穿透前述偏光區域之光的至少一部分以及使已穿透前述非偏光區域之光的至少一部分入射前述第1像素;成像部,係將影像形成於前述固態攝像元件之攝像面者;及圖像生成部,係根據由前述第1像素輸出之第1像素訊號及由前述第2像素輸出之第2像素訊號,生成因入射前述偏光區域之光產生之圖像及因入射前述非偏光區域之光產生之圖像者。
  2. 如申請專利範圍第1項之三次元攝像裝置,其中前述偏光區域之穿透軸方向與前述偏光濾光器之穿透軸方向一致。
  3. 如申請專利範圍第1或2項之三次元攝像裝置,其中當將前述偏光區域作為第1偏光區域,並將前述偏光濾光器作為第1偏光濾光器時,前述透光部具有第2偏光區域,該第2偏光區域具有與前述第1偏光區域之穿透軸正交之穿透軸, 各像素區塊具有第3像素,前述濾光器陣列具有第2偏光濾光器,該第2偏光濾光器具有與前述第1偏光濾光器之穿透軸不同方向之穿透軸,且配置成與前述第3像素相對向,前述圖像生成部使用前述第1像素訊號、前述第2像素訊號、及由前述第3像素輸出之第3像素訊號,生成因入射前述偏光區域之光產生的圖像及因入射前述非偏光區域之光產生的圖像。
  4. 如申請專利範圍第3項之三次元攝像裝置,其中前述第1及第2偏光區域係相對於前述透光部之中心對稱地配置。
  5. 如申請專利範圍第3項之三次元攝像裝置,其中前述第2像素係鄰接於前述第1及第3像素而配置。
  6. 如申請專利範圍第3項之三次元攝像裝置,其中前述第1及第2偏光區域係相互分開地配置。
  7. 如申請專利範圍第3項之三次元攝像裝置,其中前述圖像生成部將因入射前述非偏光區域之光產生的圖像訊號,加算於因入射前述第1偏光區域之光產生的圖像訊號、及因入射前述第2偏光區域之光產生的圖像訊號,藉此生成對應前述第1偏光區域之圖像訊號及對應前述第2偏光區域之圖像訊號。
  8. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列2行,前述第2像素配置於第1列2行,前述第3像素配置於第4列2行, 與第1列1行及第3列1行之像素相對向地配置使青波長帶之光穿透的青濾光器,與第2列1行及第4列1行之像素相對向地配置使黃波長帶之光穿透的黃濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,與第2列2行及第4列2行之像素分別相對向地配置前述第1及第2偏光濾光器。
  9. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列1行,前述第2像素配置於第1列2行,前述第3像素配置於第4列1行,與第1列1行及第3列1行之像素相對向地配置使青波長帶之光穿透的青濾光器,與第2列2行及第4列2行之像素相對向地配置使黃波長帶之光穿透的黃濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,第2列1行及第4列1行之像素分別配置前述第1及第2偏光濾光器。
  10. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列2行,前述第2像素配置於第1列2行,前述第3像素配置於第4列2行, 與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列1行及第4列1行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置使綠波長帶之光穿透的綠濾光器,與第2列2行之像素相對向地配置前述第1偏光濾光器及使綠波長帶之光穿透的綠濾光器,與第4列2行之像素相對向地配置前述第2偏光濾光器及使綠波長帶之光穿透的綠濾光器。
  11. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列1行,前述第2像素配置於第1列2行,前述第3像素配置於第4列1行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列2行及第4列2行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置使綠波長帶之光穿透的綠濾光器,與第2列1行之像素相對向地配置前述第1偏光濾光器及使綠波長帶之光穿透的綠濾光器,與第4列1行之像素相對向地配置前述第2偏光濾光器及使綠波長帶之光穿透的綠濾光器。
  12. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列2行,前述第2像素配置於第1列2行,前述第3像素配置於第4列2行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列1行及第4列1行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,與第2列2行及第4列2行之像素分別相對向地配置前述第1及第2偏光濾光器。
  13. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊包含配列成4列2行之8個像素,前述第1像素配置於第2列1行,前述第2像素配置於第1列2行,前述第3像素配置於第4列1行,與第1列1行及第3列1行之像素相對向地配置使紅波長帶之光穿透的紅濾光器,與第2列2行及第4列2行之像素相對向地配置使藍波長帶之光穿透的藍濾光器,與第1列2行及第3列2行之像素相對向地配置透明構件,與第2列1行及第4列1行之像素分別相對向地配置前述第1及第2偏光濾光器。
  14. 如申請專利範圍第8項之三次元攝像裝置,其中前述圖像生成部藉由使用了由前述8個像素輸出之像素訊號的運算,生成因入射前述第1偏光區域之光產生的圖像、因入射前述第2偏光區域之光產生的圖像、及彩色圖像。
  15. 如申請專利範圍第3項之三次元攝像裝置,其中各像素區塊更包含第4像素,前述第1像素、第2像素、第3像素及第4像素係配列成2列2行,與前述第2像素相對向地配置使第1波長帶之光穿透的第1濾色器,與前述第4像素相對向地配置使第2波長帶之光穿透的第2濾色器。
  16. 如申請專利範圍第15項之三次元攝像裝置,其中前述第1波長帶相當於紅波長帶,前述第2波長帶相當於藍波長帶。
TW099145851A 2010-01-05 2010-12-24 3次元攝像裝置(一) TWI507012B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010000377 2010-01-05
JP2010005467 2010-01-14

Publications (2)

Publication Number Publication Date
TW201143366A TW201143366A (en) 2011-12-01
TWI507012B true TWI507012B (zh) 2015-11-01

Family

ID=44305289

Family Applications (2)

Application Number Title Priority Date Filing Date
TW099145851A TWI507012B (zh) 2010-01-05 2010-12-24 3次元攝像裝置(一)
TW099145843A TWI544779B (zh) 2010-01-05 2010-12-24 3次元攝像裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW099145843A TWI544779B (zh) 2010-01-05 2010-12-24 3次元攝像裝置

Country Status (6)

Country Link
US (2) US9036004B2 (zh)
JP (2) JP5421365B2 (zh)
KR (2) KR101701528B1 (zh)
CN (2) CN102342116B (zh)
TW (2) TWI507012B (zh)
WO (2) WO2011083542A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
JP5827988B2 (ja) * 2011-03-02 2015-12-02 富士フイルム株式会社 立体画像撮像装置
WO2012176355A1 (ja) * 2011-06-23 2012-12-27 パナソニック株式会社 撮像装置
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2013021542A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 3次元撮像装置
US9438890B2 (en) 2011-08-25 2016-09-06 Panasonic Intellectual Property Corporation Of America Image processor, 3D image capture device, image processing method, and image processing program
US20160363852A1 (en) * 2011-09-09 2016-12-15 Ichiro Shinkoda Single axis stereoscopic imaging apparatus with dual sampling lenses
US9100639B2 (en) * 2011-09-20 2015-08-04 Panasonic Intellectual Property Management Co., Ltd. Light field imaging device and image processing device
WO2013044149A1 (en) * 2011-09-21 2013-03-28 Aptina Imaging Corporation Image sensors with multiple lenses of varying polarizations
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
US9177983B2 (en) * 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
US20140055664A1 (en) 2012-02-02 2014-02-27 Panasonic Corporation Imaging device
US9658463B2 (en) 2012-02-03 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging system
JP5923595B2 (ja) * 2012-03-28 2016-05-24 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
EP2657653B1 (de) * 2012-04-27 2016-05-18 SICK STEGMANN GmbH Vorrichtung zur Messung des Drehwinkels zweier relativ zueinander um eine Drehachse rotierender Objekte
KR102211952B1 (ko) * 2012-12-14 2021-02-03 엘지이노텍 주식회사 3차원 카메라 모듈
JP6260006B2 (ja) 2013-07-30 2018-01-17 パナソニックIpマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP6137081B2 (ja) * 2014-07-29 2017-05-31 株式会社デンソー 車載機器
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
US9917582B2 (en) * 2015-10-30 2018-03-13 Avago Technologies General Ip (Singapore) Pte. Ltd. Polarizer structure to control crosstalk in proximity sensor including a cover physically separates a photodetector from an object
DE112017005244T5 (de) * 2016-10-17 2019-07-11 Sony Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
US11424279B2 (en) 2017-05-16 2022-08-23 Sony Semiconductor Solutions Corporation Imaging element and electronic device including imaging device
CN107221544B (zh) * 2017-06-02 2023-09-26 展谱光电科技(上海)有限公司 多光谱摄像装置及其摄像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709212A (en) * 1986-01-03 1987-11-24 General Electric Company Method of enhancing image signal-to-noise ratio by combining NMR images of differing pulse sequence timing
US5557324A (en) * 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
TWI317555B (en) * 2005-08-12 2009-11-21 Tessera Inc Image sensor employing a plurality of photodetector arrays and/or rear-illuminated architecture

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4239338A (en) * 1979-10-22 1980-12-16 Corning Glass Works Silver halide optical information storage media
JPH0748878B2 (ja) * 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) * 1986-06-11 1987-12-18 Sharp Corp 撮像装置
US5649897A (en) 1994-11-02 1997-07-22 Terumo Kabushiki Kaisha Endoscope apparatus for compensating for change in polarization state during image transmission
JP3863319B2 (ja) * 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
JP3564383B2 (ja) 2000-11-15 2004-09-08 日本電信電話株式会社 3次元動画入力装置
JP2004309868A (ja) * 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
CN100554878C (zh) 2003-05-29 2009-10-28 奥林巴斯株式会社 立体光学模块和立体摄像机
EP1635138A4 (en) 2003-05-29 2011-05-04 Olympus Corp STEREO OPTICAL MODULE AND STEREO CAMERA
EP2216999B1 (en) * 2007-12-07 2015-01-07 Panasonic Corporation Image processing device, image processing method, and imaging device
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
US8120861B2 (en) * 2008-09-22 2012-02-21 Martin Moskovits Patterned polarization-sensitive optical elements and devices using the same
US20100321476A1 (en) * 2009-06-18 2010-12-23 Sony Corporation Camera for capturing three-dimensional images
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US9658463B2 (en) 2012-02-03 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709212A (en) * 1986-01-03 1987-11-24 General Electric Company Method of enhancing image signal-to-noise ratio by combining NMR images of differing pulse sequence timing
US5557324A (en) * 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
TWI317555B (en) * 2005-08-12 2009-11-21 Tessera Inc Image sensor employing a plurality of photodetector arrays and/or rear-illuminated architecture

Also Published As

Publication number Publication date
CN102342115B (zh) 2014-11-26
KR101701527B1 (ko) 2017-02-01
US9041770B2 (en) 2015-05-26
CN102342115A (zh) 2012-02-01
US20120002018A1 (en) 2012-01-05
JP5421365B2 (ja) 2014-02-19
JPWO2011083542A1 (ja) 2013-05-13
JP5421364B2 (ja) 2014-02-19
JPWO2011083543A1 (ja) 2013-05-13
KR20120111918A (ko) 2012-10-11
TW201143366A (en) 2011-12-01
CN102342116B (zh) 2015-01-07
KR101701528B1 (ko) 2017-02-01
TWI544779B (zh) 2016-08-01
CN102342116A (zh) 2012-02-01
US9036004B2 (en) 2015-05-19
TW201143365A (en) 2011-12-01
WO2011083542A1 (ja) 2011-07-14
US20110316983A1 (en) 2011-12-29
WO2011083543A1 (ja) 2011-07-14
KR20120111919A (ko) 2012-10-11

Similar Documents

Publication Publication Date Title
TWI507012B (zh) 3次元攝像裝置(一)
US11736676B2 (en) Imaging apparatus and image sensor array
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
JP5454424B2 (ja) 撮像方法
JP5227368B2 (ja) 3次元撮像装置
WO2011142063A1 (ja) 3次元撮像装置
WO2011142062A1 (ja) 3次元撮像装置
WO2011148851A1 (ja) 撮像装置及び撮像方法
JP5923754B2 (ja) 3次元撮像装置
JP5995084B2 (ja) 3次元撮像装置、撮像素子、光透過部、および画像処理装置
JP5507362B2 (ja) 3次元撮像装置および光透過板

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees