TWI840429B - 積層型受光感測器及電子機器 - Google Patents

積層型受光感測器及電子機器 Download PDF

Info

Publication number
TWI840429B
TWI840429B TW108138410A TW108138410A TWI840429B TW I840429 B TWI840429 B TW I840429B TW 108138410 A TW108138410 A TW 108138410A TW 108138410 A TW108138410 A TW 108138410A TW I840429 B TWI840429 B TW I840429B
Authority
TW
Taiwan
Prior art keywords
substrate
layer
unit
circuit
analog circuit
Prior art date
Application number
TW108138410A
Other languages
English (en)
Other versions
TW202027491A (zh
Inventor
浴良仁
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018206014A external-priority patent/JP7402606B2/ja
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202027491A publication Critical patent/TW202027491A/zh
Application granted granted Critical
Publication of TWI840429B publication Critical patent/TWI840429B/zh

Links

Abstract

本發明係於晶片內執行更高級之處理。實施形態之積層型受光感測器具備:第1基板(100/300),其形成第1層;第2基板(120/320),其接合於上述第1基板,形成第2層;第3基板(140/340),其接合於上述第2基板,形成第3層;像素陣列部(101),其具備呈矩陣狀二維排列之複數個單位像素;類比電路(201),其自上述像素陣列部讀出像素信號;邏輯電路(202),其與上述類比電路連接,且輸出像素信號;記憶體(15),其儲存神經網路計算模型;處理部(14),其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;及輸出部(16),其至少可將基於上述神經網路計算模型之處理結果輸出至外部;且上述像素陣列部配置於上述第1層,上述類比電路配置於上述第1層至上述第3層中之任一層以上,上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上。

Description

積層型受光感測器及電子機器
本發明係關於一種積層型受光感測器及電子機器。
先前,作為獲取靜態圖像或動態圖像之攝像裝置,存在將感測器晶片、記憶體晶片或DSP(Digital Signal Processor,數位信號處理器)晶片等晶片彼此利用複數個凸塊並聯連接而成之平鋪型影像感測器。
又,近年來,以攝像裝置之小型化為目的,提出了具有積層複數個裸晶(die)而成之積層構造之單晶片影像感測器。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2018/051809號 [專利文獻2]日本專利特開2017-139497號公報
[發明所欲解決之問題]
然,近年來,就圖像處理之多樣化、高速化及個人資訊之保護等觀點而言,理想為於影像感測器晶片內執行更高級之處理。
因此,於本發明中,提出一種可於晶片內執行更高級之處理之積層型受光感測器及電子機器。 [解決問題之技術手段]
為了解決上述問題,本發明之一形態之積層型受光感測器具備:第1基板,其形成第1層;第2基板,其接合於上述第1基板,形成第2層;第3基板,其接合於上述第2基板,形成第3層;像素陣列部,其具備呈矩陣狀二維排列之複數個單位像素;類比電路,其自上述像素陣列部讀出像素信號;邏輯電路,其與上述類比電路連接,且輸出像素信號;記憶體,其儲存神經網路計算模型;處理部,其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;及輸出部,其至少可將基於上述神經網路計算模型之處理結果輸出至外部;且上述像素陣列部配置於上述第1層,上述類比電路配置於上述第1層至上述第3層中之任一層以上,上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上。
(作用)根據本發明之一形態之積層型受光感測器,由於執行基於神經網路計算模型之處理之處理部設置於積層型受光感測器之晶片內,故而可於晶片內執行更高級之處理。
以下,基於圖式對本發明之一實施形態詳細地進行說明。再者,於以下之實施形態中,對相同之部位標註相同之符號並省略重複之說明。
又,按照以下所示之項目順序對本發明進行說明。 1.第1實施形態 1.1攝像裝置之概略構成例 1.2影像感測器晶片之晶片構成例 1.3分層圖例 1.3.1第1分層圖例 1.3.1.1第1基板之分層圖例 1.3.1.2第2基板之分層圖例 1.3.1.3第3基板之分層圖例 1.3.1.4第1分層圖之變化例 1.3.2第2分層圖例 1.3.2.1第2分層圖之變化例 1.3.3第3分層圖例 1.3.3.1第3分層圖之變化例 1.3.4第4分層圖例 1.3.4.1第4分層圖之變化例 1.3.5第5分層圖例 1.3.5.1第5分層圖之變化例 1.3.6第6分層圖例 1.3.6.1第6分層圖之變化例 1.3.7第7分層圖例 1.3.7.1第7分層圖之變化例 1.3.8第8分層圖例 1.3.8.1第8分層圖之變化例 1.3.9第9分層圖例 1.3.9.1第9分層圖之變化例 1.4作用、效果 2.第2實施形態 2.1影像感測器晶片之晶片構成例 2.2作用、效果 3.第3實施形態 3.1影像感測器之構成例 3.2分層圖例 3.2.1第1分層圖例 3.2.1.1第1基板之分層圖例 3.2.1.2第2基板之分層圖例 3.2.1.3第3基板之分層圖例 3.2.1.4電磁遮罩之位置 3.2.1.5變化例 3.2.2第2分層圖例 3.2.2.1變化例 3.2.3第3分層圖例 3.2.3.1第1變化例 3.2.3.2第2變化例 3.2.4第4分層圖例 3.3作用、效果 4.第4實施形態 4.1第1例 4.1.1對第1層之電力供給 4.1.2對第2層之電力供給 4.1.2.1對第2層之電力供給之變化例 4.1.3對第3層之電力供給 4.1.3.1對第3層之電力供給之變化例 4.2第2例 4.2.1對第1層及第2層之電力供給 4.3作用、效果 5.向其他感測器之應用 6.向移動體之運用例 7.向內視鏡手術系統之運用例 8.向WSI(Whole Slide Imaging,全切片影像)系統之運用例
1.第1實施形態 首先,參照圖式對第1實施形態詳細地進行說明。
1.1攝像裝置之概略構成例 圖1係表示作為第1實施形態之電子機器之攝像裝置之概略構成例的方塊圖。如圖1所示,攝像裝置1具備作為固體攝像裝置(亦稱為積層型受光感測器)之影像感測器10、及應用處理器20。影像感測器10具備攝像部11、控制部12、轉換器(Analog to Digital Converter:以下稱為ADC)17、信號處理部13、DSP(Digital Signal Processor,數位信號處理器)14、記憶體15及選擇器(亦稱為輸出部)16。
控制部12例如按照使用者之操作或所設定之動作模式,控制影像感測器10內之各部。
攝像部11例如具備:光學系統104,其具備變焦透鏡、聚焦透鏡及光圈等;以及像素陣列部101,其具備包含光電二極體等受光元件之單位像素(圖4之單位像素101a)呈二維矩陣狀排列所得之構成。自外部入射之光藉由經由光學系統104,而成像於像素陣列部101中之受光元件排列所得之受光面。像素陣列部101之各單位像素101a藉由將入射至該受光元件之光轉換成電,而能夠讀出地儲存與入射光之光量對應之電荷。
ADC17藉由將自攝像部11讀出之每單位像素101a之類比像素信號轉換成數位值,而產生數位圖像資料,並將所產生之圖像資料輸出至信號處理部13及/或記憶體15。再者,ADC17中亦可包含自電源電壓等產生用以驅動攝像部11之驅動電壓之電壓產生電路等。
信號處理部13對自ADC17輸入之數位圖像資料或自記憶體15讀出之數位圖像資料(以下,稱為處理對象之圖像資料)執行各種信號處理。例如,於處理對象之圖像資料為彩色圖像之情形時,信號處理部13將該圖像資料格式轉換成YUV之圖像資料或RGB之圖像資料等。又,信號處理部13例如對處理對象之圖像資料視需要執行雜訊去除或白平衡調整等處理。此外,信號處理部13對處理對象之圖像資料執行為了使DSP14處理該圖像資料所需要之各種信號處理(亦稱為預處理)。
DSP14例如作為如下處理部發揮功能,即,藉由執行儲存於記憶體15之程式,而使用藉由利用深度神經網路(DNN)之學習所製成之預訓練模型(Pre-Trained Model)(亦稱為神經網路計算模型)來執行各種處理。該預訓練模型(神經網路計算模型)亦可基於將相當於像素陣列部101之輸出之輸入信號、及與對於該輸入信號之標記(label)相關聯之學習資料輸入至特定之機械學習模型而產生之參數進行設計。又,特定之機械學習模型亦可為利用多層神經網路之學習模型(亦稱為多層神經網路模型)。
例如,DSP14藉由執行基於記憶體15中所記憶之預訓練模型之運算處理,而執行將記憶體15中所記憶之詞典係數及圖像資料相互對照之處理。藉由此種運算處理所獲得之結果(運算結果)被輸出至記憶體15及/或選擇器16。再者,運算結果中可包含藉由執行使用預訓練模型之運算處理所獲得之圖像資料、或自該圖像資料獲得之各種資訊(後設資料)等。又,DSP14中亦可組裝有控制對記憶體15之訪問之記憶體控制器。
再者,DSP14設為處理對象之圖像資料既可為自像素陣列部101通常讀出之圖像資料,亦可為藉由減省該通常讀出之圖像資料之像素而資料尺寸縮小所得之圖像資料。或者,亦可為藉由對像素陣列部101執行減省像素之讀出而以較通常小之資料尺寸被讀出之圖像資料。再者,此處之所謂通常之讀出可為不減省像素地讀出。
記憶體15視需要記憶自ADC17輸出之圖像資料、藉由信號處理部13進行信號處理之圖像資料、藉由DSP14所獲得之運算結果等。又,記憶體15記憶DSP14所執行之預訓練模型演算法作為程式及詞典係數。
再者,DSP14可藉由使用學習資料變更學習模型內之各種參數之加權而學習學習模型、或預先準備複數個學習模型並根據運算處理之內容變更使用之學習模型、或自外部裝置獲取預訓練之學習模型,而執行上述運算處理。
選擇器16例如藉由按照來自控制部12之選擇控制信號,而選擇性地輸出自DSP14輸出之圖像資料、記憶體15中所記憶之圖像資料及運算結果等。再者,於DSP14不對自信號處理部13輸出之圖像資料執行處理之情形、且為選擇器16輸出自DSP14輸出之圖像資料之情形時,選擇器16亦可直接輸出自信號處理部13輸出之圖像資料。
如以上般自選擇器16輸出之圖像資料或運算結果被輸入至對顯示或使用者介面等進行處理之應用處理器20。應用處理器20例如使用CPU(Central Processing Unit,中央處理單元)等而構成,執行作業系統或各種應用軟體等。該應用處理器20中亦可搭載有GPU(Graphics Processing Unit,圖形處理單元)或基頻處理器等功能。又,應用處理器20亦可針對所輸入之圖像資料或運算結果,執行視需要之各種處理、或執行向使用者之顯示、或經由特定之網路40向外部之雲端伺服器30發送。
特定之網路40例如可應用網際網路、有線LAN(Local Area Network,區域網路)或無線LAN、行動通信網路(mobile communication network)、或者Bluetooth(藍芽)(註冊商標)等各種網路。又,圖像資料或運算結果之發送目的地並不限定於雲端伺服器30,可為單一地進行動作之伺服器、或保管各種資料之檔案伺服器、或行動電話等通信終端等具有通信功能之各種資訊處理裝置(系統)。
1.2影像感測器晶片之晶片構成例 其次,以下參照圖式對圖1所示之影像感測器10之晶片構成例詳細地進行說明。
圖2係表示本實施形態之影像感測器之晶片構成例之模式圖。如圖2所示,影像感測器10具有將分別為四邊形之平板狀之第1基板(裸晶)100、第2基板(裸晶)120及第3基板(裸晶)140貼合而成之三層積層構造。
第1基板100、第2基板120及第3基板140之尺寸例如可相同。又,第1基板100、第2基板120及第3基板140可分別為矽基板等半導體基板。
於圖1所示之影像感測器10中,例如,攝像部11之像素陣列部101配置於第1基板100。又,於第1基板100中,亦可以晶載之形式設置有光學系統104之一部分或全部。
影像感測器10中之類比電路201之一部分或全部亦可配置於第1基板100至第3基板140中之任一者。此處,所謂類比電路201,可為供給類比電路用電源電壓之電路構成,且為影像感測器10之ADC17或控制部12等之一部分。例如,類比電路201中可包含:自像素陣列部101讀出類比像素信號之各種電晶體(以下,稱為像素電路)、以列為單位驅動呈列行方向之二維格子狀排列之單位像素101a之垂直驅動電路(亦稱為列驅動器)、將自各單位像素101a讀出之類比像素信號轉換成數位值之ADC17之比較器及計數器、將參考電壓供給至該比較器之控制部12內之參考電壓供給部(以下,亦稱為DAC(Digital to Analog Converter,數位-類比轉換器))、相對於自外部輸入之主時鐘等謀求同步之PLL(Phase Locked Loop,鎖相迴路)電路、及將主時鐘進行分頻而產生低頻率之時鐘之分頻電路等。
另一方面,影像感測器10中之邏輯電路202可配置於第2基板120或第3基板140。於該邏輯電路202中,可包含供給邏輯電路用電源電壓之電路構成,且除了為信號處理部13之一部分以外,還為ADC17或控制部12等之一部分。例如,邏輯電路202中可包含DSP14、記憶體15及選擇器16等。又,邏輯電路202中亦可包含對轉換成數位值之圖像信號執行相關雙重取樣(CDS)之ADC17內之暫存器及減法器等。
但,類比電路201與邏輯電路202之劃分並不限於上述內容,例如,可進行將ADC17整體包含於類比電路201、或將控制部12整體包含於邏輯電路202等各種變更。
第1基板100、第2基板120及第3基板140之貼合既可為所謂之CoC(Chip on Chip,晶片堆疊)方式,即,將第1基板100、第2基板120及第3基板140分別單片化成晶片之後,將該等單片化所得之晶片貼合,亦可為所謂之CoW(Chip on Wafer,晶片堆疊晶圓)方式,即,將第1基板100至第3基板140中之至少一者單片化成晶片之後,將該單片化所得之晶片貼合於單片化前之晶圓,還可為所謂之WoW(Wafer on Wafer,晶圓堆疊晶圓)方式,即,將第1基板100至第3基板140以晶圓之狀態貼合。
又,第1基板100與第2基板120之接合方法、及第2基板120與第3基板140之接合方法分別可使用例如電漿接合等。但,並不限定於此,例如,可使用將露出於各個基板之接合面之銅(Cu)彼此接合之所謂之Cu-Cu接合方式等各種接合方法。
此處,如上所述,於使DSP14作為執行基於預訓練模型之運算處理之處理部動作之情形時,其動作演算法之安裝成為藉由程式之執行所進行之所謂之軟體安裝。又,預訓練模型之動作演算法係每日更新。因此,難以事先掌握執行基於預訓練模型之運算處理之DSP14於哪個時點執行處理,或DSP14之處理峰值變為哪個時點等。
而且,於如圖2所例示般,將像素陣列部101搭載於作為最上層之第1基板100,將DSP14搭載於作為下層之第2基板120或第3基板140所得之晶片構成中,於使DSP14作為執行基於預訓練模型之運算之處理部動作之情形時,若於像素陣列部101之重設中或像素陣列部101之曝光中或自像素陣列部101之各單位像素101a讀出像素信號之過程中,DSP14開始運算處理或DSP14之處理迎來峰值,則自像素陣列部101讀出之像素信號中疊加有雜訊(電流或電場之波動等),其結果,有可能導致由影像感測器10獲取之圖像之品質下降。
因此,亦可如例如圖2所示,於像素陣列部101與DSP14之間配置用以防止DSP14所產生之雜訊進入至像素陣列部101之電磁遮罩141。例如,於將DSP14配置於第2基板120之情形時,亦可於第1基板100與第2基板120之間配置電磁遮罩141。又,於將DSP14配置於第3基板140之情形時,亦可於第1基板100與第2基板120之間、或第2基板120與第3基板140之間配置電磁遮罩141。再者,電磁遮罩141只要至少與DSP14上方之一部分重疊即可。又,電磁遮罩141例如可使用由銅或鎳等導電性材料形成之薄板或薄膜等。
如此,藉由在像素陣列部101與DSP14之間介置電磁遮罩141,可減少因DSP14之信號處理所引起之雜訊向像素陣列部101之進入。藉此,即便於使DSP14作為執行基於預訓練模型之運算處理之處理部動作之情形時,亦可抑制藉由影像感測器10獲取之圖像之品質下降。
1.3分層圖例 其次,列舉若干例對本實施形態之影像感測器10中之第1基板100至第3基板140之各層之分層圖進行說明。
1.3.1第1分層圖例 圖3係用以說明本實施形態之第1分層圖例之圖。如圖3所示,於第1分層圖例中,像素陣列部101配置於第1基板100,類比電路201及邏輯電路202配置於第2基板120,DSP14及記憶體15配置於第3基板140。又,於第2基板120與第3基板140之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
此處,對第1分層圖例中之各層之分層圖例更詳細地進行說明。圖4係表示第1基板之分層圖例之俯視圖,圖5係表示第2基板之分層圖例之俯視圖,圖6係表示第3基板之分層圖例之俯視圖。
1.3.1.1第1基板之分層圖例 如圖4所示,第1基板100具備配置於第1基板100之元件形成面之大部分之像素陣列部101。換言之,第1基板100係以與像素陣列部101之尺寸相符之方式,單片化成較像素陣列部101之尺寸大一圈之尺寸。再者,於將光學系統104之一部分或全部搭載於第1基板100之情形時,將光學系統104之一部分或全部設置於與像素陣列部101對應之位置。
於接近第1基板100之4條邊L101~L104中之、例如與像素陣列部101中呈矩陣狀二維排列之單位像素101a之列方向平行之邊L101的區域中,設置有貫通第1基板100之複數條貫通配線(Through Silicon Via(矽穿孔):以下稱為TSV)排列所得之TSV陣列102作為用以將像素陣列部101中之各單位像素101a電性連接於配置在第2基板120之類比電路201之垂直信號線之一部分。又,例如,於接近與單位像素101a之排列之行方向平行之邊L104之區域中,設置有貫通第1基板100之複數條TSV排列所得之TSV陣列105作為用以驅動單位像素101a之驅動線之一部分。
又,於第1基板100之4條邊L101~L104中之例如2條邊L102及L104分別設置有由呈直線狀排列之複數個焊墊構成之焊墊陣列103。焊墊陣列103中例如包含被施加像素陣列部101或ADC17等類比電路用之電源電壓之焊墊(亦稱為電源接腳)、及被施加信號處理部13、DSP14、記憶體15、選擇器16及控制部12等邏輯電路用之電源電壓之焊墊(亦稱為電源接腳)等。又,焊墊陣列103中亦包含MIPI(Mobile Industry Processor Interface,行動產業處理器介面)或SPI(Serial Peripheral Interface,串列周邊介面)等介面用之焊墊(亦稱為信號接腳)、或用於時鐘信號或資料之輸入輸出之焊墊(亦稱為信號接腳)等。
焊墊陣列103中之各焊墊例如經由導線而與外部之電源電路或介面電路電性連接。各焊墊陣列103與TSV陣列102較佳為以可忽略來自連接於焊墊陣列103中之各焊墊之導線的信號之反射之影響的程度充分地分離。
1.3.1.2第2基板之分層圖例 如圖5所示,於第2基板120中設置有:配線122,其以接觸之方式與貫通第1基板100之TSV陣列102中之各TSV(以下,簡稱為TSV陣列102)電性連接;配線125,其以接觸之方式與貫通第1基板100之TSV陣列105中之各TSV(以下,簡稱為TSV陣列105)電性連接;及焊墊陣列123,其係由與第1基板100之焊墊陣列103中之各焊墊電性連接之複數個焊墊呈直線狀排列而成。
又,於第2基板120中,自接近配線122之區域起依序配置有作為類比電路201之ADC17及作為邏輯電路202之信號處理部13。換言之,於第2基板120中,以將自第1基板100之像素陣列部101讀出信號之配線122設為上游,將距配線122物理距離較長之側設為下游,且被讀出至配線122之信號自上游流向下游之方式,配置有類比電路201及邏輯電路202。
進而,於第2基板120之背面側、換言之為第2基板120中之下游側,例如設置有用以將信號處理部13與第3基板140中之DSP14電性連接之複數個電極焊墊排列所得之焊墊陣列126。
如此,藉由設為將類比電路201及邏輯電路202沿著信號之流向自上游向下游配置之佈局,能夠縮短連接各部之配線。藉此,能夠實現信號延遲之減少、信號之傳播損耗之降低、S/N比(Signal to Noise ratio,信號雜訊比)之提高、或消耗電力之減少。
又,亦存在如下優點,即,能夠將類比電路用之信號接腳或電源接腳彙集地配置於類比電路201之附近且將邏輯電路用之信號接腳或電源接腳彙集地配置於邏輯電路202之附近,或者將類比電路用之電源接腳與邏輯電路用之電源接腳充分地分離而配置等。
再者,控制部12例如可配置於ADC17與信號處理部13之間之一部分。
1.3.1.3第3基板之分層圖例 如圖6所示,於第3基板140中設置有:焊墊陣列146,其係由與設置於第2基板120之背面之焊墊陣列126之各電極焊墊電性連接之複數個電極焊墊排列所得;及焊墊陣列143,其係由與第2基板120之焊墊陣列123中之各焊墊電性連接之複數個焊墊呈直線狀排列而成。
又,於第3基板140中,自接近焊墊陣列146之區域起依序配置有DSP14及記憶體15。換言之,於第3基板140中,以將供自第2基板120之信號處理部13輸出之信號輸入之焊墊陣列146設為上游,將距焊墊陣列146物理距離較長之側設為下游,且被讀出至焊墊陣列146之信號自上游流向下游之方式,配置有DSP14及記憶體15。
進而,於第3基板140中之設置有DSP14之區域與第2基板120之間設置有電磁遮罩141。如此,藉由設置覆蓋DSP14之電磁遮罩141,可減少因DSP14執行信號處理所產生之雜訊進入至像素陣列部101。其結果,即便於使DSP14作為執行基於預訓練模型之運算處理之處理部動作之情形時,亦可減少因DSP14之信號處理所引起之雜訊進入至像素陣列部101,因此可獲取減少品質劣化所得之圖像。
再者,電磁遮罩141之***位置並不限定於第2基板120與第3基板140之間,亦可為第1基板100與第2基板120之間。又,電磁遮罩141未必需要覆蓋DSP14之整體,只要覆蓋DSP14之至少一部分即可。
第1基板100之TSV陣列102及105與第2基板120之配線122及125之連接例如可採用:將設置於第1基板100之TSV與自第1基板100設置至第2基板120之TSV之2個TSV於晶片外表連接之所謂之雙(twin)TSV方式、或以自第1基板100設置至第2基板120之共通之TSV連接之所謂之共享(shared)TSV方式等。但,並不限定於其等,例如可採用將分別露出於第1基板100之接合面及第2基板120之接合面之銅(Cu)彼此接合之所謂之Cu-Cu接合方式等各種連接形態。
又,第1基板100之焊墊陣列103中之各焊墊、第2基板120之焊墊陣列123中之各焊墊及第3基板140之焊墊陣列143中之各焊墊之連接例如可採用打線接合方式。但,並不限定於此,亦可採用通孔或齒形結構等各種連接形態。
進而,第2基板120背面之焊墊陣列126與第3基板140之焊墊陣列146之連接例如可使用Cu-Cu接合。但,並不限定於此,可採用上述雙TSV方式或共享TSV方式等各種連接形態。
1.3.1.4第1分層圖之變化例 亦可設為將圖3中之第2基板120與第3基板140調換之構成。於該情形時,DSP14及記憶體15配置於第2基板120,類比電路201及邏輯電路202配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
1.3.2第2分層圖例 其次,對第2分層圖例進行說明。圖7係用以說明第2分層圖例之圖。如圖7所示,於第2分層圖例中,像素陣列部101配置於第1基板100,類比電路201及記憶體15配置於第2基板120,邏輯電路202及DSP14配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15之上方配置有電磁遮罩141。此時,藉由將DSP14與記憶體15配置於在上下方向上對應之區域,可縮小設置電磁遮罩141之範圍。但,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第2基板120與第3基板140之間。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號例如經由設置於第1基板100之TSV陣列102被輸入至第2基板120之類比電路201並轉換成數位像素信號之後,被輸入至第3基板140之邏輯電路202。
如上所述,亦可設為將類比電路201配置於第2基板120,將邏輯電路202配置於第3基板140之構成。
1.3.2.1第2分層圖之變化例 亦可設為將圖7中之第2基板120及第3基板140調換之構成。於該情形時,邏輯電路202及DSP14配置於第2基板120,類比電路201及記憶體15配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15之上方配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
1.3.3第3分層圖例 其次,對第3分層圖例進行說明。圖8係用以說明第3分層圖例之圖。如圖8所示,於第3分層圖例中,像素陣列部101配置於第1基板100,邏輯電路202及記憶體15配置於第2基板120,類比電路201及DSP14配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15之上方配置有電磁遮罩141。此時,藉由將DSP14及記憶體15配置於在上下方向上對應之區域,可縮小設置電磁遮罩141之範圍。但,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第2基板120與第3基板140之間。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號例如經由設置於第1基板100之TSV陣列102及設置於第2基板120之未圖示之TSV被輸入至第3基板140之類比電路201並轉換成數位像素信號之後,被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201配置於第3基板140,將邏輯電路202配置於第2基板120之構成。
1.3.3.1第3分層圖之變化例 亦可設為將圖8中之第2基板120與第3基板140調換之構成。於該情形時,類比電路201及DSP14配置於第2基板120,邏輯電路202及記憶體15配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15之上方配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
1.3.4第4分層圖例 其次,對第4分層圖例進行說明。圖9係用以說明第4分層圖例之圖。如圖9所示,於第4分層圖例中,像素陣列部101配置於第1基板100,類比電路201、邏輯電路202及DSP14配置於第2基板120,記憶體15配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號例如經由設置於第1基板100之TSV陣列102被輸入至第2基板120之類比電路201且轉換成數位像素信號之後,同被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201、邏輯電路202、DSP14及記憶體15中之記憶體15配置於第3基板140,將除記憶體15以外者配置於第2基板120之構成。
1.3.4.1第4分層圖之變化例 亦可設為將圖9中之第2基板120與第3基板140調換之構成。於該情形時,記憶體15配置於第2基板120,類比電路201、邏輯電路202及DSP14配置於第3基板140。又,於第2基板120與第3基板140之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第1基板100與第2基板120之間。
1.3.5第5分層圖例 其次,對第5分層圖例進行說明。圖10係用以說明第5分層圖例之圖。如圖10所示,於第5分層圖例中,像素陣列部101配置於第1基板100,類比電路201、邏輯電路202及記憶體配置於第2基板120,DSP14配置於第3基板140。又,於第1基板100與第2基板120之間配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號例如經由設置於第1基板100之TSV陣列102被輸入至第2基板120之類比電路201且轉換成數位像素信號之後,同被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201、邏輯電路202、DSP14及記憶體15中之DSP14配置於第3基板140,將除DSP14以外者配置於第2基板120之構成。
1.3.5.1第5分層圖之變化例 亦可設為將圖10中之第2基板120與第3基板140調換之構成。於該情形時,DSP14配置於第2基板120,類比電路201、邏輯電路202及記憶體15配置於第3基板140。又,於第1基板100與第2基板120之間配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
1.3.6第6分層圖例 其次,對第6分層圖例進行說明。圖11係用以說明第6分層圖例之圖。如圖11所示,於第6分層圖例中,像素陣列部101配置於第1基板100,類比電路201、DSP14及記憶體15配置於第2基板120,邏輯電路202配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號例如經由設置於第1基板100之TSV陣列102被輸入至第2基板120之類比電路201且被轉換成數位像素信號之後,同被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201、邏輯電路202、DSP14及記憶體15中之邏輯電路202配置於第3基板140,將除邏輯電路202以外者配置於第2基板120之構成。
1.3.6.1第6分層圖之變化例 亦可設為將圖11中之第2基板120與第3基板140調換之構成。於該情形時,邏輯電路202配置於第2基板120,類比電路201、DSP14及記憶體15配置於第3基板140。又,於第2基板120與第3基板140之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第1基板100與第2基板120之間。
1.3.7第7分層圖例 其次,對第7分層圖例進行說明。圖12係用以說明第7分層圖例之圖。如圖12所示,於第7分層圖例中,像素陣列部101配置於第1基板100,邏輯電路202、DSP14及記憶體15配置於第2基板120,類比電路201配置於第3基板140。又,於第1基板100與第2基板120之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號例如經由設置於第1基板100之TSV陣列102及設置於第2基板120之未圖示之TSV被輸入至第3基板140之類比電路201且轉換成數位像素信號之後,被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201、邏輯電路202、DSP14及記憶體15中之類比電路201配置於第3基板140,將除類比電路201以外者配置於第2基板120之構成。
1.3.7.1第7分層圖之變化例 亦可設為將圖12中之第2基板120與第3基板140調換之構成。於該情形時,類比電路201配置於第2基板120,邏輯電路202、DSP14及記憶體15配置於第3基板140。又,於第2基板120與第3基板140之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第1基板100與第2基板120之間。
1.3.8第8分層圖例 其次,對第8分層圖例進行說明。圖13係用以說明第8分層圖例之圖。如圖13所示,於第8分層圖例中,像素陣列部101及作為類比電路201之一部分之類比電路211配置於第1基板100,類比電路201之剩餘部分之類比電路221及邏輯電路202配置於第2基板120,DSP14及記憶體15配置於第3基板140。又,於第2基板120與第3基板140之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第1基板100與第2基板120之間。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號於被輸入至配置於第1基板100之類比電路211之後,例如經由設置於第1基板100之TSV陣列102被輸入至第2基板120之類比電路221且轉換成數位像素信號,然後,同被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201之一部分配置於第1基板100,將剩餘部分之類比電路221配置於第2基板120之構成。
1.3.8.1第8分層圖之變化例 於圖13中,例示了將剩餘部分之類比電路221配置於第2基板120之情形,但並不限定於此。即,關於第2基板120及第3基板140之分層圖,可設為與第1~第7分層圖例或其變化例中所說明之佈局相同之佈局。於該情形時,第1~第7分層圖例或其變化例中之類比電路201被置換為類比電路221。
1.3.9第9分層圖例 其次,對第9分層圖例進行說明。圖14係用以說明第9分層圖例之圖。如圖14所示,於第9分層圖例中,像素陣列部101及類比電路201配置於第1基板100,邏輯電路202配置於第2基板120,DSP14及記憶體15配置於第3基板140。又,於第2基板120與第3基板140之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第1基板100與第2基板120之間。
於此種構成中,自像素陣列部101之各單位像素101a讀出之類比像素信號被輸入至配置於第1基板100之類比電路201且轉換成數位像素信號之後,例如經由設置於第1基板100之TSV陣列102被輸入至第2基板120之邏輯電路202。
如上所述,亦可設為將類比電路201配置於第1基板100之構成。
1.3.9.1第9分層圖之變化例 於圖13中,例示了將邏輯電路202配置於第2基板120,將DSP14及記憶體15配置於第3基板140之情形,但並不限定於此。即,亦可將邏輯電路202、DSP14及記憶體15中之一者配置於第2基板120。
又,亦可設為將邏輯電路202、DSP14及記憶體15中之一者配置於第3基板140,將其餘配置於第2基板120之構成。
1.4作用、效果 如上所述,根據本實施形態,於三層構造之影像感測器10中,可使DSP14作為執行基於預訓練模型之運算處理之處理部發揮功能。藉此,可於影像感測器10之晶片內執行更高級之處理。
又,於本實施形態中,於配置於第1基板100之像素陣列部101、與第2基板120或配置於第3基板140之DSP14之間之至少一部分,設置有遮斷作為雜訊之電磁波之電磁遮罩141。藉此,可減少因DSP14之信號處理所引起之雜訊向像素陣列部101之進入,因此即便於使DSP14作為執行基於預訓練模型之運算處理之處理部動作之情形時,亦可獲取減少品質劣化所得之圖像。
2.第2實施形態 其次,參照圖式,對第2實施形態詳細地進行說明。再者,於以下之說明中,對與第1實施形態相同之構成標註相同之符號,並省略其重複之說明。又,於以下之說明中,例示以第1實施形態中之第1分層圖例為基礎之情形,但並不限定於此,亦可以第2~第9分層圖例為基礎。
作為第2實施形態之電子機器之攝像裝置例如可與第1實施形態中使用圖1所說明之攝像裝置1相同,因此此處引用其而省略詳細之說明。
2.1影像感測器晶片之晶片構成例 繼而,以下參照圖式對本實施形態之影像感測器之晶片構成例詳細地進行說明。圖15係表示本實施形態之影像感測器之晶片構成例之模式圖。
如圖15所示,於本實施形態中,第1實施形態之第1分層圖例中之第3基板140被分割為2個基板147及148。於一基板147例如配置有DSP14,於另一基板148例如配置有記憶體15。又,於第2基板120與基板147之間且DSP14及記憶體15上配置有電磁遮罩141。再者,電磁遮罩141只要配置於至少與DSP14之一部分對應之位置即可。又,電磁遮罩141亦可配置於第1基板100與第2基板120之間。
第2基板120與2個基板147及148之貼合可採用將第2基板120與基板147及148分別單片化成晶片之後進行貼合之CoC(Chip on Chip,晶片堆疊)方式、或分別將單片化所得之基板147及148貼合於晶圓狀態之第2基板120之CoW(Chip on Wafer,晶片堆疊晶圓)方式。
再者,基板147及148相對於第2基板120之貼合部位例如可為使DSP14及記憶體15相對於第2基板120之配置與第1分層圖例相同之部位。
2.2作用、效果 如上所述,亦可將DSP14及記憶體15分別設為不同之晶片。藉此,可分別藉由不同之製造製程製作DSP14及記憶體15。再者,關於其他構成及效果,可與第1實施形態相同,故而此處省略詳細之說明。
3.第3實施形態 其次,參照圖式對第3實施形態詳細地進行說明。再者,於以下之說明中,對與上述實施形態相同之構成標註相同之符號,並省略其重複之說明。
作為第3實施形態之電子機器之攝像裝置例如可與第1實施形態中使用圖1所說明之攝像裝置1相同。但,為了方便說明,先使用圖16對圖1所例示之影像感測器10之更詳細之構成例進行說明。再者,於圖16中,省略攝像部11中之光學系統104。
3.1影像感測器之構成例 如圖16所示,影像感測器10中之控制部12例如具備時序控制電路221、列驅動器220、參考電壓供給部(DAC)212及水平掃描電路223。
時序控制電路221輸出賦予各部之動作所需要之內部時鐘或各部開始動作之時序的脈衝信號等。又,時序控制電路221自外部接收指示主時鐘或動作模式等之資料、或輸出包含影像感測器10之資訊之資料。
例如,時序控制電路221將賦予自各單位像素101a讀出像素信號之時序之脈衝信號輸出至垂直驅動電路211。又,時序控制電路221將用以逐行地自ADC17依序讀出藉由ADC17轉換成數位值之像素信號之行位址信號輸出至水平掃描電路223。
進而,於時序控制電路221中,將與自外部輸入之主時鐘相同之頻率之時鐘、或將其二分頻所得之時鐘、或進一步分頻所得之低速時鐘等供給至影像感測器10內之各部、例如列驅動器220、參考電壓供給部212、ADC17及水平掃描電路223等作為內部時鐘。以下,將二分頻所得之時鐘或其以下之頻率之時鐘全體總稱為低速時鐘。
列驅動器220例如於像素陣列部101中選擇呈矩陣狀二維排列之單位像素101a之列,並輸出該列(以下,稱為讀出列)之驅動所需要之脈衝。因此,列驅動器220例如具備:垂直解碼器222,其規定讀出列(選擇像素陣列部101之列);及垂直驅動電路211,其對針對由垂直解碼器222規定之讀出位址上(列方向)之單位像素101a之像素驅動線供給脈衝而使其驅動。再者,垂直解碼器222除了選擇讀出像素信號之列以外,亦可選擇電子快門用之列等。
參考電壓供給部212將用以將自各單位像素101a讀出之類比像素信號轉換成數位像素信號之參考電壓供給至ADC17。例如,於ADC17為單斜率型之情形時,參考電壓供給部212輸出具有呈直線狀或階梯狀升壓或降壓之鋸齒波狀(亦稱為斜坡狀)之波形之參考電壓。另一方面,於ADC17為逐次比較型之情形時,參考電壓供給部212輸出具有固定電壓值之參考電壓。於該情形時,各ADC17例如藉由將作為固定電壓之參考電壓分壓,而產生用於逐次比較之複數個參考電壓。
圖16中示出了單斜率型ADC17。單斜率型ADC17例如具備比較器213及計數器214。比較器212將自各單位像素101a讀出之類比像素信號之電壓值、與自參考電壓供給部212供給之斜坡狀參考電壓進行比較,並將其比較結果輸出至計數器214。計數器214於類比像素信號之電壓值超出或低於參考電壓之前對自時序控制電路221輸入之時鐘數進行計數,並將該計數值設為像素信號之數位值。再者,於ADC17為逐次比較型之情形時,ADC17例如包含比較器、電容性DAC、暫存器及減法器。
水平掃描電路223例如執行如下移位(shift)動作(掃描),即,按照自時序控制電路221輸入之行位址信號,自以行位址信號指定之讀出行之ADC17將包含數位像素信號之圖像資料讀出至水平信號線。所讀出之圖像資料被輸入至圖像信號處理部224。
圖像信號處理部224例如具備信號處理部13、DSP14、記憶體15及選擇器16。各個動作可與第1實施形態中所說明之動作相同,故而此處省略詳細之說明。
又,影像感測器10具備:介面(I/F)225,其係用以於外部與時序控制電路221之間進行主時鐘或各種資料之輸入輸出;I/F226,其係用以將經由選擇器16輸出之圖像資料輸出至應用處理器20;及I/F227,其係自周邊部輸入用以執行基於預訓練模型之運算處理之程式或詞典係數等。
於上述構成中,垂直驅動電路211、參考電壓供給部212、比較器213及計數器214例如包含於類比電路201。另一方面,時序控制電路221、垂直解碼器222、水平掃描電路223、圖像信號處理部224及各種I/F225~227例如包含於邏輯電路202。
3.2分層圖例 其次,列舉若干例對本實施形態之影像感測器10中之各層之分層圖進行說明。再者,本實施形態之影像感測器10之晶片構成例例如與第1實施形態中使用圖2所說明之積層構造同樣地,設為包含第1基板至第3基板之三層積層構造。
3.2.1第1分層圖例 圖17~圖19係用以說明本實施形態之第1分層圖例之圖。再者,圖17表示作為第1層之第1基板300之分層圖例,圖18表示作為第2層之第2基板320之分層圖例,圖19表示作為第3像之第3基板340之分層圖例。
3.2.1.1第1基板之分層圖例 如圖17所示,第1基板300係與圖4所示之第1基板100同樣地,具備配置於第1基板300之元件形成面之大部分之像素陣列部101。再者,於將光學系統104之一部分或全部搭載於第1基板300之情形時,將光學系統104之一部分或全部設置於與像素陣列部101對應之位置。
於像素陣列部101之周圍,設置有貫通第1基板300之複數個TSV排列所得之TSV陣列302及305,作為用以將像素陣列部101中之各單位像素101a電性連接於配置在下層之電路元件之配線之一部分。於圖17所示之例中,自3個方向包圍像素陣列部101之TSV陣列中之TSV陣列302係用以將像素陣列部101之各單位像素101a與列驅動器220之垂直驅動電路211連接之TSV陣列,TSV陣列305係用以將像素陣列部101之各單位像素101a與ADC17之比較器213連接之TSV陣列。
又,於TSV陣列302及305之更外側之周圍,設置有由呈直線狀排列之複數個焊墊構成之焊墊陣列303。例如,於圖17所示之例中,於第1基板300之4條邊中之對向之2條邊分別設置有焊墊陣列303。
再者,焊墊陣列303中與上述實施形態中之焊墊陣列103同樣地,包含被施加類比電路用之電源電壓之焊墊(電源接腳)、及被施加邏輯電路用之電源電壓之焊墊(電源接腳)等。又,焊墊陣列303中亦可包含各種介面用之焊墊(信號接腳)、或用於時鐘信號或資料之輸入輸出之焊墊(信號接腳)等。焊墊陣列303中之各焊墊例如經由導線而與外部之電源電路或介面電路電性連接。各焊墊陣列303與TSV陣列302及305較佳為以可忽略來自連接於焊墊陣列303中之各焊墊之導線的信號之反射之影響的程度充分地分離。
3.2.1.2第2基板之分層圖例 如圖18所示,於第2基板320設置有TSV陣列322及325。TSV陣列322例如以接觸之方式與貫通第1基板300之TSV陣列302電性連接。TSV陣列325同樣以接觸之方式與貫通第1基板300之TSV陣列305電性連接。
又,於第2基板320亦配置有垂直驅動電路211、DSP14及記憶體15。垂直驅動電路211例如配置於與連接於第1基板300之TSV陣列302之TSV陣列322接近之位置。
DSP14及記憶體15例如配置於相對於第1基板300之像素陣列部101成為正下方之區域。此時,藉由以記憶體15自周圍包圍DSP14之方式配置,可減小連結記憶體15中之各記憶體元件與DSP14之信號線之長度之方差(例如,最短之信號線之長度與最長之信號線之長度之差)。藉此,能夠實現信號延遲之減少、信號之傳播損耗之降低、S/N比之提高、或消耗電力之減少。
3.2.1.3第3基板之分層圖例 如圖19所示,於第3基板340設置有以接觸之方式與貫通第2基板320之TSV陣列322及325電性連接之TSV陣列342及345。
又,於第3基板340亦配置有垂直解碼器222、構成ADC17之比較器213及計數器214、水平掃描電路223、像素驅動部13、時序控制電路221及參考電壓供給部(DAC)212。再者,信號處理部13中亦可包含MPU(Micro Processing Unit,微處理單元)。
垂直解碼器222例如配置於與連接於第2基板320之TSV陣列322之TSV陣列342接近之位置。即,垂直解碼器222經由TSV陣列342而連接於第2基板320之垂直驅動電路211。
於經由TSV陣列325及305而連接於像素陣列部101之TSV陣列345各者之附近依序配置有構成ADC17之比較器213及計數器214。因此,自像素陣列部101讀出之像素信號經由TSV陣列305、325及345被輸入至比較器213。
於各計數器214之輸出側配置有水平掃描電路223。又,於位於水平掃描電路223之間之區域、即第3基板340之中央附近配置有信號處理部13、參考電壓供給部(DAC)212及時序控制電路221。
信號處理部13例如經由設置於第3基板340之大致中央之TSV344而連接於第2基板320之DSP14及記憶體15。
3.2.1.4電磁遮罩之位置 於圖17~圖19所示之積層構造中,上述實施形態中所例示之電磁遮罩141例如配置於第1基板300與第2基板320之間。電磁遮罩141設置於至少覆蓋DSP14整體之區域、例如第1基板300與第2基板320之間整體。如此,藉由設置覆蓋DSP14之電磁遮罩141,可減少因DSP14執行信號處理所產生之雜訊進入至像素陣列部101。其結果,即便於使DSP14作為執行基於預訓練模型之運算處理之處理部動作之情形時,亦可減少因DSP14之信號處理所引起之雜訊向像素陣列部101之進入,因此可獲取減少品質劣化所得之圖像。再者,電磁遮罩141未必需要覆蓋DSP14之整體,只要覆蓋DSP14之至少一部分即可。
3.2.1.5變化例 於第1分層圖例中,例示了將DSP14及記憶體15配置於第2基板320,將類比電路201及剩餘部分之邏輯電路202配置於第3基板340之情形,但亦可將第2基板320與第3基板340調換。於該情形時,電磁遮罩141可設置於第1基板300與第2基板320之間、或第2基板320與第3基板340之間且至少覆蓋DSP14整體之區域。
3.2.2第2分層圖例 其次,參照圖式對第2分層圖例詳細地進行說明。圖20係表示第2分層圖例之第2基板之分層圖例之圖。圖21係表示第2分層圖例之第3基板之分層圖例之圖。再者,第1基板300之分層圖例可與第1分層圖例中使用圖17所說明之分層圖例相同,故而此處省略詳細之說明。
如圖20及圖21所示,於第2分層圖例中,於第1分層圖例中配置於第2基板320之DSP14配置於第3基板340。DSP14配置於與信號處理部13一起夾著TSV344之位置,且經由TSV344連接於第2基板320之記憶體15。
又,電磁遮罩141例如設置於第1基板300與第2基板320之間、或第2基板320與第3基板340之間且至少覆蓋DSP14整體之區域,例如第1基板300與第2基板320之間整體、或第2基板320與第3基板340之間整體。如此,藉由設置覆蓋DSP14之電磁遮罩141,而與第1分層圖例同樣地,能夠減少藉由DSP14執行信號處理所產生之雜訊進入至像素陣列部101。
3.2.2.1變化例 第2分層圖例亦與第1分層圖例同樣地,可將第2基板320與第3基板340調換。於該情形時,電磁遮罩141可設置於第1基板300與第2基板320之間且至少覆蓋DSP14整體之區域。
3.2.3第3分層圖例 其次,參照圖式對第3分層圖例詳細地進行說明。圖22係表示第3分層圖例之第2基板之分層圖例之圖。圖23係表示第3分層圖例之第3基板之分層圖例之圖。再者,第1基板300之分層圖例可與第1分層圖例中使用圖17所說明之分層圖例相同,故而此處省略詳細之說明。
如圖22及圖23所示,於第3分層圖例中,於第1分層圖例中配置於第2基板320之垂直驅動電路211配置於第3基板340。即,於第3分層圖例中,於第3基板340配置有列驅動器220。列驅動器220經由TSV陣列345、325及305而連接於第1基板300之像素陣列部101。
再者,電磁遮罩141例如可與第1分層圖例同樣地,設置於第1基板300與第2基板320之間且至少覆蓋DSP14整體之區域、例如第1基板300與第2基板320之間整體。
3.2.3.1第1變化例 第3分層圖例亦與第1及第2分層圖例同樣地,可將第2基板320與第3基板340調換。於該情形時,電磁遮罩141可設置於第1基板300與第2基板320之間、或第2基板320與第3基板340之間且至少覆蓋DSP14整體之區域。
3.2.3.2第2變化例 又,於圖22及圖23中,例示了以圖18及圖19所示之第1分層圖例為基礎之情形,但並不限定於此,例如亦可以第2分層圖例為基礎。於該情形時亦同樣地藉由將第2基板320中之垂直驅動電路211配置於第3基板340而使列驅動器220位於第3基板340。
3.2.4第4分層圖例 其次,參照圖式對第4分層圖例詳細地進行說明。圖24係表示第4分層圖例之第2基板之分層圖例之圖。圖25係表示第4分層圖例之第3基板之分層圖例之圖。再者,第1基板300之分層圖例可與第1分層圖例中使用圖17所說明之分層圖例相同,故而此處省略詳細之說明。
如圖24及圖25所示,於第4分層圖例中,於第2基板320配置有ADC17之比較器213、參考電壓供給部212、列驅動器220及記憶體15,於第3基板340配置有ADC17之計數器214、水平掃描電路223、時序控制電路221、信號處理部13、DSP14及各種I/F228(包含I/F225、226及227)。又,於第2基板320設置有貫通第2基板且與第3基板340電性連接之TSV陣列327及TSV324,於第3基板340設置有與第2基板320之TSV陣列327電性連接之TSV陣列347。再者,時序控制電路221中亦可包含MPU。又,於第2基板320亦可配置儲存各種程式或資料(包含預訓練模型之程式等)之OTP(One Time Programmable Read Only Memory,一次可程式唯讀記憶體)326。
第2基板320之比較器213經由TSV陣列325及305連接於第1基板300之像素陣列部101。又,比較器213經由TSV陣列327及347連接於第3基板340之計數器214。第3基板340之信號處理部13及DSP14經由TSV324及344連接於第2基板320之記憶體15。
於此種積層構造中,電磁遮罩141例如配置於第1基板300與第2基板320之間、或第2基板320與第3基板340之間。電磁遮罩141設置於至少覆蓋DSP14整體之區域、例如第1基板300與第2基板320之間整體、或第2基板320與第3基板340之間整體。如此,藉由設置覆蓋DSP14之電磁遮罩141,可減少因DSP14執行信號處理所產生之雜訊進入至像素陣列部101。
3.3作用、效果 如上所述,根據本實施形態,藉由將構成影像感測器10之類比電路201及邏輯電路202更精細地進行分類,可將各者最佳地分類至各層。此時,藉由使電磁遮罩141介置於DSP14與像素陣列部101之間之至少一部分,可減少因DSP14之信號處理所引起之雜訊向像素陣列部101之進入,因此即便於使DSP14作為執行基於預訓練模型之運算處理之處理部動作之情形時,亦可獲取減少品質劣化所得之圖像。
其他構成、動作及效果可與上述實施形態相同,故而此處省略詳細之說明。
4.第4實施形態 其次,參照圖式對第4實施形態詳細地進行說明。於本實施形態中,說明對由第1基板100/300構成之第1層至由第3基板140(147、148)/340構成之第3層之各層之電力供給。再者,於以下之說明中,對與上述實施形態相同之構成標註相同之符號,並省略其重複之說明。又,作為第4實施形態之電子機器之攝像裝置例如可與上述實施形態中使用圖1所說明之攝像裝置1相同,故而此處省略詳細之說明。
4.1第1例 圖26~圖28係用以說明本實施形態之第1例之對各層之電力供給的剖視圖。再者,於第1例中,例示了影像感測器10為背面照射型之情形。
4.1.1對第1層之電力供給 圖26係用以說明用以向第1層供給電力之構成之剖視圖。如圖26所示,用以對第1層供給電力之電源接腳403-1(上述焊墊陣列103/303中所包含之焊墊)例如設置於自第1基板100/300之背面側(圖式中之上表面側)形成至第1層之配線層501之中途為止之溝槽502-1內。形成於配線層501中之電極焊墊404-1露出於溝槽502-1之底部。因此,形成於溝槽502-1內之電源接腳403-1係以接觸之形式與電源焊墊404-1電性連接。
電源焊墊404-1例如亦可為自上起為鉭(Ta)、鋁(Al)-銅(Cu)合金、鉭(Ta)、氮化鉭(TaN)、鉭(Ta)及氮化鉭(TaN)之積層膜。另一方面,電源接腳403-1例如可使用鉛(Pb)、銅(Cu)或金(Au)等。
電極焊墊404-1經由設置於配線層501之未圖示之配線而連接於配置在第1層之像素陣列部101等電路元件。又,電源接腳403-1例如連接於設置在第1層之電路元件用之未圖示之電源。因此,供給至電源接腳403-1之電力經由電源焊墊404-1及配線層501內之配線而被供給至配置於第1層之像素陣列部101等電路元件。
4.1.2對第2層之電力供給 圖27係用以說明用以向第2層供給電力之構成之剖視圖。如圖27所示,用以向第2層供給電力之電源接腳403-2(上述焊墊陣列103/303中所包含之焊墊)例如與用以向第1層供給電力之電源接腳403-1同樣地,設置於自第1基板100/300之背面側(圖式中之上表面側)形成至第1層之配線層501之中途為止之溝槽502-2內。形成於配線層501中之電極焊墊404-2露出於溝槽502-2之底部。因此,形成於溝槽502-2內之電源接腳403-2以接觸之方式與電源焊墊404-2電性連接。
電源焊墊404-2例如與電源焊墊404-1同樣,亦可為自上起為鉭(Ta)、鋁(Al)-銅(Cu)合金、鉭(Ta)、氮化鉭(TaN)、鉭(Ta)及氮化鉭(TaN)之積層膜。又,電源接腳403-2亦同樣,可使用與電源接腳403-1相同之材料、例如鉛(Pb)、銅(Cu)或金(Au)等。
自第1基板100/300至第2基板120/320形成有用以將經由電源接腳403-2供給之電力引導至第2基板120/320之電源線。該電源線中例如可包含如下之雙TSV,即,將貫通第1基板100/300之TSV412、與自第1基板100/300貫通至第1層與第2層之間之層間絕緣膜503之TSV413藉由形成於第1基板100/300之背面側之配線411連接而成。又,電源線中亦可包含如下之TSV422,即,用以將經由雙TSV供給至第2基板120/320之背面側之電力引導至第2基板120/320之正面側(元件形成面側)且貫通第2基板120/320。
自第1層形成至第2層之TSV413、與貫通第2基板120/320之TSV422係經由形成於第2基板120/320之背面側之配線421而連接。又,TSV422連接於形成在第2層之配線層505之配線424。配線424係與設置於第2層之電路元件401電性連接。因此,自電路元件401用之未圖示之電源供給至電源接腳403-2之電力經由電源焊墊404-2、TSV412、配線411、TSV413、配線421、TSV422及配線424而被供給至第2層之電路元件401。再者,電路元件401中可包含於上述實施形態中配置於第2基板120/320之類比電路或邏輯電路等。
4.1.2.1對第2層之電力供給之變化例 圖28係用以說明用以向第2層供給電力之構成之變化例之剖視圖。於上述圖27所示之例中,例示了將供給至電源接腳403-2之電力藉由TSV412引導至第1基板100/300之背面側之後,經由2個TSV413及422供給至第2層之情形。相對於此,於本變化例中,例示將供給至電源接腳403-2之電力直接供給至第2層之情形。
如圖28所示,於本變化例中,用以形成電源接腳403-2之溝槽502-2a到達至第1層與第2層之間之層間絕緣膜503。於溝槽502-2a之底部形成有與電源接腳403-2接觸之電源焊墊404-2。
電源焊墊404-2係與形成於第2基板120/320之背面側之配線441接觸。配線441係與TSV442連接,該TSV442貫通第2基板120/320且與形成於第2層之配線層505之配線443接觸。配線443係與設置於第2層之電路元件401電性連接。因此,自電路元件401用之未圖示之電源供給至電源接腳403-2之電力經由電源焊墊404-2、配線441、TSV442及配線443而被供給至第2層之電路元件401。
4.1.3對第3層之電力供給 圖29係用以說明用以向第3層供給電力之構成之剖視圖。如圖29所示,於用以向第3層供給電力之構成中,例如與上述內容中使用圖28所說明之構成同樣地,於自第1基板100/300之背面側(圖式中之上表面側)貫通至第1層與第2層之間之層間絕緣膜503之溝槽502-3內設置有電源接腳403-3(上述焊墊陣列103/303中所包含之焊墊)及電源焊墊404-3。
電源焊墊404-3係與形成於第2基板120/320之背面側之配線451接觸。配線451係與TSV452連接,該TSV452係自第2基板120/320貫通至第2層與第3層之間之層間絕緣膜507且與形成於第3層之配線層506之配線453接觸。配線453係與設置於第3層之電路元件402電性連接。因此,自電路元件402用之未圖示之電源供給至電源接腳403-3之電力經由電源焊墊404-3、配線451、TSV452及配線453而被供給至第3層之電路元件402。再者,電路元件402中可包含於上述實施形態中配置於第3基板140(147、148)/340之類比電路或邏輯電路等。
4.1.3.1對第3層之電力供給之變化例 圖30係用以說明用以向第3層供給電力之構成之變化例之剖視圖。於上述圖29所示之例中,例示了於自第1基板100/300之背面側貫通至第1層與第2層之間之層間絕緣膜503之溝槽502-3內形成電源接腳403-3及電極焊墊404-3之情形。相對於此,於本變化例中,例示於自第1基板100/300之背面側到達至第2層與第3層之間之層間絕緣膜503為止之溝槽502-3a內形成電源接腳403-3及電極焊墊404-3之情形。
如圖30所示,形成於自第1基板100/300之背面側到達至第2層與第3層之間之層間絕緣膜503之溝槽502-3a內的電源焊墊404-3係與露出於溝槽502-3a之底面之配線461接觸。配線461係與TSV462連接,該TSV462貫通第2層與第3層之間之層間絕緣膜507且與形成於第3層之配線層506之配線453接觸。配線453係與設置於第3層之電路元件402電性連接。因此,自電路元件402用之未圖示之電源供給至電源接腳403-3之電力經由電源焊墊404-3、配線461、TSV462及配線453而被供給至第3層之電路元件402。
4.2第2例 4.2.1對第1層及第2層之電力供給 圖31係用以說明本實施形態之第2例之對第1層及第2層之電力供給的剖視圖。再者,於第2例中,例示了影像感測器10為背面照射型之情形。又,於第2例中,對第3層之電力供給可為與第1例中使用圖29所說明之構成相同之構成,故而此處省略詳細之說明。
如圖31所示,於用以向第2例之第1層及第2層供給電力之構成中,例如與上述內容中使用圖28所說明之構成同樣地,於自第1基板100/300之背面側(圖式中之上表面側)貫通至第1層與第2層之間之層間絕緣膜503之溝槽502-12內設置有電源接腳403-12及電源焊墊404-12。
電源焊墊404-12係與形成於第2基板120/320之背面側之配線471接觸。配線471分別連接於第1例中使用圖26所說明之TSV413、及同為第1例中使用圖27所說明之TSV422。因此,自配置於第1層之像素陣列部101等電路元件及配置於第2層之電路元件402用之未圖示之電源供給至電源接腳403-12之電力係經由電源焊墊404-12、配線471、TSV413、配線411及TSV412以及形成於第1層之配線層501之配線414而被供給至像素陣列部101等電路元件,並且經由電源焊墊404-12、配線471、TSV422及配線424被供給至第2層之電路元件401。
4.3作用、效果 根據如以上般之構成,可對第1層至第3層之各層根據成為電力之供給目標之電路元件自獨立之電源供給電力。藉此,可向各電路元件更穩定地供給電力。再者,其他構成、動作及效果可與上述實施形態相同,故而可分別省略詳細之說明。
5.向其他感測器之應用 再者,於上述實施形態中,例示了將本發明之技術應用於獲取二維圖像之固體攝像裝置(影像感測器10)之情形,但本發明之技術之應用目標並不限定於固體攝像裝置。例如,可將本發明之技術應用於ToF(Time of Flight,飛行時間)感測器、紅外線(IR)感測器或DVS(Dynamic Vision Sensor,動態視覺感測器)等各種受光感測器。即,藉由將受光感測器之晶片構造設為積層型,可實現感測結果所包含之雜訊之減少或感測器晶片之小型化等。
6.向移動體之運用例 本發明之技術(本技術)可運用於各種製品。例如,本發明之技術亦可以搭載於汽車、電動汽車、油電混合車、機車、自行車、個人行動車(personal mobility)、飛機、無人機(drone)、船舶、機器人等中之任一種移動體之裝置之形式實現。
圖32係表示作為可應用本發明之技術之移動體控制系統之一例之車輛控制系統之概略構成例的方塊圖。
車輛控制系統12000具備經由通信網路12001而連接之複數個電子控制單元。於圖32所示之例中,車輛控制系統12000具備驅動系統控制單元12010、車身系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及綜合控制單元12050。又,作為綜合控制單元12050之功能構成,圖示有微電腦12051、聲音圖像輸出部12052及車載網路I/F(Interface,介面)12053。
驅動系統控制單元12010按照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如,驅動系統控制單元12010係作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構及產生車輛之制動力之制動裝置等的控制裝置發揮功能。
車身系統控制單元12020按照各種程式控制裝配於車體之各種裝置之動作。例如,車身系統控制單元12020作為無鑰匙進入(keyless entry)系統、智慧型鑰匙(smart key)系統、電動窗(power window)裝置、或者頭燈、倒行燈(back lamp)、刹車燈、轉向燈或霧燈等各種燈的控制裝置發揮功能。於該情形時,可將自代替鑰匙之手持機發送之電波或各種開關之信號輸入至車身系統控制單元12020。車身系統控制單元12020受理該等電波或信號之輸入,而控制車輛之門鎖裝置、電動窗裝置及燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛之外部之資訊。例如,於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像,並且接收所拍攝之圖像。車外資訊檢測單元12030亦可基於接收到之圖像,進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光並輸出與該光之受光量對應之電信號之光感測器。攝像部12031既可以圖像之形式輸出電信號,亦可以測距資訊之形式輸出電信號。又,攝像部12031所接收之光既可為可見光,亦可為紅外線等不可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之攝影機,車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊,算出駕駛者之疲勞程度或專注程度,亦可辨別駕駛者是否瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040獲取之車內外之資訊,算出驅動力產生裝置、轉向機構或制動裝置之控制目標值,並將控制指令輸出至驅動系統控制單元12010。例如,微電腦12051可進行以實現包含車輛之碰撞避免或衝擊緩和、基於車間距離之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System,先進駕駛輔助系統)之功能為目的之協調控制。
又,微電腦12051可藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040獲取之車輛周圍之資訊,控制驅動力產生裝置、轉向機構或制動裝置等,而進行以不按照駕駛者之操作而是自主地行駛之自動駕駛等為目的之協調控制。
又,微電腦12051可基於由車外資訊檢測單元12030獲取之車外之資訊,將控制指令輸出至車身系統控制單元12020。例如,微電腦12051可進行根據由車外資訊檢測單元12030偵測到之先行車或對向車之位置控制頭燈而將遠光切換為近光等以謀求防眩為目的之協調控制。
聲音圖像輸出部12052將聲音及圖像中之至少一種輸出信號發送至能夠對車輛之搭乘者或車外於視覺上或聽覺上通知資訊之輸出裝置。於圖32之例中,作為輸出裝置,例示有音頻揚聲器(audiospeaker)12061、顯示部12062及儀錶面板12063。顯示部12062例如亦可包含車載顯示器(onboard display)及抬頭顯示器(head-up display)中之至少一者。
圖33係表示攝像部12031之設置位置之例之圖。
於圖33中,作為攝像部12031,具有攝像部12101、12102、12103、12104及12105。
攝像部12101、12102、12103、12104及12105例如設置於車輛12100之前保險桿、側鏡、後保險桿(rear bumper)、後門及車廂內之前窗玻璃之上部等位置。裝配於前保險桿之攝像部12101及裝配於車廂內之前窗玻璃之上部之攝像部12105主要獲取車輛12100前方之圖像。裝配於側鏡之攝像部12102、12103主要獲取車輛12100側方之圖像。裝配於後保險桿或後門之攝像部12104主要獲取車輛12100後方之圖像。裝配於車廂內之前窗玻璃之上部之攝像部12105主要用於先行車輛、步行者、障礙物、信號器、交通標識或行車線等之檢測。
再者,於圖33中表示攝像部12101至12104之拍攝範圍之一例。拍攝範圍12111表示設置於前保險桿之攝像部12101之拍攝範圍,拍攝範圍12112、12113分別表示設置於側鏡之攝像部12102、12103之拍攝範圍,拍攝範圍12114表示設置於後保險桿或後門之攝像部12104之拍攝範圍。例如,藉由將攝像部12101至12104所拍攝之圖像資料重合,可獲得自上方觀察車輛12100時之俯瞰圖像。
攝像部12101至12104中之至少一者亦可具有獲取距離資訊之功能。例如,攝像部12101至12104中之至少一者亦可為包含複數個攝像元件之立體攝影機(stereo camera),亦可為具有相位差檢測用像素之攝像元件。
例如,微電腦12051可藉由基於自攝像部12101至12104獲得之距離資訊,求出拍攝範圍12111至12114內之距各立體物之距離、及該距離之時間性變化(相對於車輛12100之相對速度),而擷取朝與車輛12100大致相同之方向以特定速度(例如,0 km/h以上)行駛之立體物、尤其是處於車輛12100之前進路徑上之最近之立體物作為先行車。進而,微電腦12051可設定於先行車之近前應預先確保之車間距離,並進行自動刹車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨發動控制)等。如此,可進行以不按照駕駛者之操作而是自主地行駛之自動駕駛等為目的之協調控制。
例如,微電腦12051可基於自攝像部12101至12104獲得之距離資訊,將關於立體物之立體物資料分類為二輪車、普通車輛、大型車輛、步行者、電線桿等其他立體物進行擷取,並用於障礙物之自動避讓。例如,微電腦12051將車輛12100周邊之障礙物識別為車輛12100之驅動器能夠視認之障礙物及難以視認之障礙物。然後,微電腦12051判斷表示與各障礙物發生碰撞之危險程度之碰撞風險,於碰撞風險為設定值以上而存在碰撞可能性之狀況時,可藉由經由音頻揚聲器12061或顯示部12062將警報輸出至驅動器、或者經由驅動系統控制單元12010進行強制減速或避讓轉向,而進行用以避免碰撞之駕駛支援。
攝像部12101至12104中之至少一者亦可為檢測紅外線之紅外線攝影機。例如,微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在步行者而識別步行者。該步行者之識別係藉由例如擷取作為紅外線攝影機之攝像部12101至12104之攝像圖像中之特徵點之程序、及對表示物體之輪廓之一連串之特徵點進行圖案匹配處理而辨別是否為步行者之程序來進行。當微電腦12051判定為攝像部12101至12104之攝像圖像中存在步行者而識別步行者時,聲音圖像輸出部12052以將用以強調之方形輪廓線重疊顯示於該識別出之步行者之方式控制顯示部12062。又,聲音圖像輸出部12052亦可以將表示步行者之圖符等顯示於所期望之位置之方式控制顯示部12062。
以上,對可應用本發明之技術之車輛控制系統之一例進行了說明。本發明之技術可應用於以上所說明之構成中之攝像部12031等。藉由將本發明之技術應用於攝像部12031等,可使攝像部12031等小型化,因此車輛12100之內裝(interior)或外裝(exterior)之設計變得容易。又,藉由將本發明之技術應用於攝像部12031等,可獲取雜訊減少所得之清晰圖像,因此可將更易於觀察之攝像圖像提供給驅動器。藉此,可減輕驅動器之疲勞。
7.向內視鏡手術系統之運用例 本發明之技術(本技術)可運用於各種製品。例如,本發明之技術亦可應用於內視鏡手術系統。
圖34係表示可應用本發明之技術(本技術)之內視鏡手術系統之概略構成之一例的圖。
於圖34中,圖示有手術者(醫生)11131使用內視鏡手術系統11000對病床11133上之患者11132進行手術之情況。如圖所示,內視鏡手術系統11000包含內視鏡11100、氣腹管11111或能量處置器具11112等其他手術器具11110、支持內視鏡11100之支持臂裝置11120、及搭載有用以進行內視鏡下手術之各種裝置之手推車11200。
內視鏡11100包含:鏡筒11101,其自前端起特定長度之區域被***至患者11132之體腔內;及攝影機頭11102,其連接於鏡筒11101之基端。於圖示之例中,圖示有構成為具有硬性鏡筒11101之所謂之硬性鏡之內視鏡11100,但內視鏡11100亦可構成為具有軟性鏡筒之所謂之軟性鏡。
於鏡筒11101之前端設置有嵌入有物鏡之開口部。於內視鏡11100連接有光源裝置11203,由該光源裝置11203產生之光藉由延設至鏡筒11101之內部之導光件而被引導至該鏡筒之前端,且經由物鏡朝向患者11132之體腔內之觀察對象照射。再者,內視鏡11100既可為直視鏡,亦可為斜視鏡或側視鏡。
於攝影機頭11102之內部設置有光學系統及攝像元件,來自觀察對象之反射光(觀察光)藉由該光學系統而被聚光至該攝像元件。藉由該攝像元件將觀察光進行光電轉換,而產生與觀察光對應之電信號、即與觀察像對應之圖像信號。該圖像信號係作為原始(RAW)資料而被發送至攝影機控制單元(CCU:Camera Control Unit)11201。
CCU11201包含CPU(Central Processing Unit,中央處理單元)或GPU(Graphics Processing Unit,圖形處理單元)等,統括地控制內視鏡11100及顯示裝置11202之動作。進而,CCU11201自攝影機頭11102接收圖像信號,並對該圖像信號實施例如顯影處理(解馬賽克處理)等用以顯示基於該圖像信號之圖像之各種圖像處理。
顯示裝置11202藉由來自CCU11201之控制,顯示基於藉由該CCU11201實施圖像處理後之圖像信號之圖像。
光源裝置11203例如包含LED(light emitting diode,發光二極體)等光源,將拍攝手術部位等時之照射光供給至內視鏡11100。
輸入裝置11204係針對內視鏡手術系統11000之輸入介面。使用者可經由輸入裝置11204對內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如,使用者輸入變更內視鏡11100之攝像條件(照射光之種類、倍率及焦點距離等)之意旨之指示等。
處置器具控制裝置11205控制用於組織之燒灼、切開或血管之封堵等之能量處置器具11112的驅動。為了使患者11132之體腔膨脹以確保內視鏡11100之視野及手術者之作業空間,氣腹裝置11206經由氣腹管11111將氣體送入至該體腔內。記錄器11207係可記錄與手術相關之各種資訊之裝置。印表機11208係能夠以文本、圖像或圖表等各種形式印刷與手術相關之各種資訊之裝置。
再者,對內視鏡11100供給拍攝手術部位時之照射光之光源裝置11203例如可包含含有LED、雷射光源或其等之組合的白色光源。於由RGB雷射光源之組合構成白色光源之情形時,可高精度地控制各顏色(各波長)之輸出強度及輸出時序,因此可於光源裝置11203中進行攝像圖像之白平衡之調整。又,於該情形時,亦可藉由分時地對觀察對象照射來自RGB雷射光源各者之雷射光,並與該照射時序同步地控制攝影機頭11102之攝像元件之驅動,而分時地拍攝對應於RGB各者之圖像。根據該方法,即便於該攝像元件未設置彩色濾光片,亦可獲得彩色圖像。
又,光源裝置11203亦可以每特定時間變更所輸出之光之強度之方式控制其驅動。與該光之強度之變更時序同步地控制攝影機頭11102之攝像元件之驅動並分時地獲取圖像,且將該圖像合成,藉此可產生不存在所謂之暗部缺失及高光溢出之高動態範圍之圖像。
又,光源裝置11203亦可構成為可供給與特殊光觀察對應之特定波長頻帶之光。於特殊光觀察中,例如進行所謂之窄頻帶光觀察(Narrow Band Imaging),即,利用身體組織中之光吸收之波長依存性,照射與通常觀察時之照射光(即,白色光)相比頻帶較窄之光,藉此以高對比度拍攝黏膜表層之血管等特定之組織。或者,於特殊光觀察中,亦可進行螢光觀察,即,利用藉由照射激發光而產生之螢光來獲得圖像。於螢光觀察中,可進行如下等,即,對身體組織照射激發光並觀察來自該身體組織之螢光(自體螢光觀察)、或者將吲哚菁綠(ICG)等試劑局部注射至身體組織並且對該身體組織照射與該試劑之螢光波長對應之激發光而獲得螢光像。光源裝置11203可構成為能夠供給對應於此種特殊光觀察之窄頻帶光及/或激發光。
圖35係表示圖34所示之攝影機頭11102及CCU11201之功能構成之一例的方塊圖。
攝影機頭11102具有透鏡單元11401、攝像部11402、驅動部11403、通信部11404及攝影機頭控制部11405。CCU11201具有通信部11411、圖像處理部11412及控制部11413。攝影機頭11102與CCU11201係藉由傳輸纜線11400而能夠相互通信地連接。
透鏡單元11401係設置於攝影機頭11102與鏡筒11101之連接部之光學系統。自鏡筒11101之前端擷取之觀察光被引導至攝影機頭11102,並入射至該透鏡單元11401。透鏡單元11401係組合包含變焦透鏡及聚焦透鏡之複數個透鏡而構成。
構成攝像部11402之攝像元件可為1個(所謂之單板式),亦可為複數個(所謂之多板式)。於攝像部11402由多板式構成之情形時,例如亦可藉由各攝像元件產生對應於RGB各者之圖像信號,藉由將其等合成而獲得彩色圖像。或者,攝像部11402亦可構成為具有用以分別獲取與3D(dimensional)顯示對應之右眼用及左眼用之圖像信號之一對攝像元件。藉由進行3D顯示,手術者11131能夠更準確地掌握手術部位之生物體組織之深度。再者,於攝像部11402由多板式構成之情形時,可對應於各攝像元件而使透鏡單元11401亦設置有複數個系統。
又,攝像部11402亦可未必設置於攝影機頭11102。例如,攝像部11402亦可於鏡筒11101之內部設置於物鏡之正後方。
驅動部11403包含致動器,藉由來自攝影機頭控制部11405之控制,使透鏡單元11401之變焦透鏡及聚焦透鏡沿著光軸移動特定之距離。藉此,可適當調整攝像部11402之攝像圖像之倍率及焦點。
通信部11404包含用以與CCU11201之間收發各種資訊之通信裝置。通信部11404將自攝像部11402獲得之圖像信號作為原始(RAW)資料經由傳輸纜線11400而發送至CCU11201。
又,通信部11404自CCU11201接收用以控制攝影機頭11102之驅動之控制信號,並供給至攝影機頭控制部11405。該控制信號例如包含指定攝像圖像之圖框率之意旨之資訊、指定攝像時之曝光值之意旨之資訊、及/或指定攝像圖像之倍率及焦點之意旨之資訊等與攝像條件相關之資訊。
再者,上述圖框率、曝光值、倍率或焦點等攝像條件既可由使用者適當指定,亦可基於所獲取之圖像信號藉由CCU11201之控制部11413而自動地設定。於後者之情形時,於內視鏡11100搭載有所謂之AE(Auto Exposure,自動曝光)功能、AF(Auto Focus,自動對焦)功能及AWB(Auto White Balance,自動白平衡)功能。
攝影機頭控制部11405基於經由通信部11404而接收之來自CCU11201之控制信號,控制攝影機頭11102之驅動。
通信部11411包含用以與攝影機頭11102之間收發各種資訊之通信裝置。通信部11411自攝影機頭11102接收經由傳輸纜線11400而發送之圖像信號。
又,通信部11411將用以控制攝影機頭11102之驅動之控制信號發送至攝影機頭11102。圖像信號或控制信號可藉由電通信或光通信等來發送。
圖像處理部11412對自攝影機頭11102發送之作為原始(RAW)資料之圖像信號實施各種圖像處理。
控制部11413進行與內視鏡11100對手術部位等之攝像、及藉由對手術部位等之攝像所獲得之攝像圖像之顯示相關的各種控制。例如,控制部11413產生用以控制攝影機頭11102之驅動之控制信號。
又,控制部11413基於藉由圖像處理部11412實施圖像處理所得之圖像信號,使顯示裝置11202顯示映現有手術部位等之攝像圖像。此時,控制部11413亦可使用各種圖像識別技術識別攝像圖像內之各種物體。例如,控制部11413可藉由檢測攝像圖像中所包含之物體之邊緣之形狀或顏色等,而識別鉗子等手術器具、特定之生物體部位、出血、能量處置器具11112之使用時之霧氣等。控制部11413亦可於使顯示裝置11202顯示攝像圖像時,使用其識別結果,將各種手術支援資訊重疊顯示於該手術部位之圖像上。藉由重疊顯示手術支援資訊並提示給手術者11131,可減輕手術者11131之負擔,或使手術者11131確實地進行手術。
連接攝影機頭11102及CCU11201之傳輸纜線11400係對應於電信號之通信之電信號纜線、對應於光通信之光纖、或其等之複合纜線。
此處,於圖示之例中,使用傳輸纜線11400以有線之形式進行通信,但攝影機頭11102與CCU11201之間之通信亦可以無線之形式進行。
以上,對可應用本發明之技術之內視鏡手術系統之一例進行了說明。本發明之技術可應用於以上所說明之構成中之例如攝影機頭11102之攝像部11402等。藉由將本發明之技術應用於攝影機頭11102,可使攝影機頭11102等小型化,因此可使內視鏡手術系統11000小型化。又,藉由將本發明之技術應用於攝影機頭11102等,可獲取雜訊減少之清晰之圖像,因此可將更易於觀察之攝像圖像提供給手術者。藉此,可減輕手術者之疲勞。
再者,此處,作為一例對內視鏡手術系統進行了說明,但本發明之技術此外亦可應用於例如顯微鏡手術系統等。
8.向WSI(Whole Slide Imaging,全切片影像)系統之運用例 本發明之技術可運用於各種製品。例如,本發明之技術亦可應用於供醫生等觀察採自患者之細胞或組織並診斷病變之病理診斷系統及其支援系統等(以下,稱為診斷支援系統)。該診斷支援系統亦可為基於利用數位病理學(digital pathology)技術所獲取之圖像來診斷病變或對其進行支援之WSI(Whole Slide Imaging,全切片影像)系統。
圖36係表示應用本發明之技術之診斷支援系統5500之概略構成之一例的圖。如圖36所示,診斷支援系統5500包含1個以上之病理系統5510。進而,亦可包含醫療資訊系統5530及導出裝置5540。
1個以上之病理系統5510分別為主要由病理學家使用之系統,例如被導入至研究所或醫院。各病理系統5510亦可導入至互不相同之醫院,且分別經由WAN(Wide Area Network,廣域網路)(包含網際網路)、LAN(Local Area Network,區域網路)、公眾網路(public network)或行動通信網路等各種網路而連接於醫療資訊系統5530及導出裝置5540。
各病理系統5510包含顯微鏡5511、伺服器5512、顯示控制裝置5513及顯示裝置5514。
顯微鏡5511具有光學顯微鏡之功能,拍攝放置於載玻片(glass-slide)之觀察對象物,獲取作為數位圖像之病理圖像。所謂觀察對象物,例如為採自患者之組織或細胞,可為器官之肉片、唾液及血液等。
伺服器5512將由顯微鏡5511獲取之病理圖像記憶並保存至未圖示之記憶部。又,伺服器5512於自顯示控制裝置5513受理瀏覽要求之情形時,自未圖示之記憶部檢索病理圖像,並將檢索出之病理圖像傳輸至顯示控制裝置5513。
顯示控制裝置5513將自使用者受理之病理圖像之瀏覽要求傳輸至伺服器5512。然後,顯示控制裝置5513使使用液晶、EL(Electro-Luminescence,電致發光)及CRT(Cathode Ray Tube,陰極射線管)等之顯示裝置5514顯示自伺服器5512受理之病理圖像。再者,顯示裝置5514可對應於4K或8K,又,並不限定於1台,亦可為複數台。
此處,於觀察對象物為器官之肉片等固形物之情形時,該觀察對象物例如可為經染色之薄切片。薄切片例如亦可藉由將自器官等檢體切下之塊狀片切成薄片來製作。又,於切薄片時,亦可利用石蠟等固定塊狀片。
於薄切片之染色時,可應用HE(Hematoxylin-Eosin,蘇木素-伊紅)染色等呈現組織形態之一般染色、或IHC(Immunohistochemistry,免疫組織化學)染色等呈現組織之免疫狀態之免疫染色等各種染色。此時,既可將1個薄切片使用複數種不同之試劑進行染色,亦可將自同一塊狀片連續地切下之2個以上之薄切片(亦稱為鄰接之薄切片)使用互不相同之試劑進行染色。
顯微鏡5511可包含用於以低解像度進行拍攝之低解像度攝像部、及用於以高解像度進行拍攝之高解像度攝像部。低解像度攝像部與高解像度攝像部既可為不同之光學系統,亦可為相同之光學系統。於為相同之光學系統之情形時,顯微鏡5511亦可根據拍攝對象變更解像度。
收容有觀察對象物之載玻片被載置於位於顯微鏡5511之視角內之載置台上。顯微鏡5511首先使用低解像度攝像部獲取視角內之整體圖像,並自所獲取之整體圖像特定出觀察對象物之區域。繼而,顯微鏡5511將觀察對象物所在之區域分割成特定尺寸之複數個分割區域,利用高解像度攝像部依序拍攝各分割區域,藉此獲取各分割區域之高解像度圖像。於作為對象之分割區域之切換中,既可使載置台移動,亦可使攝像光學系統移動,還可使其等兩者移動。又,關於各分割區域,為了防止因載玻片之非意欲之滑動而導致攝像遺漏區域之產生等,亦可於與鄰接之分割區域之間使其重複。進而,整體圖像中亦可包含用以預先將整體圖像與患者建立對應關係之識別資訊。該識別資訊例如可為字串或QR碼(Quick Response Code,快速回應碼)(註冊商標)等。
藉由顯微鏡5511所獲取之高解像度圖像被輸入至伺服器5512。伺服器5512將各高解像度圖像分割成尺寸更小之局部圖像(以下,稱為圖塊(tile)圖像)。例如,伺服器5512將1個高解像度圖像分割成縱橫10×10個之共計100個圖塊圖像。此時,若鄰接之分割區域重複,則伺服器5512亦可使用模板匹配等技術對相互鄰接之高解像度圖像實施拼接處理。於該情形時,伺服器5512亦可將藉由拼接處理而貼合之高解像度圖像整體分割而產生圖塊圖像。但,來自高解像度圖像之圖塊圖像之產生亦可於上述拼接處理之前。
又,伺服器5512可藉由將圖塊圖像進一步分割,而產生尺寸更小之圖塊圖像。此種圖塊圖像之產生可重複進行至產生被設定為最小單位之尺寸之圖塊圖像為止。
若以此方式產生最小單位之圖塊圖像,則伺服器5512對所有圖塊圖像執行藉由將鄰接之特定數量之圖塊圖像合成而產生1個圖塊圖像之圖塊合成處理。該圖塊合成處理可重複進行至最終產生1個圖塊圖像為止。藉由此種處理,而產生各層包含1個以上之圖塊圖像之稜錐構造之圖塊圖像群。於該稜錐構造中,某一層之圖塊圖像與和該層不同之層之圖塊圖像之像素數相同,但其解像度不同。例如,於將2×2個之共計4個圖塊圖像合成而產生上層之1個圖塊圖像之情形時,上層之圖塊圖像之解像度為用於合成之下層之圖塊圖像之解像度之1/2倍。
藉由構築此種稜錐構造之圖塊圖像群,而根據顯示對象之圖塊圖像所屬之層便能切換顯示裝置所顯示之觀察對象物之詳細程度。例如,可設為於使用最下層之圖塊圖像之情形時,詳細地顯示觀察對象物之較窄之區域,使用越上層之圖塊圖像,則越粗略地顯示觀察對象物之較廣之區域。
所產生之稜錐構造之圖塊圖像群例如與能夠唯一地識別各圖塊圖像之識別資訊(稱為圖塊識別資訊)一起被記憶至未圖示之記憶部。伺服器5512於自其他裝置(例如,顯示控制裝置5513或導出裝置5540)受理包含圖塊識別資訊之圖塊圖像之獲取要求之情形時,將與圖塊識別資訊對應之圖塊圖像發送至其他裝置。
再者,作為病理圖像之圖塊圖像亦可針對每個焦點距離或染色條件等攝像條件而產生。於針對每個攝像條件產生圖塊圖像之情形時,亦可與特定之病理圖像一起,並排顯示對應於與特定之攝像條件不同之攝像條件之其他病理圖像、且為與特定之病理圖像同一區域之其他病理圖像。特定之攝像條件亦可由瀏覽者指定。又,於由瀏覽者指定了複數個攝像條件之情形時,亦可並排顯示對應於各攝像條件之同一區域之病理圖像。
又,伺服器5512亦可將稜錐構造之圖塊圖像群記憶至除伺服器5512以外之其他記憶裝置、例如雲端伺服器等。進而,如以上般之圖塊圖像之生成處理之一部分或全部亦可藉由雲端伺服器等執行。
顯示控制裝置5513根據來自使用者之輸入操作自稜錐構造之圖塊圖像群擷取所需之圖塊圖像,並將其輸出至顯示裝置5514。藉由此種處理,使用者可獲得如一面改變觀察倍率,一面觀察觀察對象物般之感覺。即,顯示控制裝置5513作為假想顯微鏡發揮功能。此處之假想之觀察倍率實際上相當於解像度。
再者,高解像度圖像之攝像方法可使用各種方法。既可一面反覆進行載置台之停止、移動,一面拍攝分割區域而獲取高解像度圖像,亦可一面以特定之速度移動載置台,一面拍攝分割區域而獲取條帶(strip)上之高解像度圖像。又,根據高解像度圖像產生圖塊圖像之處理並非必需之構成,亦可藉由使利用拼接處理而貼合之高解像度圖像整體之解像度階段性地變化,而產生解像度階段性地變化之圖像。即便於該情形時,亦可將較廣區域之低解像度圖像至較窄區域之高解像度圖像階段性地提示給使用者。
醫療資訊系統5530係所謂之電子病歷(Karte)系統,記憶識別患者之資訊、患者之疾病資訊、用於診斷之檢查資訊或圖像資訊、與診斷結果、處方藥等之診斷相關之資訊。例如,可將藉由拍攝某一患者之觀察對象物所獲得之病理圖像暫時經由伺服器5512保存之後,藉由顯示控制裝置5513而顯示於顯示裝置5514。利用病理系統5510之病理學家基於顯示裝置5514所顯示之病理圖像,進行病理診斷。由病理學家得出之病理診斷結果被記憶至醫療資訊系統5530。
導出裝置5540可執行對於病理圖像之解析。該解析中可使用藉由機械學習所製成之學習模型。導出裝置5540亦可導出特定區域之分類結果或組織之識別結果等作為該解析結果。進而,導出裝置5540亦可導出細胞資訊、數量、位置、亮度資訊等識別結果或對於其等之計分(scoring)資訊等。藉由導出裝置5540所導出之該等資訊亦可作為診斷支援資訊而顯示於病理系統5510之顯示裝置5514。
再者,導出裝置5540亦可為包含1台以上之伺服器(包含雲端伺服器)等之伺服器系統。又,導出裝置5540亦可為組裝於病理系統5510內之例如顯示控制裝置5513或伺服器5512之構成。即,對於病理圖像之各種解析亦可於病理系統5510內執行。
本發明之技術可較佳地應用於以上所說明之構成中之例如顯微鏡5511。具體而言,可將本發明之技術應用於顯微鏡5511中之低解像度攝像部及/或高解像度攝像部。藉由將本發明之技術應用於低解像度攝像部及/或高解像度攝像部,可使低解像度攝像部及/或高解像度攝像部小型化、甚至使顯微鏡5511小型化。藉此,顯微鏡5511之搬運變得容易,因此可使系統導入或系統重組等容易化。進而,藉由將本發明之技術應用於低解像度攝像部及/或高解像度攝像部,而可於顯微鏡5511內快速(on the fly)地執行自病理圖像之獲取至病理圖像之解析為止之處理之一部分或全部,因此亦可實現更迅速且確實之診斷支援資訊之輸出。
再者,上述所說明之構成並不限於診斷支援系統,亦可應用於共聚聚焦顯微鏡、螢光顯微鏡或視訊顯微鏡等生物體顯微鏡全體。此處,觀察對象物亦可為培養細胞、受精卵、***等生物體試樣、細胞層片(cell sheet)、三維細胞組織等生物體材料、斑馬魚或小鼠等生物體。又,觀察對象物並不限於儲存於載玻片之狀態下觀察,亦可於儲存於孔板或培養皿等之狀態下觀察。
進而,亦可根據利用顯微鏡獲取之觀察對象物之靜態圖像產生動態圖像。例如,既可根據特定期間內連續地拍攝到之靜態圖像產生動態圖像,亦可根據隔開特定間隔拍攝到之靜態圖像產生圖像序列。如此,藉由根據靜態圖像產生動態圖像,可使用機械學習解析癌細胞、神經細胞、心肌組織或***等之跳動、伸長或遊走等活動、或培養細胞或受精卵之***過程等觀察對象物之動態特徵。
以上,對本發明之實施形態進行了說明,但本發明之技術性範圍並不限定於上述各實施形態之狀態,可於不脫離本發明之主旨之範圍內進行各種變更。又,亦可適當組合跨及不同之實施形態及變化例之構成要素。
又,本說明書中所記載之各實施形態中之效果僅為例示,而並非限定者,亦可具有其他效果。
進而,上述各實施形態既可分別單獨使用,亦可與其他實施形態組合而使用。
再者,本技術亦可取如以下般之構成。 (1) 一種積層型受光感測器,其具備: 第1基板,其形成第1層; 第2基板,其接合於上述第1基板,形成第2層; 第3基板,其接合於上述第2基板,形成第3層; 像素陣列部,其具備呈矩陣狀二維排列之複數個單位像素; 類比電路,其自上述像素陣列部讀出像素信號; 邏輯電路,其與上述類比電路連接,且輸出像素信號; 記憶體,其儲存神經網路計算模型; 處理部,其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;及 輸出部,其至少可將基於上述神經網路計算模型之處理結果輸出至外部;且 上述像素陣列部配置於上述第1層, 上述類比電路配置於上述第1層至上述第3層中之任一層以上, 上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上。 (2) 如上述(1)所記載之積層型受光感測器,其中上述邏輯電路包含規定上述複數個單位像素中之讀出列之垂直解碼器, 上述類比電路包含驅動由上述垂直解碼器規定之上述讀出列中之單位像素之垂直驅動電路。 (3) 如上述(2)所記載之積層型受光感測器,其中上述垂直驅動電路與上述垂直解碼器配置於互不相同之層。 (4) 如上述(1)~(3)所記載之積層型受光感測器,其中上述類比電路包含: 比較器,其配置於上述第2層或上述第3層;及 計數器,其配置於上述第2層或上述第3層。 (5) 如上述(4)所記載之積層型受光感測器,其中上述比較器與上述計數器配置於互不相同之層。 (6) 如上述(4)所記載之積層型受光感測器,其中上述類比電路進而包含配置於上述第2層或上述第3層之數位-類比轉換器。 (7) 如上述(6)所記載之積層型受光感測器,其中上述比較器與上述數位-類比轉換器配置於同一層。 (8) 如上述(4)~(7)所記載之積層型受光感測器,其中上述邏輯電路包含與上述計數器配置於同一層之信號處理部。 (9) 如上述(8)所記載之積層型受光感測器,其中上述邏輯電路進而包含與上述信號處理部配置於同一層之時序調整電路。 (10) 如上述(8)所記載之積層型受光感測器,其中上述處理部係與上述信號處理部配置於同一層。 (11) 如上述(1)~(9)所記載之積層型受光感測器,其中上述記憶體與上述處理部配置於同一層。 (12) 如上述(1)~(11)所記載之積層型受光感測器,其中上述類比電路連接於第1電源, 上述邏輯電路連接於第2電源。 (13) 如上述(12)所記載之積層型受光感測器,其中上述第1電源與上述第2電源為不同之電源。 (14) 如上述(1)~(13)所記載之積層型受光感測器,其進而具備配置於上述處理部與上述第1基板之間之至少一部分之電磁遮罩。 (15) 如上述(1)~(14)所記載之積層型受光感測器,其進而具備與上述第3基板分開地接合於上述第2基板且形成上述第3層之第4基板, 上述處理部配置於上述第4基板。 (16) 一種電子機器,其具備: 積層型受光感測器;及 處理器,其對自上述積層型受光感測器輸出之圖像資料執行特定之處理;且 上述積層型受光感測器具備: 第1基板,其形成第1層; 第2基板,其接合於上述第1基板,形成第2層; 第3基板,其接合於上述第2基板,形成第3層; 像素陣列部,其具備呈矩陣狀二維排列之複數個單位像素; 類比電路,其自上述像素陣列部讀出像素信號; 邏輯電路,其與上述類比電路連接,且輸出像素信號; 記憶體,其儲存神經網路計算模型; 處理部,其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;及 輸出部,其至少可將基於上述神經網路計算模型之處理結果輸出至外部;且 上述像素陣列部配置於上述第1層, 上述類比電路配置於上述第1層至上述第3層中之任一層以上, 上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上。
1:攝像裝置 10:影像感測器 11:攝像部 12:控制部 13:信號處理部 14:DSP 15:記憶體 16:選擇器 17:ADC 20:應用處理器 30:雲端伺服器 40:網路 100:第1基板 101:像素陣列部 101a:單位像素 102:TSV陣列 103:焊墊陣列 104:光學系統 105:TSV陣列 120:第2基板 122:配線 123:焊墊陣列 125:配線 126:焊墊陣列 140:第3基板 141:電磁遮罩 143:焊墊陣列 146:焊墊陣列 147:基板 148:基板 201:類比電路 202:邏輯電路 211:類比電路 211:垂直驅動電路 212:參考電壓供給部(DAC) 213:比較器 214:計數器 220:列驅動器 221:類比電路 221:時序控制電路 222:垂直解碼器 223:水平掃描電路 224:圖像信號處理部 225:I/F 226:I/F 227:I/F 228:I/F 300:第1基板 302:TSV陣列 303:焊墊陣列 305:TSV陣列 320:第2基板 322:TSV陣列 324:TSV 325:TSV陣列 326:OTP 327:TSV陣列 340:第3基板 342:TSV陣列 344:TSV 345:TSV陣列 347:TSV陣列 401:電路元件 402:電路元件 403-1:電源接腳 403-2:電源接腳 403-3:電源接腳 403-12:電源接腳 404-1:電源焊墊 404-2:電源焊墊 404-3:電源焊墊 404-12:電源焊墊 411:配線 412:TSV 413:TSV 414:配線 421:配線 422:TSV 424:配線 441:配線 442:TSV 443:配線 451:配線 452:TSV 453:配線 461:配線 462:TSV 471:配線 501:配線層 502-1:溝槽 502-2:溝槽 502-2a:溝槽 502-3:溝槽 502-3a:溝槽 502-12:溝槽 503:層間絕緣膜 505:配線層 506:配線層 507:層間絕緣膜 5510:病理系統 5511:顯微鏡 5512:伺服器 5513:顯示控制裝置 5514:顯示裝置 5530:醫療資訊系統 5540:導出裝置 11000:內視鏡手術系統 11100:內視鏡 11101:鏡筒 11102:攝影機頭 11110:手術器具 11111:氣腹管 11112:能量處置器具 11120:支持臂裝置 11131:手術者(醫生) 11132:患者 11133:病床 11200:手推車 11201:攝影機控制單元(CCU) 11202:顯示裝置 11203:光源裝置 11204:輸入裝置 11205:處置器具控制裝置 11206:氣腹裝置 11207:記錄器 11208:印表機 11400:傳輸纜線 11401:透鏡單元 11402:攝像部 11403:驅動部 11404:通信部 11405:攝影機頭控制部 11411:通信部 11412:圖像處理部 11413:控制部 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車身系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:綜合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音頻揚聲器 12062:顯示部 12063:儀錶面板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:拍攝範圍 12112:拍攝範圍 12113:拍攝範圍 12114:拍攝範圍 L101:邊 L102:邊 L103:邊 L104:邊
圖1係表示作為第1實施形態之電子機器之攝像裝置之概略構成例的方塊圖。 圖2係表示第1實施形態之影像感測器之晶片構成例之模式圖。 圖3係用以說明第1實施形態之第1分層圖(floor map)例之圖。 圖4係表示第1實施形態之第1分層圖例之第1基板之分層圖例的俯視圖。 圖5係表示第1實施形態之第1分層圖例之第2基板之分層圖例的俯視圖。 圖6係表示第1實施形態之第1分層圖例之第3基板之分層圖例的俯視圖。 圖7係用以說明第1實施形態之第2分層圖例之圖。 圖8係用以說明第1實施形態之第3分層圖例之圖。 圖9係用以說明第1實施形態之第4分層圖例之圖。 圖10係用以說明第1實施形態之第5分層圖例之圖。 圖11係用以說明第1實施形態之第6分層圖例之圖。 圖12係用以說明第1實施形態之第7分層圖例之圖。 圖13係用以說明第1實施形態之第8分層圖例之圖。 圖14係用以說明第1實施形態之第9分層圖例之圖。 圖15係表示第2實施形態之影像感測器之晶片構成例之模式圖。 圖16係表示圖1所例示之影像感測器之更詳細之構成例的方塊圖。 圖17係表示第3實施形態之第1分層圖例之第1基板之分層圖例的圖。 圖18係表示第3實施形態之第1分層圖例之第2基板之分層圖例的圖。 圖19係表示第3實施形態之第1分層圖例之第3基板之分層圖例的圖。 圖20係表示第3實施形態之第2分層圖例之第2基板之分層圖例的圖。 圖21係表示第3實施形態之第2分層圖例之第3基板之分層圖例的圖。 圖22係表示第3實施形態之第3分層圖例之第2基板之分層圖例的圖。 圖23係表示第3實施形態之第3分層圖例之第3基板之分層圖例的圖。 圖24係表示第3實施形態之第4分層圖例之第2基板之分層圖例的圖。 圖25係表示第3實施形態之第4分層圖例之第3基板之分層圖例的圖。 圖26係用以說明第4實施形態之第1例之用以向第1層供給電力之構成的剖視圖。 圖27係用以說明第4實施形態之第1例之用以向第2層供給電力之構成的剖視圖。 圖28係用以說明第4實施形態之第1例之變化例之用以向第2層供給電力之構成的剖視圖。 圖29係用以說明第4實施形態之第1例之用以向第3層供給電力之構成的剖視圖。 圖30係用以說明第4實施形態之第1例之變化例之用以向第3層供給電力之構成的剖視圖。 圖31係用以說明第4實施形態之第2例之用以向第1層及第2層供給電力之構成的剖視圖。 圖32係表示車輛控制系統之概略構成之一例之方塊圖。 圖33係表示車外資訊檢測部及攝像部之設置位置之一例之說明圖。 圖34係表示內視鏡手術系統之概略構成之一例之圖。 圖35係表示攝影機頭及CCU(Camera Control Unit,攝影機控制單元)之功能構成之一例之方塊圖。 圖36係表示診斷支援系統之概略構成之一例之方塊圖。
100:第1基板
101:像素陣列部
120:第2基板
140:第3基板
141:電磁遮罩
201:類比電路
202:邏輯電路

Claims (20)

  1. 一種積層型受光感測器,其具備:第1基板,其形成第1層;第2基板,其接合於上述第1基板,形成第2層;第3基板,其接合於上述第2基板,形成第3層;像素陣列部,其具備呈矩陣狀二維排列之複數個單位像素;類比電路,其自上述像素陣列部讀出像素信號;邏輯電路,其與上述類比電路連接,且輸出像素信號;記憶體,其儲存神經網路計算模型;處理部,其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;及輸出部,其至少可將基於上述神經網路計算模型之處理結果輸出至外部;且上述像素陣列部配置於上述第1層,上述類比電路配置於上述第1層至上述第3層中之任一層以上,上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上,其中自俯視觀察,藉由上述第1基板之第1周邊界定之第1區域、藉由上述第2基板之第2周邊界定之第2區域、及藉由上述第3基板之第3周邊界定之第3區域大致互相重疊。
  2. 如請求項1之積層型受光感測器,其中上述邏輯電路包含規定上述複 數個單位像素中之讀出列之垂直解碼器,上述類比電路包含驅動由上述垂直解碼器規定之上述讀出列中之單位像素之垂直驅動電路。
  3. 如請求項2之積層型受光感測器,其中上述垂直驅動電路與上述垂直解碼器配置於互不相同之層。
  4. 如請求項1之積層型受光感測器,其中上述類比電路包含:比較器,其配置於上述第2層或上述第3層;及計數器,其配置於上述第2層或上述第3層。
  5. 如請求項4之積層型受光感測器,其中上述比較器與上述計數器配置於互不相同之層。
  6. 如請求項4之積層型受光感測器,其中上述類比電路進而包含配置於上述第2層或上述第3層之數位-類比轉換器。
  7. 如請求項6之積層型受光感測器,其中上述比較器與上述數位-類比轉換器配置於同一層。
  8. 如請求項4之積層型受光感測器,其中上述邏輯電路包含與上述計數器配置於同一層之信號處理部。
  9. 如請求項8之積層型受光感測器,其中上述邏輯電路進而包含與上述信號處理部配置於同一層之時序調整電路。
  10. 如請求項8之積層型受光感測器,其中上述處理部係與上述信號處理部配置於同一層。
  11. 如請求項1之積層型受光感測器,其中上述記憶體與上述處理部配置於同一層。
  12. 如請求項1之積層型受光感測器,其中上述類比電路連接於第1電源,上述邏輯電路連接於第2電源。
  13. 如請求項12之積層型受光感測器,其中上述第1電源與上述第2電源為不同之電源。
  14. 如請求項1之積層型受光感測器,其進而具備與上述第3基板分開地接合於上述第2基板且形成上述第3層之第4基板,上述處理部配置於上述第4基板。
  15. 如請求項1之積層型受光感測器,其中上述類比電路設置於上述第1層。
  16. 一種積層型受光感測器,其具備:第1基板,其形成第1層;第2基板,其接合於上述第1基板,形成第2層;第3基板,其接合於上述第2基板,形成第3層;像素陣列部,其具備呈矩陣狀二維排列之複數個單位像素;類比電路,其自上述像素陣列部讀出像素信號;邏輯電路,其與上述類比電路連接,且輸出像素信號;記憶體,其儲存神經網路計算模型;處理部,其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;輸出部,其至少可將基於上述神經網路計算模型之處理結果輸出至外部;及配置於上述處理部與上述類比電路之間之至少一部分之電磁遮罩;且上述像素陣列部配置於上述第1層,上述類比電路配置於上述第1層至上述第3層中之任一層以上,上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上,其中自俯視觀察,藉由上述第1基板之第1周邊界定之第1區域、藉由上述第2基板之第2周邊界定之第2區域、及藉由上述第3基板之第3周邊界定之第3區域大致互相重疊。
  17. 如請求項16之積層型受光感測器,其中上述電磁遮罩將上述第1基板 與第1組合、第2組合、第3組合或第4組合進行遮蔽;其中上述第1組合係上述記憶體及上述處理部之組合,上述第2組合係上述記憶體、上述處理部及上述邏輯電路之組合,上述第3組合係上述記憶體、上述處理部及上述類比電路之組合,上述第4組合係上述記憶體、上述處理部、上述類比電路及上述邏輯電路之組合。
  18. 一種電子機器,其具備:積層型受光感測器;及處理器,其對自上述積層型受光感測器輸出之圖像資料執行特定之處理;且上述積層型受光感測器具備:第1基板,其形成第1層;第2基板,其接合於上述第1基板,形成第2層;第3基板,其接合於上述第2基板,形成第3層;像素陣列部,其具備呈矩陣狀二維排列之複數個單位像素;類比電路,其自上述像素陣列部讀出像素信號;邏輯電路,其與上述類比電路連接,且輸出像素信號;記憶體,其儲存神經網路計算模型;處理部,其對基於上述像素信號之資料執行基於上述神經網路計算模型之處理;及輸出部,其至少可將基於上述神經網路計算模型之處理結果輸出至外部;且上述像素陣列部配置於上述第1層, 上述類比電路配置於上述第1層至上述第3層中之任一層以上,上述邏輯電路、上述處理部及上述記憶體配置於上述第2層及上述第3層中之任一層以上,其中自俯視觀察,藉由上述第1基板之第1周邊界定之第1區域、藉由上述第2基板之第2周邊界定之第2區域、及藉由上述第3基板之第3周邊界定之第3區域大致互相重疊。
  19. 如請求項18之電子機器,其中上述邏輯電路包含規定上述複數個單位像素中之讀出列之垂直解碼器,上述類比電路包含驅動由上述垂直解碼器規定之上述讀出列中之單位像素之垂直驅動電路。
  20. 如請求項18之電子機器,其中上述類比電路連接於第1電源,上述邏輯電路連接於第2電源。
TW108138410A 2018-10-31 2019-10-24 積層型受光感測器及電子機器 TWI840429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-206014 2018-10-31
JP2018206014A JP7402606B2 (ja) 2018-10-31 2018-10-31 固体撮像装置及び電子機器

Publications (2)

Publication Number Publication Date
TW202027491A TW202027491A (zh) 2020-07-16
TWI840429B true TWI840429B (zh) 2024-05-01

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017209221A1 (ja) 2016-05-31 2017-12-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017209221A1 (ja) 2016-05-31 2017-12-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器

Similar Documents

Publication Publication Date Title
WO2020090509A1 (ja) 積層型受光センサ及び電子機器
JP7414869B2 (ja) 固体撮像装置、電子機器及び固体撮像装置の制御方法
CN112470462B (zh) 层叠式光接收传感器和电子装置
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
WO2020027233A1 (ja) 撮像装置及び車両制御システム
JP7423491B2 (ja) 固体撮像装置及び車両制御システム
WO2021075321A1 (ja) 撮像装置、電子機器及び撮像方法
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
WO2020027161A1 (ja) 積層型受光センサ及び電子機器
TWI840429B (zh) 積層型受光感測器及電子機器
TWI846718B (zh) 積層型受光感測器及電子機器
US20240121536A1 (en) Light receiving device, electronic apparatus, and light receiving method
US20240080546A1 (en) Imaging apparatus and electronic equipment
WO2020027074A1 (ja) 固体撮像装置および電子機器