TWI737592B - 影像感測器、影像處理方法及電子機器 - Google Patents

影像感測器、影像處理方法及電子機器 Download PDF

Info

Publication number
TWI737592B
TWI737592B TW105104816A TW105104816A TWI737592B TW I737592 B TWI737592 B TW I737592B TW 105104816 A TW105104816 A TW 105104816A TW 105104816 A TW105104816 A TW 105104816A TW I737592 B TWI737592 B TW I737592B
Authority
TW
Taiwan
Prior art keywords
memory
data
pixel
image sensor
control unit
Prior art date
Application number
TW105104816A
Other languages
English (en)
Other versions
TW201705754A (zh
Inventor
志田沙耶香
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201705754A publication Critical patent/TW201705754A/zh
Application granted granted Critical
Publication of TWI737592B publication Critical patent/TWI737592B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術係關於一種可抑制由影像感測器拍攝之圖像之畫質劣化之影像感測器、處理方法及電子機器。
影像感測器具有：由進行光電轉換且輸出像素信號之複數個像素排列而成之像素陣列部；與記憶自上述像素陣列部輸出之上述像素信號之記憶部。而且，影像感測器於進行用於上述像素信號讀寫之對於上述記憶部存取之期間以外之非存取期間，進行對於記憶部之虛擬資料之讀寫。本技術可應用於例如拍攝圖像之影像感測器等。

Description

影像感測器、影像處理方法及電子機器
本技術係關於一種影像感測器、處理方法及電子機器，尤其關於例如可抑制由影像感測器拍攝之圖像之畫質劣化之影像感測器、處理方法及電子機器。
近年來，提案有積層型之影像感測器(例如參照專利文獻1)。
積層型之影像感測器係積層像素陣列部、周邊電路或記憶體而構成。
此處，像素陣列部係排列有進行光電轉換、輸出像素信號之複數個像素而構成。周邊電路進行自像素陣列部輸出之像素信號之AD(Analog to Digital：類比數位)轉換等之各種信號處理。記憶體暫時記憶圖像信號之AD轉換結果。
[先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2014/007004號
於如積層型之影像感測器般之具有記憶體之影像感測器中，於進行對於用以讀寫像素信號之記憶體之存取之期間(以下、亦稱為存取期間)，比較有電流流動。
即，於存取期間，於影像感測器中，使構成向記憶體之存取 (對於記憶體之資料之讀寫)所必要之電路的例如FF(Flip-Flop：觸發器)等進行比較觸發。由於對FF之觸發，必須某種程度之消耗電流，故於存取期間，於影像感測器中，某種程度流過較大之電流。
另一方面，於存取期間以外之期間(以下、亦稱為非存取期間)中，FF(幾乎)不觸發。因此，於非存取期間中，流動於影像感測器之電流下降。
又，對於記憶體讀寫之像素信號係依存於被攝體。因此，根據被攝體，有時包含與該被攝體對應之像素信號幾乎不變動之期間。
於存取期間中，包含對於記憶體讀寫之像素信號幾乎不變動之期間([0010]L1-2)(以下、亦稱為非變動期間)時，於該非變動期間對於記憶體讀寫像素信號時，FF(幾乎)不會觸發。因此，即使於存取期間，於非變動期間，流動於影像感測器之電流亦下降。
如以上所述般，流動於影像感測器之電流變動(時而增大，時而降低)對像素信號之AD轉換之處理產生影響，成為於圖像信號之AD轉換結果中包含雜訊之原因。
若圖像信號之AD轉換結果中含有雜訊，則以影像感測器拍攝之圖像之畫質劣化。
本技術係鑑於此種狀況而完成者，係可抑制圖像之畫質劣化者。
本技術之第1影像感測器、或電子機器係如下之影像感測器或具備此種影像感測器之電子機器，該影像感測器包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫；且上述控制部於進行用於上述像素信號讀寫之對於上述記憶部存取之期間以外之 非存取期間，進行對於上述記憶部之虛擬資料之讀寫。
本技術之第1處理方法係包含如下步驟之處理方法：使影像感測器之控制部於進行用於像素信號之讀寫之對於記憶部存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫，該影像感測器包含：像素陣列部，其係由進行光電轉換且輸出上述像素信號之複數個像素排列而成；上述記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及上述控制部，其控制對於上述記憶部之上述像素信號之讀寫。
於本技術之第1影像感測器、處理方法、及電子機器中，係控制對於記憶部之像素信號之讀寫，上述記憶部記憶自進行光電轉換且輸出像素信號之複數個像素排列而成之像素陣列部輸出之上述像素信號。於進行用於上述像素信號讀寫之對於上述記憶部存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫。
本技術之第2影像感測器、或電子機器係如下之影像感測器或具備此種影像感測器之電子機器，該影像感測器包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫；且上述控制部以變動上述像素信號之方式，將上述像素信號編碼，且將編碼後之上述像素信號寫入上述記憶部。
本技術之第2處理方法係包含如下步驟之處理方法：使影像感測器之控制部以變動像素信號之方式，將上述像素信號編碼，且將編碼後之上述像素信號寫入記憶部之步驟，該影像感測器包含：像素陣列部，其係由進行光電轉換且輸出上述像素信號之複數個像素排列而成；上述記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及上述控制部，其控制對於上述記憶部之上述像素信號之讀 寫。
於本技術之第2影像感測器、處理方法、及電子機器中，係控制對於記憶部之上述像素信號之讀寫，上述記憶部記憶自進行光電轉換且輸出像素信號之複數個像素排列而成之像素陣列部輸出之上述像素信號。且於上述像素信號之讀寫中，以變動上述像素信號之方式，將上述像素信號編碼，且將編碼後之上述像素信號寫入上述記憶部。
本技術之第3影像感測器、或電子機器係如下之影像感測器或具備此種影像感測器之電子機器，該影像感測器包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其以將用於上述像素信號之讀寫之向上述記憶部之存取均一地分散之方式，控制對於上述記憶部之上述像素信號之讀寫。
本技術之第3處理方法係包含如下步驟之處理方法：使影像感測器之控制部以將用於像素信號之讀寫之向記憶部之存取均一地分散之方式，控制對於上述記憶部之上述像素信號之讀寫之步驟，該影像感測器包含包含：像素陣列部，其係由進行光電轉換且輸出上述像素信號之複數個像素排列而成；上述記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及上述控制部，其控制對於上述記憶部之上述像素信號之讀寫。
於本技術之第3影像感測器、處理方法、及電子機器中，係以將用於像素信號之讀寫之向記憶部之存取均一地分散之方式，控制對於上述記憶部之上述像素信號之讀寫，上述記憶部記憶自進行光電轉換且輸出像素信號之複數個像素排列而成之像素陣列部輸出之上述像素信號。
另，圖像感測器可為獨立之裝置，亦可為構成一個裝置之內部 區塊。
又，控制部之處理可藉由程式而執行。程式係藉由經由傳輸媒體而傳送，或記錄於記錄媒體而提供。
根據本技術，可抑制圖像畫質之劣化。
另，此處所記載之效果未必為限定者，亦可為本揭示中所記載之任一效果。
10:基板
11:像素陣列部
20:基板
21:周邊電路
30:基板
31:記憶體
40:基板
50:ADC
51:輸入輸出資料控制部
52:資料路徑
53:信號處理部
54:輸出I/F
61:暫存器
62:資料處理部
63:記憶體I/F
71:資料產生部
72:資料解碼部
73:寫入控制部
74:讀取控制部
75:記憶體控制部
81:位址產生部
82:有效產生部
83:調停部
91:位址產生部
92:就緒產生部
93:調停部
111:資料產生部
112:資料解碼部
121:資料保持部
122:解碼處理部
201:資料產生部
202:資料解碼部
221:資料保持部
222:解碼處理部
301:光學系統
302:影像感測器
303:DSP
304:訊框記憶體
305:記錄裝置
306:顯示裝置
307:電源系統
308:操作系統
309:匯流排線
401:匯流排
402:CPU
403:ROM
404:RAM
405:硬碟
406:輸出部
407:輸入部
408:通訊部
410:輸入輸出介面
411:可移除式記錄媒體
Ia:電流
Ib:電流
Ic:電流
P1:存取期間
P2:非存取期間
S11~S14:步驟
S21~S24:步驟
S51~S56:步驟
S61~S66:步驟
圖1A、B係顯示應用本技術之積層型之影像感測器之一實施形態之外觀構成例概要之立體圖。
圖2係示意性顯示於影像感測器流動之電流之例之圖。
圖3係顯示周邊電路21之第1構成例之方塊圖。
圖4A~C係說明利用周邊電路21進行之圖像資料處理之例之圖。
圖5係顯示輸入輸出資料控制部51之第1構成例之方塊圖。
圖6係說明輸入輸出資料控制部51將寫入資料寫入記憶體31之寫入處理之例之圖。
圖7係說明輸入輸出資料控制部51自記憶體31讀取讀取資料之讀取處理之例之圖。
圖8A、B係說明輸入輸出資料控制部51對於記憶體31之記憶體存取之例之圖。
圖9係顯示輸入輸出資料控制部51之第2構成例之方塊圖。
圖10A、B係說明輸入輸出資料控制部51對於記憶體31之讀寫之例之圖。
圖11係顯示輸入輸出資料控制部51之第3構成例之方塊圖。
圖12係顯示周邊電路21之第2構成例之方塊圖。
圖13係顯示輸入輸出資料控制部51之第4構成例之方塊圖。
圖14係說明輸入輸出資料控制部51將寫入資料寫入記憶體31之寫入處理之例之圖。
圖15係說明輸入輸出資料控制部51自記憶體31讀取讀取資料之讀取處理之例之圖。
圖16A、B係說明輸入輸出資料控制部51對於記憶體31之記憶體存取之例之圖。
圖17係顯示輸入輸出資料控制部51之第5構成例之方塊圖。
圖18係顯示輸入輸出資料控制部51之第6構成例之方塊圖。
圖19係顯示使用影像感測器之使用例之圖。
圖20係顯示應用影像感測器之電子機器之1者即數位相機之一實施形態之構成例之方塊圖。
圖21係顯示應用本技術之電腦之一實施形態之構成例之方塊圖。
<應用本技術之影像感測器之實施形態>
圖1係顯示應用本技術之積層型之影像感測器之一實施形態之外觀構成例之概要之立體圖。
即，圖1之A係顯示積層型之影像感測器之第1構成例之圖。
於圖1之A中，影像感測器係例如CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)，成為3層結構。即，影像感測器係(半導體)基板10、20及30自上依序積層而構成。
於基板10上構成像素陣列部11。像素陣列部11係由進行光電轉換並輸出像素信號之複數個像素(未圖示)排列為例如矩陣狀而構成。
於基板20上構成周邊電路21。周邊電路21進行自像素陣列部11 輸出之像素信號之AD轉換等之各種信號處理。
於基板30上構成記憶體31。記憶體31作為將自像素陣列部11輸出之像素信號之AD轉換結果即像素資料暫時記憶之記憶部而發揮功能。
圖1之B係顯示積層型之像素陣列部之第2構成例之圖。
另，於圖1之B中，對與圖1之A之情形對應之部分標註相同之符號，於以下，適當省略其說明。
圖1之B之影像感測器於具有基板10之點與圖1之A之情形共通。但，圖1之B之影像感測器於代替基板20及30而設置基板40之點與圖1之A之情形不同。
於圖1之B中，影像感測器成為2層結構。即，影像感測器係基板10及40自上依序積層而構成。
於基板40上構成周邊電路21與記憶體31。
圖2係示意性顯示於影像感測器中流動之電流之例之圖。
於圖2中，電流Ia係顯示對於記憶體31進行通常之記憶體存取時，於影像感測器流動之電流。
於通常之記憶體存取中，自(水平)行之開始時序，即，自水平同步信號之開始時序之後立即將自像素陣列部11輸出之像素信號進行AD轉換而獲得之像素資料連續寫入至記憶體31。然後，例如，若將1訊框量之像素資料寫入至記憶體31，則自記憶體31連續進行寫入至該處之1訊框量之像素資料之讀取。
此處，可以比1行之期間更高速地進行對於記憶體31之例如1行量之像素資料之寫入或讀取。
因此，於通常之記憶體存取中，1行之期間係分割為以下期間：存取期間P1，其進行用於讀寫像素資料之對記憶體31之存取；及存取期間P1以外之非存取期間P2。
於存取期間P1中，於影像感測器流過某種程度之較大電流。
於存取期間P1中，於影像感測器中，使構成對於記憶體31之存取(對於記憶體31之資料之讀寫)為必要之電路之例如FF等進行比較觸發。於FF之觸發中，由於需要某種程度之消耗電流，故於存取期間P1中，於影像感測器流動某種程度之較大電流。
另一方面，於非存取期間P2中，FF(幾乎)不會觸發。因此，於剛自存取期間P1移行至非存取期間P2之後，流動於影像感測器之電流立即急遽下降。
如以上所述般，於影像感測器流動之電流係如作為電流Ia所示般，於存取期間P1與非存取期間P2較大地變動。
若於影像感測器流動之電流變動，則由於該電流變動，使像素信號之AD轉換產生誤差，且使以影像感測器拍攝之攝影圖像之畫質劣化。
於圖2中，電流Ib係顯示於某存取期間P1中於影像感測器流動之電流。
由於像素資料係依存於被攝體，故根據被攝體，會有產生像素資料變動之期間、與(幾乎)不變動之期間之情況。
於存取期間P1之中之像素資料變動之期間中，由於FF觸發，故於影像感測器，流動某種程度之較大電流。
另一方面，於存取期間P1中之像素資料不變動之期間中，由於FF(幾乎)不觸發，故於影像感測器流動之電流下降。
如以上所述般，於影像感測器流動之電流如作為電流Ib所示般，即使於存取期間P1，亦有較大變動之情況。
如上所述般，若於影像感測器流動之電流變動，則因該電流之變動，使像素信號之AD轉換產生誤差，使以影像感測器拍攝之攝影圖像之畫質劣化。
於圖2中，電流Ic顯示關於對於記憶體31之記憶體存取，於影像感測器流動之理想電流。
關於對於記憶體31之記憶體存取，於影像感測器流動之電流較佳為如作為電流Ic所示般，儘量不變動(變動量較小)。
藉由將於影像感測器流動之電流如電流Ic般，設為儘量不變動，可抑制因於像素信號之AD轉換產生誤差所引起之以影像感測器拍攝之攝影圖像之畫質劣化。
<周邊電路21之第1構成例>
圖3係顯示周邊電路21之第1構成例之方塊圖。
周邊電路21具有複數個ADC(AD Converter：類比數位轉換器)50、輸入輸出資料控制部51、資料路徑52、信號處理部53、及輸出I/F(Interface：介面)54。
ADC50係設為例如與構成像素陣列部11之像素之行數為相同數，且並行地進行將排列為1行(line)之像素各者所輸出之像素信號之AD轉換的行並行AD轉換。ADC50進行類比信號即像素信號之行並行AD轉換，將藉此獲得之每一行之數位信號之像素資料供給至輸入輸出資料控制部51。
輸入輸出資料控制部51進行自ADC供給之像素資料之對於記憶體31之讀寫之控制、或像素資料向資料路徑52之輸出之控制。
輸入輸出資料控制部51包含暫存器61、資料處理部62、及記憶體I/F63。
於暫存器61，用以控制輸入輸出資料控制部51所進行之處理之資訊係根據來自未圖示之外部機器之指示而設定(記憶)。輸入輸出資料控制部51根據設定於暫存器61之資訊而進行各種處理。
資料處理部62將自ADC50供給之像素資料直接輸出至資料路徑52。
又，資料處理部62對自ADC50供給之像素資料實施必要之處理，並經由記憶體I/F63而寫入至記憶體31。
進而，資料處理部62係自記憶體31，經由記憶體I/F63，讀取寫入於記憶體31之圖像資料，並實施必要之處理，輸出至資料路徑52。
另，於資料處理部62中，藉由於暫存器61設定資訊，可選擇將自ADC50供給之像素資料直接輸出至資料路徑52，或寫入至記憶體31。
於資料處理部62，對自ADC50供給之像素資料實施之處理亦同樣，可藉由於暫存器61設定資訊而選擇。
記憶體I/F63係作為控制對於記憶體31之像素資料之讀寫之I/F而發揮功能。
資料路徑52係以作為將輸入輸出資料控制部51輸出之像素資料供給至信號處理部53之路徑之信號線而構成。
信號處理部53對自資料路徑52供給之像素資料，根據必要實施例如黑色位準之調整、或解馬賽克、白平衡之調整、除去雜音、顯影等之信號處理，且供給至輸出I/F54。
輸出I/F54係作為將自信號處理部53供給之像素資料輸出至影像感測器之外部之I/F而發揮功能。
圖4係說明利用圖3之周邊電路21進行圖像資料之處理之例之圖。
另，於圖4中，橫軸表示時間，縱軸表示構成像素陣列部11之像素之行。
圖4之A係顯示於暫時將來自ADC50之像素資料寫入至記憶體31之後，輸出至(影像感測器之)外部之情形之像素資料之處理。
例如，於像素陣列部11中，於1訊框之期間之開端，進行光電 轉換。藉由該光電轉換所得之1訊框量之像素信號係以ADC50予以AD轉換為像素資料。
於圖4之A中，藉由於ADC50之每1行之AD轉換獲得之1訊框量之像素資料係如線段11所示般，自輸入輸出控制部51寫入至記憶體31。以線段L11所示之對於記憶體31之像素資料之寫入之速率(寫入速率)係依存於例如自ADC50將像素資料供給至輸入輸出控制部51時之速率。
又，於圖4之A中，寫入至記憶體31之1訊框量之像素資料係如線段L12所示般，自記憶體31於輸入輸出資料控制部51讀取，經由資料路徑52及信號處理部53，供給至輸出I/F54。以線段L12所示之自記憶體31向輸出I/F54之像素資料之讀取之速率(讀取速率)係依存於例如自信號處理部53將像素資料供給至輸出I/F54時之速率。
如圖4之A般，暫時將來自ADC50之像素資料寫入至記憶體31後，輸出至外部之情形時，可抑制起因於所謂焦面快門(focal-plane shutter)而於以影像感測器拍攝之攝影圖像產生之失真。
圖4之B顯示不將來自ADC50之像素資料寫入至記憶體31而直接輸出至外部之情形之像素資料之處理。
於圖4之B中，將藉由於ADC50之每1行之AD轉換所得之1訊框量之像素資料如以線段L13所示般，自輸入輸出控制部51，經由資料路徑52及信號處理部53，供給至輸出I/F54。以線段L13所示之自記憶體31向輸出I/F54之像素資料之讀取之讀取速率係與例如線段L12之情形相同，依存於自信號處理部53將像素資料供給至輸出I/F54時之速率。
圖4之C顯示暫時將來自ADC50之1訊框量之像素資料寫入至記憶體31之後，輸出至外部，且不將來自ADC50之其他之1訊框量之像素資料寫入至記憶體31，而直接輸出至外部之情形之像素資料之 處理。
例如，如圖4之A說明般，於像素陣列部11中，於1訊框之期間之開端進行光電轉換(第1次之光電轉換)。藉由該光電轉換而獲得之1訊框量之像素信號係以ADC50於每1行AD轉換為像素資料。
於圖4之C中，與圖4之A相同，將藉由於ADC50之AD轉換獲得之1訊框量之像素資料如線段L11所示般，自輸入輸出資料控制部51寫入至記憶體31。
進而，於圖4之C中，與圖4之A相同，將寫入至記憶體31之1訊框量之像素資料如以線段L12所示般，自記憶體31於輸入輸出資料控制部51讀取，經由資料路徑52及信號處理部53，供給至輸出I/F54。
另一方面，藉由於1訊框之期間之開端之光電轉換所得之1訊框量之像素資料係如以線段L11所示般，於寫入至記憶體31後，於圖4之C中，像素陣列部11進行第2次之光電轉換。藉由第2次之光電轉換所得之第2次之1訊框量之像素信號係以ADC50，於每一行，AD轉換為像素資料。
然後，於圖4之C中，藉由於ADC50之AD轉換所得之第2次之1訊框量之像素資料如以線段L14所示般，自輸入輸出資料控制部51，經由資料路徑52及信號處理部53，供給至輸出I/F54。以線段L14所示之自記憶體31向輸出I/F54之像素資料之讀取之讀取速率係例如與線段L12之情形相同，依存於自信號處理部53將像素資料供給至輸出I/F54時之速率。
於圖4之C中，於1訊框之期間，可獲得例如曝光時間不同之複數訊框量之像素資料，且可將該複數訊框量之像素資料根據必要而合成，產生高畫質之圖像。
另，雖然成為對於記憶體31之讀寫之對象之像素資料係例如顯 示於畫面之所謂有效像素之像素資料，但於以下未特別言及。
<輸入輸出資料控制部51之第1構成例>
圖5係顯示圖3之輸入輸出資料控制部51之第1構成例之方塊圖。
於圖5中，輸入輸出資料控制部51之資料處理部62具有資料產生部71、及資料解碼部72。
又，輸入輸出資料控制部51之記憶體I/F63具有寫入控制部73、讀取控制部74、及記憶體控制部75。
自ADC50將像素資料供給至資料產生部71。
資料產生部71於在暫存器61設定將像素資料寫入至記憶體31之情形時，若自ADC50供給像素資料，則將來自該ADC50之像素資料經由寫入控制部73，供給至記憶體控制部75而寫入記憶體31。
又，資料產生部71於自將某1行之像素資料寫入至記憶體31後，至自ADC50供給下1行之像素資料為止之期間，將虛擬之資料寫入至記憶體31。即，資料產生部71產生虛擬之資料，經由寫入控制部73，供給至記憶體控制部75而寫入至記憶體31。
如以圖3所說明般，自ADC50，於每一行供給像素資料。因此，資料產生部71將來自ADC50之1行之像素資料供給至記憶體控制部75後，至下1行之像素資料自ADC50供給為止之期間，將虛擬之資料供給至記憶體控制部75。
其結果，將1行之像素資料寫入至記憶體31，其後，重複將虛擬之資料寫入。
自記憶體控制部75，經由讀取控制部74，將自記憶體31讀取之資料供給至資料解碼部72。
如上述般，由於在記憶體31中，重複進行寫入1行之像素資料及其後寫入虛擬資料，故自記憶體31讀取之資料成為1行之像素資 料、與其後接著之虛擬資料交替重複之交替資料。
資料解碼部72係藉由自交替資料刪除虛擬資料，而將交替資料解碼為原本之像素資料，且輸出至資料路徑52。
如以上般，於資料產生部71中，將1行之像素資料與虛擬之資料交替供給至記憶體控制部75之結果，於進行用於像素資料之讀寫之對於記憶體31存取之存取期間以外之非存取期間中，進行對於記憶體31之虛擬資料之讀寫。
寫入控制部73藉由產生對於記憶體31進行寫入所必要之信號，而控制對於記憶體31之寫入。
寫入控制部73具有位址產生部81、及有效(Valid)產生部82。
位址產生部81係與同步信號同步，產生寫入資料之記憶體31之寫入位址，且供給至記憶體控制部75。
有效產生部82係與同步信號同步，產生使對於向記憶體31之寫入有效之有效信號(以下，亦稱為寫入有效信號)，經由記憶體控制部75而供給至記憶體31。
記憶體31於寫入之準備完成之情形時，對於寫入有效信號，輸出表示寫入之準備完成之就緒信號(以下，亦稱為寫入就緒信號)。記憶體31輸出之寫入就緒信號係經由記憶體控制部75而供給至有效產生部82。
若有效產生部82對於寫入有效信號，接收寫入就緒信號，則寫入控制部73將自資料產生部71供給之資料(像素資料或虛擬資料)供給至記憶體控制部75，且寫入至來自位址產生部81之記憶體31之寫入位址。
讀取控制部74藉由產生進行自記憶體31之讀取必要之信號，控制自記憶體31之讀取。
讀取控制部74具有位址產生部91、及就緒產生部92。
位址產生部91係與同步信號同步，產生自記憶體31讀取資料之讀取位址，且供給至記憶體控制部75。
就緒產生部92係與同步信號同步，產生表示自記憶體31之讀取準備已完成之就緒信號(以下，亦稱為讀取就緒信號)，且經由記憶體控制部75，供給至記憶體31。
記憶體31係於資料之讀取為有效(可能)之情形時，對於讀取就緒信號，輸出表示資料之讀取有效之有效信號(以下，亦稱為讀取有效信號)。記憶體31輸出之讀取有效信號係經由記憶體控制部75，供給至就緒產生部92。
若就緒產生部92對於讀取就緒信號，接收讀取有效信號，則讀取控制部74將自位址產生部91產生之記憶體31之讀取位址讀取之資料(像素資料或虛擬資料)，經由記憶體控制部75而接收，且供給至資料解碼部72。
記憶體控制部75進行於寫入控制部73與記憶體31之間之寫入位址、就緒信號、有效信號、及寫入至寫入位址之對象之寫入資料之交換之橋接。又，記憶體控制部75進行於讀取控制部74與記憶體31之間之讀取位址、就緒信號、有效信號、及自讀取位址讀取之讀取資料之交換之橋接。
<寫入處理>
圖6係說明圖5之輸入輸出資料控制部51將寫入資料寫入至記憶體31之寫入處理之例之圖。
於步驟S11中，位址產生部81產生寫入位址，且經由記憶體控制部75而供給至記憶體31。
於步驟S12中，有效產生部82產生有效信號，且經由記憶體控制部75而供給至記憶體31。
記憶體31於寫入之準備完成之情形時，於步驟S13中，對於來 自有效產生部82之有效信號，輸出就緒信號。該就緒信號係經由記憶體控制部75，供給至有效產生部82。
若有效產生部82對於步驟S12產生之有效信號，接收就緒信號，則寫入控制部73將自資料產生部71供給之寫入於記憶體31之對象之寫入資料，經由記憶體控制部75而供給至記憶體31。
藉此，於記憶體31中，於步驟S14中，寫入資料係寫入至來自位址產生部81之寫入位址。
<讀取處理>
圖7係說明圖5之輸入輸出資料控制部51自記憶體31讀取讀取資料之讀取處理之例之圖。
於步驟S21中，位址產生部91產生讀取位址，且經由記憶體控制部75而供給至記憶體31。
於步驟S22中，就緒產生部92產生就緒信號，且經由記憶體控制部75而供給至記憶體31。
記憶體31於資料之讀取為有效(可能)之情形時，於步驟S23中，對於來自就緒產生部92之就緒信號，輸出有效信號。該有效信號係經由記憶體控制部75，供給至就緒產生部92。
記憶體31係於有效信號之輸出後，於步驟S24中，自來自位址產生部91之讀取位址，讀取資料，且經由記憶體控制部75而供給至讀取控制部74。
若就緒產生部92對於步驟S22產生之就緒信號，接收有效信號，則讀取控制部74於此時，將自記憶體31經由記憶體控制部75而供給之資料作為讀取資料而接收，且供給至資料解碼部72。
<輸入輸出資料控制部51對於記憶體31之記憶體存取>
圖8係說明圖5之輸入輸出資料控制部51對於記憶體31之記憶體存取之例之圖。
圖8之A係顯示不對於記憶體31進行虛擬資料之讀寫之通常之記憶體存取、與進行該通常之記憶體存取之情形之於影像感測器流動之電流。
於通常之記憶體存取中，如以圖2說明般，1行之期間係分為以下期間：存取期間P1，其進行用於讀寫像素資料之對記憶體31之存取；與存取期間P1以外之非存取期間P2。
然後，於存取期間P1與非存取期間P2中，於影像感測器流動之電流大幅變動。即，於存取期間P1中，於影像感測器流動某種程度之較大電流，於非存取期間P2中，於影像感測器流動之電流下降。
若於影像感測器流動之電流變動，則由於該電流之變動，使ADC50之AD轉換產生誤差，使以影像感測器拍攝之攝影圖像之畫質劣化。
圖8之B係顯示對於記憶體31進行虛擬資料之讀寫之記憶體存取(以下，亦稱為附有虛擬存取之記憶體存取)、與進行該附有虛擬存取之記憶體存取之情形之於影像感測器流動之電流。
於附有虛擬存取之記憶體存取中，於存取期間P1中，進行像素資料之讀寫，於非存取期間P2中，進行虛擬資料之讀寫。
其結果，於存取期間P1及非存取期間P2之任一期間，於影像感測器亦流動有某種程度之電流，於存取期間P1與非存取期間P2中，於影像感測器流動之電流(幾乎)不變動。
因此，可抑制起因於影像感測器流動之電流變動而使ADC50之AD轉換產生誤差，進而可抑制以影像感測器拍攝之攝影圖像之畫質劣化。
另，於圖5之輸入資料控制部51中，於進行通常之記憶體存取之情形時，位址產生部81、有效產生部82、位址產生部91、就緒產生部92、及記憶體控制部75係具有記憶體31之圖1之影像感測器所 必須之電路。
又，對圖1之影像感測器，於積層具有像素陣列部11之基板10之前，為了進行周邊電路21及記憶體31之評估，有時將成為像素資料之代替品之產生圖案之圖案發生器搭載於周邊電路21。
該情形時，作為產生虛擬資料之資料產生部71，可利用圖案發生器。
自以上，於圖5之輸入資料控制部51中，於進行通常之記憶體存取之情形時，不論是否進行附有虛擬存取之記憶體存取，均將位址產生部81、有效產生部82、位址產生部91、就緒產生部92、記憶體控制部75、及圖案發生器即資料產生部71設於影像感測器。
因此，進行附有虛擬存取之記憶體存取之輸入輸出資料控制部51可藉由將資料解碼部72追加於進行通常之記憶體存取之情形之影像感測器之構成而實現。
即，附有虛擬存取之記憶體存取於不太增大影像感測器之規模下即可實現。
另，於附有虛擬存取之記憶體存取中，雖如上述般，可抑制攝影圖像之畫質劣化，但於在非存取期間P2中，流動與存取期間P1相同程度之電流之方面，較通常之記憶體存取之情形更增加消耗電流。
攝影圖像之畫質劣化之抑制、與消耗電力之增加係處於折衝關係，可由使用者決定使何者優先。
即，是否進行附有虛擬存取之記憶體存取可藉由於暫存器61設定資訊而指定。
於影像感測器中，按照設定於暫存器61之資訊，進行附有虛擬存取之記憶體存取、或通常之記憶體存取。
<輸入輸出資料控制部51之第2構成例>
圖9係顯示圖3之輸入輸出資料控制部51之第2構成例之方塊圖。
另，圖中，對與圖5之情形對應之部分，標註相同之符號，且於以下適當省略其說明。
於圖9中，輸入輸出資料控制部51於記憶體I/F63具有寫入控制部73、讀取控制部74、及記憶體控制部75之方面與圖5之情形共通。
但，於圖9中，輸入輸出資料控制部51於資料處理部62分別具有資料產生部111及資料解碼部112代替資料產生部71及資料解碼部72之方面與圖5之情形不同。
自ADC50將像素資料供給至資料產生部111。
資料產生部111將來自ADC50之複數個像素資料即1群之像素資料(一群像素之像素資料)，以作為該1群之像素資料之各像素資料變動(成為資料)之方式編碼。
此處，作為1群之像素資料，可採用例如自ADC50一次供給之像素資料。ADC50係例如以圖3所說明般，於進行行並行AD轉換之情形時，自ADC50將例如1行之像素資料一次供給。因此，於本實施形態中，作為1群之像素資料，採用1行之像素資料。
但，1群之像素資料並非限定於1行之像素資料者。
於資料產生部111中，作為將1行之像素資料以使該1行之像素資料變動之方式編碼之方法，可採用例如將像素資料、與特定之圖案之互斥邏輯和進行運算之方法。
另，若將1像素之像素資料設為N位元，則於資料產生部111中，可交替產生例如N位元為0之圖案、與N位元為1之圖案。
然後，於資料產生部111中，可交替使用N位元為0之圖案、與N位元為1之圖案，依序運算與1行之像素資料之互斥邏輯和，藉此 以使1行之各像素資料變動之方式，進行像素資料之編碼。
1行之像素資料之變動程度(變動率)可藉由運算與像素資料之互斥邏輯和之圖案而調整。
又，運算與像素資料之互斥邏輯和之圖案(以下，亦可稱為編碼用圖案)之系列並非限定於如上述之將N位元為0之圖案、與N位元為1之圖案交替重複之系列者。
即，作為編碼用圖案之系列，可採用任意之N位元之圖案之任意圖案數之系列。
於本實施形態中，於資料產生部111中，對於例如作為1群之像素資料之1行之像素資料，產生與該像素資料之數(1行之像素數)相同之圖案數之圖案之系列作為編碼用圖案之系列。
該情形時，對於各行之像素資料之編碼用圖案之系列為相同。
另，構成編碼用圖案之系列之編碼用圖案之圖案數、或將編碼用圖案設置為何種位元圖案，可藉由例如設定於暫存器61之資訊而指定。
又，於資料產生部111中，作為將像素資料編碼之方法，除了運算互斥邏輯和之方法以外，亦可採用以變動1行之像素資料之方式，將該1行之像素資料編碼之任意方法。
資料產生部111藉由將像素資料及與編碼用圖案之互斥邏輯和進行運算之編碼而獲得之編碼資料(編碼後之像素資料)，經由寫入控制部73，供給至記憶體控制部75而寫入至記憶體31。
對資料解碼部112，自記憶體控制部75，經由讀取控制部74，供給自記憶體31讀取之編碼資料。
資料解碼部112將編碼資料解碼為原本之像素資料，且輸出至資料路徑52。
即，資料解碼部112產生與資料產生部111所產生者相同之編碼 用圖案，且將該編碼用圖案及與編碼資料之互斥邏輯和進行運算，藉此，將編碼資料解碼為原本之像素資料。
此處，關於對藉由運算與編碼用圖案之互斥邏輯和而編碼之像素資料，再次運算與相同之編碼用圖案之互斥邏輯和，藉此可解碼為原本之像素資料，係例如記載於日本特開平08-307411號公報。
<輸入輸出資料控制部51對於記憶體31之讀寫>
圖10係說明圖9之輸入輸出資料控制部51對於記憶體31之讀寫之例之圖。
圖10之A係顯示未進行編碼之像素資料(以下，亦稱為非編碼資料)、與將非編碼資料讀寫至記憶體31之情形之於影像感測器流動之電流。
由於非編碼資料，即未進行編碼之像素資料係如以圖2說明般，依存於被攝體，故根據被攝體而定，有時產生像素資料比較地變動之期間、與(幾乎)不變動之期間。
然後，於非編碼資料變動之期間、與不變動之期間中，於影像感測器流動之電流較大地變動。即，於非編碼資料變動之期間中，於影像感測器中流動某種程度之較大電流，於不變動之期間中，於影像感測器流動之電流下降。
若於影像感測器流動之電流變動，則由於該電流之變動，使於ADC50之AD轉換產生誤差，使以影像感測器拍攝之攝影圖像之畫質劣化。
圖10之B係顯示編碼資料、與將編碼資料讀寫至記憶體31之情形之於影像感測器流動之電流。
於資料產生部111中，如以圖9說明般，產生編碼用圖案，且將來自ADC50之像素資料、及與編碼用圖案之互斥邏輯和進行運算，藉此將像素資料編碼為值變動之編碼資料。
因此，編碼資料係如圖10之B所示般，時常變動，不存在如非編碼資料般不變動之期間。
因此，根據被攝體而定，可抑制起因於影像感測器流動之電流變動而於ADC50之AD轉換產生誤差，進而，可抑制以影像感測器拍攝之攝影圖像之畫質劣化。
另，於圖9之輸入資料控制部51中，於進行非編碼資料之讀寫之情形時，位址產生部81、有效產生部82、位址產生部91、就緒產生部92、及記憶體控制部75為具有記憶體31之圖1之影像感測器所必須之電路。
又，關於圖1之影像感測器，於積層具有像素陣列部11之基板10之前，為了進行周邊電路21及記憶體31之評估，而有將成為像素資料之代替品之產生圖案之圖案發生器搭載於周邊電路21之情況。
該情形時，作為產生編碼用圖案之資料產生部111，可利用圖案發生器。
由以上，於圖9之輸入資料控制部51中，於進行非編碼資料之讀寫之情形時，不論是否進行編碼資料之讀寫，均將位址產生部81、有效產生部82、位址產生部91、就緒產生部92、記憶體控制部75、及圖案發生器即資料產生部111設於影像感測器。
因此，進行編碼資料之讀寫之輸入輸出資料控制部51可藉由將資料解碼部112追加於進行非編碼資料之讀寫之情形之影像感測器之構成而實現。
即，編碼資料之讀寫於不太增大影像感測器之規模下即可實現。
另，於編碼資料之讀寫中，雖然如上述般，可抑制攝圖像之畫質劣化，但較非編碼資料之讀寫之情形更增加消耗電流。
攝影圖像之畫質劣化之抑制、與消耗電力之增加處於折衝關 係，可由使用者決定使何者優先。
即，是否進行編碼資料之讀寫可藉由將資訊設定於暫存器61而指定。
於影像感測器中，按照設定於暫存器61之資訊，進行非編碼資料之讀寫、或編碼資料之讀寫。
<輸入輸出資料控制部51之第3構成例>
圖11係顯示圖3之輸入輸出資料控制部51之第3構成例之方塊圖。
另，圖中，對與圖9之情形相應之部分標註相同之符號，且於以下適當省略其說明。
於圖11中，輸入輸出資料控制部51於資料處理部62具有資料產生部111，且記憶體I/F63具有寫入控制部73、讀取控制部74、及記憶體控制部75之方面，與圖9之情形共通。
但，於圖11中，輸入輸出資料控制部51於資料處理部62具有資料保持部121及解碼處理部122代替資料解碼部112之方面，與圖9之情形不同。
對資料保持部121供給資料產生部111產生之編碼用圖案。
資料保持部121保持(記憶)自資料產生部111供給之編碼用圖案。
解碼處理部122將記憶於資料保持部121之編碼用圖案、及與自記憶體31讀取之編碼資料之互斥邏輯和進行運算，藉此將編碼資料解碼為原本之像素資料，且輸出至資料路徑53。因此，解碼處理部122於不產生編碼用圖案之方面，與產生編碼用圖案之圖9之資料解碼部112不同。
於如以上般構成之輸入輸出資料控制部51中，將例如自ADC50供給之某一行L之各像素資料之編碼、與自記憶體31讀取之其他之 行L'之各像素資料之解碼同步進行。
如以圖9說明般，於本實施形態中，由於對於各行之像素資料之編碼用圖案之系列為相同，故於將行L之各像素資料之編碼、與行L'之各像素資料之解碼同步進行之情形時，於編碼與解碼所使用之編碼用圖案於位元單位一致。
因此，於圖11之輸入輸出資料控制部51中，藉由將資料產生部111產生之編碼用圖案以1位元單位依序保持於資料保持部121，且將保持於資料保持部121之1位元、及與自記憶體31讀取之編碼資料之1位元之互斥邏輯和進行運算，藉此可將編碼資料解碼為原本之像素資料。
該情形時，資料保持部121可以例如1位元之FF構成。又，對解碼處理部122，不必如圖9之資料解碼部112般，具備產生與資料產生部111所產生者相同之編碼用圖案之功能。
因此，資料保持部121及解碼處理部122構成為比圖9之資料解碼部112小型，可有助於影像感測器之小型化。
<周邊電路21之第2構成例>
圖12係顯示圖1之周邊電路21之第2構成例之方塊圖。
另，圖中，對與圖3之情形相應之部分，標註相同之符號，且於以下適當省略其說明。
於圖12中，周邊電路21於具有ADC50、輸入輸出資料控制部51、資料路徑52、信號處理部53、及輸出I/F54之方面，與圖3之情形共通。
但，圖12之周邊電路21於輸入輸出資料控制部61不具有資料處理部62之方面，與圖3之情形不同。
<輸入輸出資料控制部51之第4構成例>
圖13係顯示圖12之輸入輸出資料控制部51之構成例之方塊圖。
即，圖13係顯示輸入輸出資料控制部51之第4構成例之方塊圖。
另，圖中，對與圖5之情形相應之部分，標註相同之符號，且於以下適當省略其說明。
於圖13中，輸入輸出資料控制部51於記憶體I/F63具有寫入控制部73、讀取控制部74、及記憶體控制部75之方面，與圖5之情形共通。
但，於圖13中，於輸入輸出資料控制部51不具有資料處理部62、即不具有資料產生部71及資料解碼部72之方面，與圖5之情形不同。
進而，於圖13中，於寫入控制部73具有調停部83，且讀取控制部74具有調停部93之方面，與圖5之情形不同。
對調停部83，自有效產生部82供給有效信號，且自記憶體31經由記憶體控制部75，供給就緒信號。
調停部83將來自有效產生部82之有效信號根據必要予以延遲，經由記憶體控制部75，供給至記憶體31。又，調整部83將來自記憶體31之就緒信號根據必要予以延遲，且供給至有效產生部82。
調停部83係如以上般，將有效信號或就緒信號延遲，藉此將用以將像素資料寫入至記憶體31之記憶體存取調停，藉此，控制該記憶體存取之時序。
對調停部93，自就緒產生部92供給就緒信號，且自記憶體31經由記憶體控制部75而供給有效信號。
調停部93將來自就緒產生部92之就緒信號根據必要予以延遲，且經由記憶體控制部75供給至記憶體31。又，調整部93將來自記憶體31之有效信號根據必要予以延遲，且供給至就緒產生部92。
調停部93係如以上所述般，藉由延遲就緒信號或有效信號，將 用以自記憶體31讀取像素資料之記憶體存取進行調停，藉此，控制該記憶體存取之時序。
調停部83及93以將用以進行像素資料之讀寫之對於記憶體31之記憶體存取均一地分散之方式，進行記憶體存取之調停。
另，對記憶體存取之調停可採用例如日本特開2012-103763號公報所記載之控制傳送效率之頻帶限制濾波器之技術。
<寫入處理>
圖14係說明圖13之輸入輸出資料控制部51將寫入資料寫入至記憶體31之寫入處理之例之圖。
於步驟S51中，位址產生部81產生寫入位址，且經由記憶體控制部75供給至記憶體31。
於步驟S52中，有效產生部82產生有效信號，且供給至調停部83。
於步驟S53中，調停部83將來自有效產生部82之有效信號以將對於記憶體31之記憶體存取均一地分散之方式，根據必要予以延遲，且經由記憶體控制部75供給至記憶體31。
記憶體31於寫入之準備完成之情形時，於步驟S54中，對於來自有效產生部82之有效信號輸出就緒信號。該就緒信號係經由記憶體控制部75供給至調停部83。
於步驟S55中，調停部83將來自記憶體31之就緒信號以將對於記憶體31之記憶體存取均一地分散之方式，根據必要予以延遲，且供給至有效產生部82。
若有效產生部82對於以步驟S52產生之有效信號，接收就緒信號，則寫入控制部73將自ADC50供給之像素資料作為寫入至記憶體31之對象之寫入資料，經由記憶體控制部75供給至記憶體31。
藉此，於記憶體31中，於步驟S56中，寫入資料被寫入至來自 位址產生部81之寫入位址。
<讀取處理>
圖15係說明圖13之輸入輸出資料控制部51自記憶體31讀取讀取資料之讀取處理之例之圖。
於步驟S61中，位址產生部91產生讀取位址，且經由記憶體控制部75供給至記憶體31。
於步驟S62中，就緒產生部92產生就緒信號，且供給至調停部93。
於步驟S63中，調停部93將來自就緒產生部92之就緒信號以將對於記憶體31之記憶體存取均一地分散之方式，根據必要予以延遲，且經由記憶體控制部75供給至記憶體31。
記憶體31於資料之讀取為有效(可能)之情形時，於步驟S64中，對於來自就緒產生部92之就緒信號，輸出有效信號。該有效信號係經由記憶體控制部75供給至調停部93。
於步驟S65中，調停部93將來自記憶體31之有效信號以將對於記憶體31之記憶體存取均一地分散之方式，根據必要予以延遲，且供給至就緒產生部92。
記憶體31於有效信號之輸出後，於步驟S66中，自來自位址產生部91之讀取位址讀取資料，且經由記憶體控制部75供給至讀取控制部74。
若就緒產生部92對於步驟S62產生之就緒信號接收有效信號，則讀取控制部74於此時，將自記憶體31經由記憶體控制部75而供給之資料作為讀取資料而接收，且輸出至資料路徑52。
另，於圖14及圖15中，用以將對於記憶體31之記憶體存取均一地分散之就緒信號或有效信號之延遲可僅以就緒信號及有效信號中之一者為對象而進行。
<輸入輸出資料控制部51對於記憶體31之記憶體存取>
圖16係說明圖13之輸入輸出資料控制部51對於記憶體31之記憶體存取之例之圖。
圖16之A係顯示通常之記憶體存取、與進行該通常之記憶體存取之情形之於影像感測器流動之電流。
圖16之A係與圖8之A相同之圖，省略其說明。
圖16之B係顯示藉由調停部83及93之調停，以均一地分散之方式進行之記憶體存取(以下，亦稱為分散記憶體存取)、與進行該分散記憶體存取之情形之於影像感測器流動之電流。
於分散記憶體存取中，由於對於記憶體31之記憶體存取分散，故非存取期間P2與通常之記憶體存取之情形比較，成為充分短時間。
於分散記憶體存取中，由於非存取期間P2成為短時間，故於非存取期間P2中，於影像感測器流動之電流大幅度下降之前，成為存取期間P1。
其結果，可抑制於存取期間P1與非存取期間P2中，於影像感測器流動之電流之變動。
因此，可抑制起因於影像感測器流動之電流變動，而於ADC50之AD轉換產生誤差，進而，可抑制由影像感測器拍攝之攝影圖像之畫質劣化。
此處，於分散記憶體存取中，雖然為短時間，但產生非存取期間P2。因此，分散記憶體存取時，比附有虛擬存取之記憶體存取(圖8之B)之情形，於影像感測器流動之電流更變動。但，分散記憶體存取之電流之變動可藉由於影像感測器設置電容器，將於ADC50之AD轉換產生之誤差抑制為可充分下降之程度。
另，於圖13之輸入資料控制部51中，於進行通常之記憶體存取 之情形時，位址產生部81、有效產生部82、位址產生部91、就緒產生部92、及記憶體控制部75係具有記憶體31之圖1之影像感測器所必須之電路。
即，於圖13之輸入資料控制部51中，於進行通常之記憶體存取之情形時，不論是否進行分散記憶體存取，均於影像感測器中設置位址產生部81、有效產生部82、位址產生部91、就緒產生部92、及記憶體控制部75。
因此，進行分散記憶體存取之輸入輸出資料控制部51可藉由向進行通常之記憶體存取之情形之影像感測器之構成，追加調停部83及93而實現。
即，分散記憶體存取於不太增大影像感測器之規模下即可實現。
另，於分散記憶體存取中，雖然如上述般，可抑制攝影圖像之畫質劣化，但較通常之記憶體存取之情形更增加消耗電流。
攝影圖像之畫質劣化之抑制、與消耗電力之增加處於折衝關係，可由使用者決定使何者優先。
即，是否進行分散記憶體存取，可藉由於暫存器61設定資訊而指定。
於影像感測器中，按照設定於暫存器61之資訊，進行分散記憶體存取、或通常之記憶體存取。
<輸入輸出資料控制部51之第5構成例>
圖17係顯示圖3之輸入輸出資料控制部51之其他構成例之方塊圖。
即，圖17係顯示輸入輸出資料控制部51之第5構成例之方塊圖。
另，圖中，對與圖5或圖13之情形對應之部分，標註相同之符 號，且於以下適當省略其說明。
於圖17中，輸入輸出資料控制部51於記憶體I/F63具有寫入控制部73、讀取控制部74、及記憶體控制部75之方面，與圖5之情形共通。
但，於圖17中，輸入輸出資料控制部51於資料處理部62分別具有資料產生部201及資料解碼部202取代資料產生部71及資料解碼部72之方面，與圖5之情形不同。
進而，於圖17中，輸入輸出資料控制部51於寫入控制部73具有圖13之調停部83，且讀取控制部74具有圖13之調停部93之方面，與圖5之情形不同。
資料產生部201具有圖5之資料產生部71之功能、及圖9之資料產生部111之功能。
資料解碼部202具有圖5之資料解碼部72之功能、及圖9之資料解碼部112之功能。
因此，圖17之輸入輸出資料控制部51除了進行通常之記憶體存取之通常功能以外，具有以下功能：第1功能，其進行與圖5之輸入輸出資料控制部51相同之附有虛擬存取之記憶體存取；第2功能，其進行與圖9之輸入輸出資料控制部51相同之編碼資料之讀寫；及第3功能，其進行與圖13之輸入輸出資料控制部51相同之分散記憶體存取。
將通常功能、及第1至第3功能中之何者設為有效，可藉由例如於暫存器61設定資訊而指定。
又，可將通常功能、及第1至第3功能中之第2功能與其他功能為同時有效。
<輸入輸出資料控制部51之第6構成例>
圖18係顯示輸入輸出資料控制部51之第6構成例之方塊圖。
另，對於圖中與圖17之情形對應之部分，標註相同之符號，且於以下適當省略其說明。
於圖18中，輸入輸出資料控制部51於資料處理部62具有資料產生部201，且記憶體I/F63具有寫入控制部73、讀取控制部74、及記憶體控制部75之方面，與圖17之情形共通。
但，於圖18中，輸入輸出資料控制部51於資料處理部62具有資料保持部221及解碼處理部222取代資料解碼部202之方面，與圖17之情形不同。
資料保持部221係構成為與圖11之資料保持部121相同。
解碼處理部222具有圖5之資料解碼部72之功能、及與圖11之解碼處理部122相同之功能。
因此，於圖18之輸入輸出資料控制部51中，與圖17之情形相同，具有通常功能、及第1至第3之功能。
又，於圖18之輸入輸出資料控制部51中，與以圖11說明之情形相同，資料保持部221及解碼處理部222可構成為較圖17之資料解碼部202更小型，且可有助於影像感測器之小型化。
<攝像元件之使用例>
圖19係顯示使用圖1之影像感測器之使用例之圖。
上述之影像感測器可使用於例如，如以下般，感測可見光、或紅外線、紫外線、及X射線等之光之各種電子機器。
．數位相機、或帶有相機功能之攜帶機器等之拍攝供鑒賞之用之圖像之電子機器
．為了自動停止等之安全駕駛、或駕駛員之狀態之辨識等，於汽車之前方或後方、周圍、車內等進行攝影之車載用感測器、監視行進車輛或道路之監視相機、及進行車輛間等之測距之測距感測器等之供交通用之電子機器
．拍攝使用者之姿勢，為了進行按照該姿勢之機器操作，而供於TV(電視)、或冰箱、空氣調節裝置等之家電之電子機器
．內視鏡、或藉由紅外線接收進行血管攝影之裝置等之供醫療或保健用之電子機器
．防盜用途之監視相機、或人物認證用途之相機等之供保全用之電子機器
．拍攝皮膚之皮膚測定器、或拍攝頭皮之顯微鏡等之供美容用之電子機器
．利於運動用途等之運動相機或可穿戴式相機等之供運動用之電子機器
．用以監視農田或作物之狀態之相機等之供農業用之電子機器
<應用影像感測器之數位相機>
圖20係顯示應用圖1之影像感測器之電子機器之1者即數位相機之一實施形態之構成例之方塊圖。
以數位相機，可攝像靜態圖像及動態圖像之任一者。
於圖20中，數位相機具有光學系統301、影像感測器302、DSP(Digital Signal Processor：數位信號處理器)303、訊框記憶體304、記錄裝置305、顯示裝置306、電源系統307、操作系統308、及匯流排線309。於數位相機中，DSP303至操作系統308係經由匯流排線309而彼此連接。
光學系統301將來自外部之光，於影像感測器302上聚光。
影像感測器302係構成為與圖1之影像感測器相同，且接收來自光學系統301之光並進行光電轉換，且將作為電信號之圖像資料輸出。
DSP303對影像感測器302輸出之圖像資料實施必要之信號處理。
訊框記憶體304將藉由DSP303實施信號處理之圖像資料，以訊框單位暫時地保持。
記錄裝置305將以影像感測器302拍攝之動態圖像或靜態圖像之圖像資料記錄於半導體記憶體或硬碟等之記錄媒體。
顯示裝置306係由例如液晶面板或有機EL(Electro Luminescence：電致發光)面板等之面板型顯示裝置等構成，且顯示與記憶於訊框記憶體304之圖像資料對應之圖像(動態圖像或靜態圖像)。
電源系統307對影像感測器302至顯示裝置306、及操作系統308供給必要之電源。
操作系統308按照使用者之操作，輸出關於數位相機所具有之各種功能之操作指令。
<應用本技術之電腦之說明>
接著，輸入輸出資料控制部51之一連串處理可藉由硬體進行，且亦可藉由軟體進行。於藉由軟體進行一連串處理之情形時，構成該軟體之程式係安裝於微電腦等之電腦上，且該電腦係作為輸入輸出資料控制部51而發揮功能。
圖21係顯示安裝有執行輸入輸出資料控制部51之一連串處理之程式之電腦之一實施形態之構成例。
可將程式預先記錄於作為內建於電腦之記錄媒體之硬碟405或ROM(Read Only Memory：唯讀記憶體)403。
或者，程式可事先儲存(記錄)於可移除式記錄媒體411。此種可移除式記錄媒體411可作為所謂之套裝軟體而提供。此處，作為可移除式記錄媒體411，有例如軟碟、CD-ROM(Compact Disc Read Only Memory：光碟唯讀記憶體)、MO(Magneto Optical：光磁性)碟片、DVD(Digital Versatile Disc：數位影音光碟)、磁碟、及半導體記 憶體等。
另，程式除了可自如上述般之可移除式記錄媒體411安裝於電腦外，亦可經由通訊網或廣播網而下載至電腦，並安裝於內建之硬碟405。即，程式可例如自下載網站，經由數位衛星廣播用之人工衛星，以無線傳送至電腦，或經由如LAN(Local Area Network：局部區域網路)、網際網路等網路，以有線方式傳送至電腦。
電腦內建有CPU(Central Processing Unit：中央處理器)402，於CPU402中，經由匯流排401而連接輸入輸出介面410。
若由使用者藉由操作輸入部407等而經由輸入輸出介面410輸入指令，則CPU402根據其而執行儲存於ROM(Read Only Memory：唯讀記憶體)403之程式。或，CPU402將儲存於硬碟405之程式載至RAM(Random Access Memory：隨機存取記憶體)404而執行。
藉此，CPU402進行藉由按照上述之流程之處理、或上述之方塊圖之構成而進行之處理。又，CPU402根據必要例如經由輸入輸出介面410自輸出部406輸出或自通訊部408發送該處理結果，並進而將其記錄於硬碟405等。
另，輸入部407以鍵盤、滑鼠、麥克風等而構成。又，輸出部406以LCD(Liquid Crystal Display：液晶顯示器)與揚聲器等而構成。
此處，在本說明書中，電腦按照程式而進行之處理，並非一定沿著作為流程記載之順序而依時間順序進行。即，電腦按照程式而進行之處理，亦包含並行或個別執行之處理(例如並行處理或基於目標之處理)。
又，程式可為藉由1電腦(處理器)進行處理者，亦可為藉由複數台電腦進行分散處理者。
另，本技術之實施形態並非限定於上述之實施形態者，於不脫離本技術之要旨之範圍內可進行各種變更。
即，本技術與例如構成像素陣列部11之像素數之多少無關均可應用。
又，於本實施形態中，針對將本技術應用於進行行並行AD轉換之影像感測器之情形進行說明，但本技術亦可應用於除了進行行並行AD轉換以外之影像感測器。即，本技術可應用於例如於每個特定區域設置ADC，且區域之ADC進行負責該區域內之像素之像素信號之AD轉換之區域AD轉換之影像感測器等。該情形時，以圖9說明之1群之像素資料成為例如於各區域同時獲得之AD轉換結果。
另，本說明書中記述之效果僅為例示，並非限定者，又，亦可有其他效果。
另，本技術亦可為如下之構成。
<1>
一種影像感測器，其包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫；且上述控制部於進行用於上述像素信號之讀寫之對於上述記憶部之存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫。
<2>
一種處理方法，其包含：使影像感測器之控制部於進行用於像素信號之讀寫之對於記憶部之存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫之步驟，上述影像感測器包含： 像素陣列部，其係由進行光電轉換且輸出上述像素信號之複數個像素排列而成；上述記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及上述控制部，其控制對於上述記憶部之上述像素信號之讀寫。
<3>
一種電子機器，其包含：將光聚光之光學系統；與接收光，且拍攝圖像之影像感測器，且上述影像感測器具有：像素陣列部，其由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫；且上述控制部於進行用於上述像素信號之讀寫之對於上述記憶部之存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫。
<4>
一種影像感測器，其包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫；且上述控制部以變動上述像素信號之方式，將上述像素信號編碼，且將編碼後之上述像素信號寫入至上述記憶部。
<5>
如<4>之影像感測器，其中上述控制部藉由將上述像素信號、及與特定之圖案之互斥邏輯和進行運算，而將上述像素信號進行編碼。
<6>
如<4>或<5>之影像感測器，其中上述控制部自上述記憶部讀取編碼後之上述像素信號，且解碼為原本之像素信號。
<7>
如<6>之影像感測器，其中上述控制部藉由將上述像素信號、及與特定之圖案之互斥邏輯和進行運算，而將上述像素信號進行編碼，且藉由將編碼後之上述像素信號、及與特定之圖案之互斥邏輯和進行運算，將編碼後之上述圖像信號解碼。
<8>
如<7>之影像感測器，其中上述特定之圖案對於特定之複數個上述像素信號即1群之像素信號成為相同之圖案，且上述控制部同步進行上述一群之像素信號之編碼、與其他之一群之編碼後之上述像素信號之解碼，且將使用於上述編碼之特定之圖案以位元單位保持於資料保持部，且使用保持於上述資料保持部之位元進行上述解碼。
<9>
一種處理方法，其包含：使影像感測器之控制部以變動像素信號之方式，將上述像素信號編碼，且將編碼後之上述像素信號寫入至記憶部之步驟，上述影像感測器包含：像素陣列部，其係由進行光電轉換且輸出上述像素信號之複數 個像素排列而成；上述記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及上述控制部，其控制對於上述記憶部之上述像素信號之讀寫。
<10>
一種電子機器，其包含：將光聚光之光學系統；與接收光，且拍攝圖像之影像感測器，且上述影像感測器具有：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫；且上述控制部以變動上述像素信號之方式，將上述像素信號編碼，且將編碼後之上述像素信號寫入至上述記憶部。
<11>
一種影像感測器，其包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其以將用於上述像素信號之讀寫之對於上述記憶部之存取均一地分散之方式，控制對於上述記憶部之上述像素信號之讀寫。
<12>
一種處理方法，其包含：使影像感測器之控制部以將用於上述像素信號之讀寫之對於上 述記憶部之存取均一地分散之方式，控制對於上述記憶部之上述像素信號之讀寫之步驟，上述影像感測器包含：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其控制對於上述記憶部之上述像素信號之讀寫。
<13>
一種電子機器，其包含：將光聚光之光學系統；與接收光，且拍攝圖像之影像感測器，且上述影像感測器具有：像素陣列部，其係由進行光電轉換且輸出像素信號之複數個像素排列而成；記憶部，其記憶自上述像素陣列部輸出之上述像素信號；及控制部，其以將用於上述像素信號之讀寫之對於上述記憶部之存取均一地分散之方式，控制對於上述記憶部之上述像素信號之讀寫。
11:像素陣列部
21:周邊電路
31:記憶體
50:ADC
51:輸入輸出資料控制部
52:資料路徑
53:信號處理部
54:輸出I/F
61:暫存器
62:資料處理部
63:記憶體I/F

Claims (9)

  1. 一種影像感測器，其包含：像素陣列部，其係由進行光電轉換且包含排列成行之複數個像素，其中上述像素陣列部之每一行輸出像素信號；記憶部，其記憶自上述像素陣列部輸出之上述像素信號作為像素資料；及控制部，其控制對於上述記憶部之上述像素資料之讀寫；且上述控制部於進行用於上述像素資料之讀寫之對於上述記憶部之存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫。
  2. 如請求項1之影像感測器，其中上述非存取期間與上述記憶部之存取之期間實質上時間長短相同。
  3. 如請求項2之影像感測器，其中於上述像素陣列部之每一行，上述像素資料之量與上述虛擬資料之量實質上相同。
  4. 一種影像處理方法，其包含：使影像感測器之控制部於進行用於像素資料之讀寫之對於記憶部之存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫之步驟；上述影像感測器包含：像素陣列部，其係由進行光電轉換且包含排列成行之複數個像素，其中上述像素陣列部之每一行輸出上述像素信號；上述記憶部，其記憶自上述像素陣列部輸出之上述像素信號作為上述像素資料；及上述控制部，其控制對於上述記憶部之上述像素資料之讀寫。
  5. 如請求項4之影像處理方法，其中上述非存取期間與上述記憶部之存取之期間實質上時間長短相同。
  6. 如請求項5之影像處理方法，其中於上述像素陣列部之每一行，上述像素資料之量與上述虛擬資料之量實質上相同。
  7. 一種電子機器，其包含：將光聚光之光學系統；與接收光，且拍攝圖像之影像感測器，且上述影像感測器具有：像素陣列部，其係由進行光電轉換且包含排列成行之複數個像素，其中上述像素陣列部之每一行輸出像素信號；記憶部，其記憶自上述像素陣列部輸出之上述像素信號作為像素資料；及控制部，其控制對於上述記憶部之上述像素資料之讀寫；且上述控制部於進行用於上述像素資料之讀寫之對於上述記憶部之存取之期間以外之非存取期間，進行對於上述記憶部之虛擬資料之讀寫。
  8. 如請求項7之電子機器，其中上述非存取期間與上述記憶部之存取之期間實質上時間長短相同。
  9. 如請求項8之電子機器，其中於上述像素陣列部之每一行，上述像素資料之量與上述虛擬資料之量實質上相同。
TW105104816A 2015-03-23 2016-02-18 影像感測器、影像處理方法及電子機器 TWI737592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-059421 2015-03-23
JP2015059421 2015-03-23

Publications (2)

Publication Number Publication Date
TW201705754A TW201705754A (zh) 2017-02-01
TWI737592B true TWI737592B (zh) 2021-09-01

Family

ID=56978624

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105104816A TWI737592B (zh) 2015-03-23 2016-02-18 影像感測器、影像處理方法及電子機器

Country Status (5)

Country Link
US (1) US10666886B2 (zh)
JP (1) JPWO2016152510A1 (zh)
CN (1) CN107431775B (zh)
TW (1) TWI737592B (zh)
WO (1) WO2016152510A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599150B2 (en) 2016-09-29 2020-03-24 The Charles Stark Kraper Laboratory, Inc. Autonomous vehicle: object-level fusion
US10101745B1 (en) * 2017-04-26 2018-10-16 The Charles Stark Draper Laboratory, Inc. Enhancing autonomous vehicle perception with off-vehicle collected data
JP7135941B2 (ja) * 2019-03-01 2022-09-13 コニカミノルタ株式会社 放射線撮影装置
US11249184B2 (en) 2019-05-07 2022-02-15 The Charles Stark Draper Laboratory, Inc. Autonomous collision avoidance through physical layer tracking
KR20210092964A (ko) * 2020-01-17 2021-07-27 삼성전자주식회사 이미지 센서 및 이를 포함하는 카메라 모듈

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW506215B (en) * 1999-08-31 2002-10-11 Taiwan Advanced Sensors Corp Self compensating correlated double sampling circuit
US7612810B2 (en) * 2004-06-29 2009-11-03 Fujitsu Microelectronics Limited Reduction of effect of image processing on image sensor
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056664A (ja) * 1991-06-28 1993-01-14 Nec Corp メモリリフレツシユ制御方式
JP2683189B2 (ja) * 1992-09-16 1997-11-26 浜松ホトニクス株式会社 画像処理装置
JP3473171B2 (ja) * 1995-05-11 2003-12-02 松下電器産業株式会社 逐次暗号方式
JP3451576B2 (ja) * 1996-09-20 2003-09-29 株式会社日立製作所 情報処理システム
US6522355B1 (en) * 1997-04-10 2003-02-18 Texas Instruments Incorporated Digital nonuniformity correction for image sensors
US7812301B2 (en) * 2005-10-28 2010-10-12 Sony Corporation Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus
KR20080013130A (ko) * 2006-08-07 2008-02-13 삼성전자주식회사 표시 장치의 구동 장치 및 구동 방법
JP4869011B2 (ja) 2006-09-29 2012-02-01 富士通セミコンダクター株式会社 メモリシステム
JP5146503B2 (ja) * 2010-09-06 2013-02-20 カシオ計算機株式会社 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
JP6608132B2 (ja) * 2014-11-17 2019-11-20 キヤノン株式会社 放射線撮像装置および放射線撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW506215B (en) * 1999-08-31 2002-10-11 Taiwan Advanced Sensors Corp Self compensating correlated double sampling circuit
US7612810B2 (en) * 2004-06-29 2009-11-03 Fujitsu Microelectronics Limited Reduction of effect of image processing on image sensor
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器

Also Published As

Publication number Publication date
US20180063458A1 (en) 2018-03-01
WO2016152510A1 (ja) 2016-09-29
CN107431775B (zh) 2021-04-16
TW201705754A (zh) 2017-02-01
JPWO2016152510A1 (ja) 2018-01-11
CN107431775A (zh) 2017-12-01
US10666886B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
TWI737592B (zh) 影像感測器、影像處理方法及電子機器
JP5663580B2 (ja) 撮像素子、撮像素子のダイナミックレンジを増大させる方法、及び撮像装置
KR100809345B1 (ko) 영상 생성 장치 및 방법
US20110050714A1 (en) Image processing device and imaging apparatus
WO2017018188A1 (ja) イメージセンサ、及び、電子機器
JP2007228019A (ja) 撮像装置
JP2018074445A (ja) 固体撮像装置およびその信号処理方法、並びに電子機器
WO2018101077A1 (ja) 撮像素子および撮像方法、並びに電子機器
JP2009533772A (ja) 小さな画像又は大きな画像を処理する小さなラインバッファを容易に用いる技術
JP2008160881A (ja) 固体撮像装置および撮像方法
US7382937B2 (en) Method and apparatus for re-constructing high-resolution images
JP7147199B2 (ja) 信号処理装置及び信号処理方法
JP2016019076A (ja) 撮像装置、撮像方法、およびプログラム、並びに再生装置
JP2009065519A (ja) 画像処理装置
JP6300651B2 (ja) 動画記録再生装置
CN110213503A (zh) 图像处理方法、装置、存储介质及电子设备
JP3972302B2 (ja) 撮像素子
JP2010147774A (ja) 撮像装置
JP2006080627A5 (zh)
JP2007006038A (ja) 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
JP2006157152A (ja) 撮像装置と撮像方法
JP6467455B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP2006157149A (ja) 撮像装置と撮像方法
WO2021020009A1 (ja) 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム
JP2006157153A (ja) 撮像装置と撮像方法