TWI459804B - An image processing apparatus, a photographing system, an image processing method, and a program - Google Patents
An image processing apparatus, a photographing system, an image processing method, and a program Download PDFInfo
- Publication number
- TWI459804B TWI459804B TW100116369A TW100116369A TWI459804B TW I459804 B TWI459804 B TW I459804B TW 100116369 A TW100116369 A TW 100116369A TW 100116369 A TW100116369 A TW 100116369A TW I459804 B TWI459804 B TW I459804B
- Authority
- TW
- Taiwan
- Prior art keywords
- storage
- long
- image
- evaluation value
- short
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 152
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000011156 evaluation Methods 0.000 claims description 295
- 238000000034 method Methods 0.000 claims description 57
- 239000002131 composite material Substances 0.000 claims description 53
- 230000002194 synthesizing effect Effects 0.000 claims description 49
- 230000007774 longterm Effects 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 15
- 230000005484 gravity Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 description 15
- 230000009467 reduction Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 101100219315 Arabidopsis thaliana CYP83A1 gene Proteins 0.000 description 5
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 description 5
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 description 5
- 101100269674 Mus musculus Alyref2 gene Proteins 0.000 description 5
- 101100140580 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) REF2 gene Proteins 0.000 description 5
- 102100026134 Tissue factor pathway inhibitor 2 Human genes 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000009499 grossing Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Description
本發明係關於一種對曝光時間不同之複數個圖像進行合成處理之圖像處理裝置、攝影系統、圖像處理方法及程式。
作為以CCD(Charge Coupled Device，電荷耦合器件)或CMOS(Complimentary Metal Oxide Semiconductor，互補金屬氧化物半導體)為代表之固態攝像器件之影像感測器，以儲存與入射光量對應之電荷之光電切換器件進行光電切換。
近年來，廣泛利用使用CCD或CMOS感測器等影像感測器之相機。
然而，通常影像感測器與銀鹽相機等相比，可表現之動態範圍(以下，稱作DR(dynamic range))狹小，因此若拍攝對比度比較大之被攝體，則會產生高亮度部分曝光過度，或低亮度部分曝光不足等問題。
為了解決此種問題，業者們普遍知曉對曝光時間不同之複數個圖像進行拍攝並適當地合成為1個圖像，藉此使影像感測器輸出之圖像之表觀上之DR放大的方式。
此處作為一例，對合成曝光時間不同之2個圖像之方式加以說明。
以下，將上述2個圖像中曝光時間相對較長之圖像稱作長蓄圖像，將曝光時間相對較短之圖像稱作短蓄圖像，並將對長蓄圖像與短蓄圖像進行數位合成而獲得之圖像稱作合成圖像。
圖1為表示關於長蓄圖像、短蓄圖像之向影像感測器之入射光量與輸出位準之相關性(以下，稱作輸入輸出特性)之曲線圖的一例。
此處，2001表示長蓄圖像之輸入輸出特性，2002表示短蓄圖像之輸入輸出特性。2003表示影像感測器之輸出中所含之雜訊中不依賴於入射光量或曝光時間之成分的位準(以下，稱作雜訊位準)，2005表示長蓄圖像之輸出位準開始飽和之入射光量。
長蓄圖像具有如下特徵：於特定入射光量以上之區域輸入輸出之線性變形而產生輸出位準之飽和(=曝光過度)，未達上述飽和之入射光量中之輸出位準與雜訊位準之比值即所謂之S/N(signal-to-noise，信號-雜訊)比高。
另一方面，短蓄圖像具有如下特徵：相對於相同入射光量之輸出位準相對低於長蓄圖像，S/N劣化，而另一方面即便入射光量變大易難以產生飽和。
圖2為表示合成長蓄圖像與短蓄圖像而作為1個合成圖像輸出時之入射光量與合成圖像之輸出位準之相關性(以下，稱作合成圖像之輸入輸出特性)之曲線圖的一例。
此處，2104表示上述合成圖像之輸入輸出特性，2106、2107分別表示於合成圖像中選擇長蓄圖像、短蓄圖像之入射光量之範圍。對於2001、2002，與圖1中相同符號所指者等價，因此省略其說明。再者，以下亦將相同符號所指者作為相同部分而僅進行一次說明。
圖2所示之合成方式，於入射光量未達特定臨限值INP之區域(以入射光量範圍2106所示之區域)選擇長蓄圖像，而於入射光量為特定臨限值INP以上之區域(以入射光量範圍2107所示之區域)選擇短蓄圖像乘以曝光比而得者。藉此生成合成圖像。
此處，所謂曝光比係指長蓄圖像之曝光量與短蓄圖像之曝光量之比，若於長蓄圖像與短蓄圖像未乘以不同之增益，則為長蓄圖像與短蓄圖像之曝光時間之比本身。
又，如圖所示，通常將特定臨限值INP置於較長蓄圖像之輸出位準飽和稍低之位置。例如為開始飽和之入射光量之50~80%左右之位置。
此外，以下之合成方式亦作為公知之技術而為人所知。
第1種方式：作為入射光量為特定臨限值INP以上之區域之輸出，採用短蓄圖像×特定增益(<曝光比)+特定偏移量(於未達特定臨限值INP之區域使用長蓄圖像)。
第2種方式：於上述各種合成方式中，於使用長蓄圖像之區域與使用短蓄圖像之區域之邊界附近將長蓄圖像與短蓄圖像混合。
其中，使用該些合成方式會產生新的問題。
圖3為表示使用圖2所示之合成方式時之入射光量與合成圖像之S/N的相關性(以下，稱作合成圖像之S/N特性)之曲線圖之一例。
此處，2201表示合成圖像之S/N特性，2202表示於合成圖像中選擇長蓄圖像之區域與選擇短蓄圖像之區域的切換點，2203表示合成前之長蓄圖像之S/N特性，2204表示合成前之短蓄圖像之S/N特性。
再者，對於合成前之長蓄圖像之S/N特性2203，僅繪製至長蓄圖像之輸出位準飽和之入射光量。
短蓄圖像之輸出位準與長蓄圖像之輸出位準相比為(1/曝光比)倍，相對於此，雜訊位準變化不大。又，即便將短蓄圖像乘以曝光比，輸出位準、雜訊位準亦會隨之增大，因此S/N亦不變化。
因此，可知於合成圖像中開始選擇短蓄圖像之點2202附近之區域，即於將短蓄圖像之亮度相對較低部分利用於輸出之區域，S/N極端劣化。該S/N之劣化於曝光比較大之情形時變得更顯著。
又，以有效地實現DR放大為目的，而分別以如下之方式進行長蓄圖像與短蓄圖像之曝光控制。
使長蓄圖像較標準亮地曝光(逆光修正曝光控制)，以使曝光不足變少。
使短蓄圖像較標準暗地曝光(過順光修正曝光控制)，以使曝光過度變少。
此處，所謂曝光控制係指以特定方法自各圖像算出曝光控制評估值(以下，評估值)，以使上述評估值與特定目標位準REF一致之方式控制曝光時間、光圈之開口量、PGA(Programmable Gain Amplifier，可編程增益放大器)增益量等之操作。
其中，以下簡便起見而僅對曝光時間之控制加以說明。
於標準之曝光控制中，例如將圖像之亮度值之積分或其除以像素數所得之平均作為評估值。
相對於此，於逆光修正曝光控制、過順光修正曝光控制中，例如將圖像按各亮度位準分割為複數個等級，按上述各等級以不同之比重進行亮度值之積分，藉此求出評估值。
再者，使全部類型之比重相同係表示與上述標準之曝光控制等價之控制。
逆光修正曝光控制可藉由將低亮度側之等級之比重設定得較大而實現，反之，過順光修正曝光控制可藉由將高亮度側之等級之比重設定得較大而實現。
於此種曝光控制下，根據場景之DR而以如下方式變動曝光比。
於DR較寬廣之場景中，長蓄圖像與短蓄圖像之曝光比變大。
於DR較狹小之場景中，長蓄圖像與短蓄圖像之曝光比變小。最極端為1倍，即長蓄圖像與短蓄圖像之曝光時間變為相同。
然而，於以不使動態解像度降低為目的而於1場(或1訊框)期間進行長短2次曝光之情形時，對於短蓄圖像，由於器件之限制而必須於V消隱期間進行曝光。
此情形時，曝光時間之上限(最長曝光時間)與長蓄圖像相比極短，於以例如PAL方式進行拍攝之情形時，長蓄圖像之最長曝光時間為約1/50秒，相對於此，短蓄圖像之最長曝光時間為約1/1000秒。
若拍攝場景變暗，則藉由曝光控制，長蓄圖像及短蓄圖像之曝光時間最終將接近各自之最長曝光時間，但於低照度下，此將意味著即便場景之DR狹小，通常亦會達到約20倍之曝光比。
即，於DR狹小之低照度之場景中，無合成長蓄圖像與短蓄圖像之優點，而僅使利用短蓄圖像之低亮度部分之區域之S/N更劣化。
鑒於此種情況，例如於專利文獻1中記載之技術(以下稱作先前技術1)中，揭示有於合成圖像中之使用短蓄圖像之低亮度部分之區域中應用特定濾波器，藉此降低上述雜訊之方法。
又，作為其他DR放大方法，有合成感光度不同而非曝光時間不同之2個像素之方法，但於該DR放大方法中亦會產生相同之問題。
作為解決該問題之方法，已知有專利文獻2中記載之技術(以下，稱作先前技術2)。
於先前技術2中，若曝光時間成為特定時間以上，則僅使用高感光度像素便可降低合成圖像中之局部雜訊。
[專利文獻1]日本專利特開2000-69355號公報
[專利文獻2]日本專利特開2004-222182號公報
然而，於上述2個先前技術中分別存在如下問題。
於先前技術1中，若曝光比變大，則對應於此，短蓄圖像之雜訊位準變高，為了降低此而必須增大應用之濾波器強度，因此合成圖像之一部分區域之解像感極端降低。
尤其是於較暗之場景中，由於短蓄曝光時間之限制而導致短蓄曝光無法收斂，由此與本來場景所具有之DR相比達到異常高之曝光比，因此該傾向變得顯著。
又，僅於合成圖像中之一部分區域套用濾波器，因此有可能於合成圖像中產生不自然。
於先前技術2中，於使用高感光度像素與低感光度像素之雙方之情況及僅使用高感光度像素之情況下不特別進行曝光控制之變更，因此即便畫面整體較暗，於DR相對較寬廣之場景中亦會再次產生過渡曝光。
本發明提供一種可降低於低照度場景中易產生之合成邊界上之雜訊的圖像處理裝置、攝影系統、圖像處理方法及程式。
本發明之第1觀點之圖像處理裝置包括：影像感測器，其於至少1場期間對曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像曝光並進行拍攝而輸出；第1長蓄評估值算出部，其自長蓄圖像算出曝光評估值作為第1長蓄評估值並輸出；第2長蓄評估值算出部，其基於與上述第1長蓄評估值算出部不同之方法自長蓄圖像算出曝光評估值作為第2長蓄評估值並輸出；短蓄評估值算出部，其自短蓄圖像算出曝光評估值作為短蓄評估值並輸出；短蓄曝光控制部，其自上述短蓄評估值與第1目標位準取得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成部，其以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而取得長蓄評估值；長蓄曝光控制部，其自上述長蓄評估值與第2目標位準取得長蓄曝光控制資訊；及合成部，其根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
本發明之第2觀點之攝影系統包括：圖像處理裝置，其包含影像感測器；及光學系統，其使被攝體像成像於上述影像感測器；且上述圖像處理裝置包括：影像感測器，其於至少1場期間對曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像曝光並進行拍攝而輸出；第1長蓄評估值算出部，其自長蓄圖像算出曝光評估值作為第1長蓄評估值並輸出；第2長蓄評估值算出部，其基於與上述第1長蓄評估值算出部不同之方法由長蓄圖像算出曝光評估值作為第2長蓄評估值並輸出；短蓄評估值算出部，其自短蓄圖像算出曝光評估值作為短蓄評估值並輸出；短蓄曝光控制部，其自上述短蓄評估值與第1目標位準取得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成部，其藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而取得長蓄評估值；長蓄曝光控制部，其自上述長蓄評估值與第2目標位準取得長蓄曝光控制資訊；影像感測器驅動部，其根據上述長蓄曝光控制資訊與上述短蓄曝光控制資訊驅動上述影像感測器；及合成部，其根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
本發明之第3觀點之圖像處理方法包括：攝像步驟，於至少1場期間拍攝曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像；第1長蓄評估值算出步驟，自長蓄圖像算出曝光評估值而獲得第1長蓄評估值；第2長蓄評估值算出步驟，基於與上述第1長蓄評估值算出部不同之方法自長蓄圖像算出曝光評估值而獲得第2長蓄評估值；短蓄評估值算出步驟，自短蓄圖像算出曝光評估值而獲得短蓄評估值；短蓄曝光控制步驟，自上述短蓄評估值與第1目標位準獲得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成步驟，藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而獲得長蓄評估值；長蓄曝光控制步驟，自上述長蓄評估值與第2目標位準獲得長蓄曝光控制資訊；及合成步驟，根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
本發明之第4觀點為一種使電腦執行圖像處理之程式，該圖像處理包括：攝像處理，於至少1場期間拍攝曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像；第1長蓄評估值算出處理，自長蓄圖像算出曝光評估值而獲得第1長蓄評估值；第2長蓄評估值算出處理，基於與上述第1長蓄評估值算出部不同之方法自長蓄圖像算出曝光評估值而獲得第2長蓄評估值；短蓄評估值算出處理，自短蓄圖像算出曝光評估值獲得短蓄評估值；短蓄曝光控制處理，自上述短蓄評估值與第1目標位準獲得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成處理，藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而獲得長蓄評估值；長蓄曝光控制處理，自上述長蓄評估值與第2目標位準獲得長蓄曝光控制資訊；及合成處理，根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
根據本發明，可降低於低照度場景中易產生之合成邊界上之雜訊。
以下，聯繫圖式對本發明之實施形態加以說明。
再者，以如下順序進行說明。
1.第1實施形態(圖像處理裝置之第1構成例)
2.第2實施形態(圖像處理裝置之第2構成例)
3.第3實施形態(圖像處理裝置之第3構成例)
4.第4實施形態(攝影系統之構成例)
圖4為表示本發明之第1實施形態之圖像處理裝置之構成例的方塊圖。
本圖像處理裝置100包括影像感測器101、類比數位轉換部(ADC：Analog digital converter，類比數位轉換器)102、同步部103、第1長蓄評估值(A)算出部104、第2長蓄評估值(B)算出部105。
圖像處理裝置100包括短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108、長蓄曝光控制部109、影像感測器驅動部110及合成部111。
影像感測器101將入射光轉換為類比訊號並輸出至後段之ADC102。
影像感測器101於至少1場期間對曝光時間較長之圖像即長蓄圖像、及曝光時間較短之圖像即短蓄圖像之2個圖像曝光並進行拍攝而輸出。
ADC102對由影像感測器101獲得之類比訊號進行A/D轉換而作為數位訊號輸出至後段之同步部103。
同步部103將由ADC102獲得之數位訊號分離為長蓄圖像與短蓄圖像。
同步部103將分離之長蓄圖像輸出至第1長蓄評估值算出部104、第2長蓄評估值算出部105及合成部111，將短蓄圖像輸出至短蓄評估值算出部106及合成部111。
第1長蓄評估值算出部104自供給之長蓄圖像算出曝光評估值，並將算出之曝光評估值作為第1長蓄評估值LEVA而輸出至長蓄評估值合成部108。
第2長蓄評估值算出部105基於與第1長蓄評估值算出部不同之方法而自供給之長蓄圖像算出曝光評估值，並將算出之曝光評估值作為第2長蓄評估值LEVB而輸出至長蓄評估值合成部108。
短蓄評估值算出部106自供給之短蓄圖像算出曝光評估值，並作為短蓄評估值SEV輸出至短蓄曝光控制部107。
短蓄曝光控制部107對供給之短蓄評估值SEV與第1目標位準REF1進行比較而生成對應於比較結果之短蓄圖像用之短蓄目標曝光時間與曝光控制資訊(以下，稱作短蓄曝光控制資訊)。
短蓄曝光控制部107將生成之短蓄目標曝光時間STET輸出至長蓄評估值合成部108，且將生成之短蓄曝光控制資訊SECI輸出至合成部111。
長蓄評估值合成部108根據供給之長蓄評估值LEVA、長蓄評估值LEVB、短蓄目標曝光時間STET而生成長蓄評估值LEV，並將生成之長蓄評估值LEV輸出至長蓄曝光控制部109。
長蓄曝光控制部109對供給之長蓄評估值LEV與第2目標位準REF2進行比較而生成長蓄圖像用之曝光控制資訊(以下，稱作長蓄曝光控制資訊)LECI，並將生成之長蓄曝光控制資訊LECI輸出至合成部111。
影像感測器驅動部110生成與長蓄曝光控制資訊LECI及短蓄曝光控制資訊SECI對應之驅動信號，並藉由生成之驅動信號而驅動影像感測器101。
合成部111根據長蓄曝光控制資訊LECI及短蓄曝光控制資訊SECI而對供給之2個長蓄圖像與短蓄圖像進行合成並輸出至後段之處理系統。
具有此種構成之圖像處理裝置100可以具有以下特徵之方式構成。
於短蓄曝光控制部107生成之短蓄曝光控制資訊SECI及長蓄曝光控制部109生成之長蓄曝光控制資訊LECI中包含曝光時間資訊。
具有如下功能，即分別對第1長蓄評估值算出部104於低亮度側加重比重，對第2長蓄評估值算出部105於高亮度側加重比重，對短蓄評估值算出部106於高亮度側加重比重，而算出曝光評估值之功能。
又，於第2長蓄評估值算出部105與短蓄評估值算出部106中算出曝光評估值之比重相同。
短蓄曝光控制部107所應用之第1目標位準REF1與長蓄曝光控制部109所應用之第2目標位準REF2為相同值。
長蓄評估值合成部108中，若由短蓄曝光控制部107獲得之短蓄目標曝光時間STET未達第1臨限值SHTA則將長蓄評估值LEVA作為長蓄評估值LEV，而若短蓄目標曝光時間STET為第1臨限值SHTA以上則將長蓄評估值LEVB作為長蓄評估值LEV。
該第1臨限值SHTA為大於長蓄圖像之最短曝光時間及短蓄圖像之最長曝光時間之值。
短蓄圖像中之PGA增益量較大時，第1臨限值SHTA較小。
又，長蓄評估值合成部108中，若短蓄目標曝光時間STET未達第2臨限值SHTB則將長蓄評估值LEVA作為長蓄評估值LEV，而若短蓄目標曝光時間STET為大於第2臨限值SHTB之第3臨限值SHTC以上則將長蓄評估值LEVB作為長蓄評估值LEV。
長蓄評估值合成部108中，若短蓄目標曝光時間STET為第2臨限值SHTB以上且未達第3臨限值SHTC，則將以特定方法插補長蓄評估值LEVA與長蓄評估值LEVB所得之值作為長蓄評估值LEV。
第2臨限值SHTB為大於長蓄圖像之最短曝光時間及短蓄圖像之最長曝光時間之值。
短蓄圖像中之PGA增益量較大時，第2及第3臨限值SHTB、SHTC較小。
其次，對圖4所示之圖像處理裝置100生成1場之合成圖像時之動作概況加以說明。
處理開始後，影像感測器101對入射之光進行光電轉換並作為類比訊號輸出至後段。此時，影像感測器驅動部110根據長蓄曝光控制資訊LECI、短蓄曝光控制資訊SECI，生成對應於1場期間之長短而按下2次電子快門之驅動信號，並輸入至影像感測器101。
此外，於影像感測器101生成之類比訊號中包含長蓄圖像、短蓄圖像雙方之資訊。
影像感測器101輸出之類比訊號，藉由後段之ADC102轉換為數位訊號，進而藉由後段之同步部103分離為長蓄圖像與短蓄圖像並輸出。
其次，使用分離之長蓄圖像與短蓄圖像，第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108及長蓄曝光控制部109生成於下一場之曝光中影像感測器驅動部110所需之長蓄曝光控制資訊LECI與短蓄曝光控制資訊SECI。
再者，於曝光控制資訊中至少包含長蓄圖像之曝光時間與短蓄圖像之曝光時間之資訊，視需要亦包含PGA增益量之資訊等。
再者，第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108及長蓄曝光控制部109之動作為重點，因此其後詳細地進行說明。
合成部111與生成長蓄曝光控制資訊LECI及短蓄曝光控制資訊SECI並行或逐次地合成長蓄圖像與短蓄圖像並將合成圖像輸出，藉此完成1場之處理。
再者，於使用圖2之曲線圖所示之合成方式之情形時，除長蓄圖像、短蓄圖像以外，需要與短蓄圖像相乘之曝光比。
為了獲得上述曝光比，可追加將以第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108及長蓄曝光控制部109所求出之長蓄圖像曝光控制資訊與短蓄圖像曝光控制資訊輸入至合成部111而算出曝光比。
或者，亦可於合成部111內部實施分別對長蓄圖像中未飽和之特定區域之亮度值與短蓄圖像中之上述特定區域之亮度值進行積分，並將該比視為曝光比之處理。
其次，對第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108及長蓄曝光控制部109之動作之詳情加以說明。
圖5為表示第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108及長蓄曝光控制部109中之處理之流程之一例的流程圖。
處理開始後，藉由第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106分別算出第1長蓄評估值LEVA、第2長蓄評估值LEVB、短蓄評估值SEV(步驟ST101、ST102、ST103)。
如圖所示，該些3個步驟所示之處理可同時並行地進行，亦可順序不同地逐次進行。
更具體而言，各評估值算出部104~106例如以如下流程算出評估值。
自長蓄圖像或短蓄圖像獲得各像素之亮度值。
將上述各像素之亮度值按各特定亮度範圍進行分級，按各等級進行上述亮度值之積分與像素數計數。以下，將特定等級x之亮度積分值設為INTx，將像素數設為CNTx(x越大則為亮度越高之等級)。
藉由下式算出評估值EVA。
此處，根據評估值算出部之種類以如下方式設定等級x之比重WGTx之值。
於第1長蓄評估值算出部104之情形時，x越大則WGTx越小。
於第2長蓄評估值算出部105之情形時，x越大則WGTx越大。
於短蓄評估值算出部106之情形時，x越大則WGTx越大。
再者，第2長蓄評估值算出部105與短蓄評估值算出部106中之各比重WGTx之值較佳為相同，以下係以此為前提而進行說明，但亦可未必相同。
步驟ST103之處理完成後，藉由短蓄曝光控制部107，自短蓄評估值SEV與第1目標位準REF1生成短蓄目標曝光時間STET與短蓄圖像曝光控制資訊SECI並輸出至後段(步驟ST104)。
更具體而言，例如進行如下處理。
求出短蓄評估值SEV與第1目標位準REF1之比。將該比值設為RS。
計算該場之曝光所使用之曝光時間/RS，設為場景之短蓄目標曝光時間。
將短蓄目標曝光時間STET本身，或者於短蓄目標曝光時間STET應用IIR濾波器等使其平滑化者設為下一場之曝光時間。
於上述曝光時間視需要追加PGA增益量等，並作為短蓄圖像曝光控制資訊而與短蓄目標曝光時間一致地輸出至合成部111與影像感測器驅動部110。
即，藉由步驟ST103、ST104之處理，對於短蓄圖像通常以過順光修正之方法實現曝光控制。該行為與上述先前技術中之曝光控制相同。
步驟ST101、ST102、ST104之全部處理完成後，長蓄評估值合成部108根據短蓄目標曝光時間STET合成第1長蓄評估值LEVA與第2長蓄評估值LEVB之值，藉此生成長蓄評估值LEV(步驟ST105)。長蓄評估值合成部108將生成之長蓄評估值LEV輸出至長蓄曝光控制部109。
圖6為表示長蓄評估值合成部108之更詳細之處理之一例之流程圖。
處理開始後，長蓄評估值合成部108檢查短蓄目標曝光時間STET與臨限值SHT之大小關係(步驟ST201)。此處，將特定臨限值SHT設為滿足以下關係者。
[數2]
臨限值SHT>短蓄圖像之最長曝光時間(MAXLET)(式2)
於短蓄目標曝光時間STET小於臨限值SHT之情形時(步驟ST201/YES)，將第1長蓄評估值LEVA作為長蓄評估值LEV直接輸出至後段之長蓄曝光控制部109(步驟ST202)而結束處理。
另一方面，若短蓄目標曝光時間STET等於或大於臨限值SHT(步驟ST201/NO)，則將第2長蓄評估值LEVB作為長蓄評估值LEV直接輸出至後段之長蓄曝光控制部109(步驟ST203)而結束處理。
完成圖5之步驟ST105之處理之後，藉由長蓄曝光控制部109，根據長蓄評估值LEV與第2目標位準REF2生成長蓄目標曝光時間與長蓄圖像曝光控制資訊LECI並輸出至後段(步驟ST106)而結束處理。
更具體而言，例如進行如下處理(與上述短蓄圖像之情況相同)。
求出長蓄評估值LEV與第2目標位準REF2之比。將該比值設為RL。
計算當前場之曝光中所使用之曝光時間/RL，並設為場景之長蓄目標曝光時間。
將長蓄目標曝光時間本身，或者於長蓄目標曝光時間應用IIR(infinite impulse response，無限脈衝響應)濾波器等使其平滑化者作為下一場之曝光時間。
於上述曝光時間視需要追加PGA增益量等，並作為長蓄圖像曝光控制資訊輸出至合成部111與影像感測器驅動部110。
此處，第2目標位準REF2較佳為與短蓄曝光控制部107之處理中使用之第1目標位準REF1之值相同，以下係以此為前提而進行說明，但亦可未必相同。
藉由圖5之步驟ST101、ST102、ST105、ST106之處理，對於長蓄圖像之曝光控制而言可說為如下所述。
於短蓄目標曝光時間<臨限值SHT時，以逆光修正之方法實現曝光控制。
於短蓄圖像之曝光時間可達到短蓄目標曝光時間或其附近，即場景足夠明亮之情形時，長蓄圖像與現存之圖像處理裝置相同地進行曝光。
於短蓄目標曝光時間≧臨限值SHT時，以過順光修正之方法實現曝光控制。即便於短蓄圖像之曝光時間受器件限制而無法全部達到短蓄目標曝光時間，即場景過暗之情形時，長蓄圖像亦可設定更長之曝光時間。
因此，本來應於短蓄圖像中進行之曝光卻於長蓄圖像中實現。
但因較現存之圖像處理裝置中之長蓄圖像更暗地進行曝光，故而必需保證臨限值SHT不會設定得短於長蓄圖像之最短曝光時間。
根據以上之說明，現存之圖像處理裝置中之曝光控制與本第1實施形態之圖像處理裝置100中之曝光控制之差分僅為如下。
可將短蓄目標曝光時間≧特定臨限值SHT時之長蓄圖像之曝光控制視為如下所述。
於現存之圖像處理裝置之情形時，可視為逆光修正曝光控制。
於本第1實施形態之圖像處理裝置100之情形時，可視為過順光修正曝光控制，即視為與短蓄圖像相同之曝光控制。
其次，以下對該曝光控制之差分會產生何種效果加以說明。
對於短蓄目標曝光時間，假定以下之關係成立之場景。
●短蓄目標曝光時間(STET)≧臨限值SHT，
●短蓄圖像之最長曝光時間(MAXSET)<短蓄目標曝光時間(STET)<長蓄圖像之最長曝光時間(MAXLET)。
再者，將使用現存之圖像處理裝置時之上述假定場景中之長蓄圖像、短蓄圖像、合成圖像之輸入輸出特性設為以上說明之圖2中記載者。
於上述假定場景中，本第1實施形態之圖像處理裝置100中之長蓄圖像之曝光控制為如下所述。
與現存之圖像處理裝置中之長蓄圖像相比較暗地進行曝光(曝光時間較短)。
與短蓄圖像相比較亮地進行曝光(曝光時間較長)。其原因在於，長蓄圖像與短蓄圖像雖進行相同之曝光控制，但因最長曝光時間之限制而導致短蓄圖像之曝光無法收斂。
圖7為表示使用本發明之第1實施形態之圖像處理裝置時之上述假定場景中之長蓄圖像之輸入輸出特性、短蓄圖像之輸入輸出特性、合成圖像之輸入輸出特性之曲線圖的一例。
此處，1001表示長蓄圖像之輸入輸出特性，1002表示短蓄圖像之輸入輸出特性，1004表示合成圖像之輸入輸出特性，1006、1007表示於合成圖像中分別選擇長蓄圖像、短蓄圖像之入射光量之範圍。
再者，於圖7中，長蓄圖像之輸入輸出特性1001與合成圖像之輸入輸出特性1004完全一致之原因在於，長蓄圖像之曝光控制與短蓄圖像之曝光控制相同，於長蓄圖像之高亮度區域中亦未產生飽和。
又，就此而言，合成圖像中選擇長蓄圖像之入射光量之範圍擴大。
圖8為表示為對本第1實施形態之圖像處理裝置與現存之圖像處理裝置進行比較，而一併表示圖7中記載之各輸入輸出特性與圖2中記載之輸入輸出特性之雙方之曲線圖的圖。
對於短蓄圖像之輸入輸出特性，於現存之圖像處理裝置與本第1實施形態之圖像處理裝置100中無差分，因此輸入輸出特性1002與輸入輸出特性2102完全一致。
又，對於本第1實施形態之圖像處理裝置100中之長蓄圖像之輸入輸出特性，可知其具有現存之圖像處理裝置之長蓄圖像之輸入輸出特性與短蓄圖像之輸入輸出特性之間的中間特性。
圖9為對本第1實施形態之圖像處理裝置與現存之圖像處理裝置中之合成圖像之S/N特性進行比較之曲線圖。
此處，1201表示本第1實施形態之圖像處理裝置100中之上述相關性，1202表示於本第1實施形態之圖像處理裝置輸出之合成圖像中選擇長蓄圖像之區域與選擇短蓄圖像之區域之切換點。
根據圖9，可知於本第1實施形態之圖像處理裝置100之合成圖像之S/N特性中，與現存之圖像處理裝置相比存在以下差分。
由於長蓄圖像較暗地進行曝光，因此低亮度部分之S/N降低。以圖9中記載之符號1210表示上述S/N之降低量。
短蓄圖像之曝光雖不變，但於合成圖像中選擇長蓄圖像之區域與選擇短蓄圖像之區域之切換點向高亮度側偏移，因此上述切換點中之S/N提高。
以圖9中記載之符號1211表示上述S/N之提高量。
即，於本第1實施形態之圖像處理裝置100中，與先前技術1中記載之圖像處理裝置相比具有以下效果。
於低照度之場景中，減輕合成圖像中之高亮度部分之S/N降低。取而代之會產生低亮度部分之S/N降低之副作用，但該副作用可藉由將較弱之濾波器應用於畫面整體，而與依然殘留於高亮度側之S/N降低相一併消除。
由於無需僅於畫面之一部分套用較強之濾波器，因此於合成圖像中不會產生於選擇長蓄圖像之區域與選擇短蓄圖像之區域之邊界中產生之不自然。
當然，併用先前技術1與本第1實施形態之技術，藉此於高照度時與低照度時雙方之場景中均可獲得更高圖像質量之合成圖像。
再者，作為本發明之第1實施形態之圖像處理裝置100之副作用，雖已敘述低亮度部分之S/N降低，但其於以下之條件下未必會產生。
於照度極端低、即便於長蓄圖像之最長曝光時間亦無法收斂曝光控制之場景中，實施PGA增益之增益提昇之情形，且設定滿足臨限值SHT≧長蓄圖像之最長曝光時間之臨限值SHT之情形。
於此條件下，短蓄目標曝光時間≧特定臨限值SHT，即便將長蓄圖像之曝光控制切換為短蓄圖像之曝光控制，長蓄圖像之「曝光時間」亦仍然為長蓄圖像之最長曝光時間而未變化，而僅有「PGA增益量」降低。
然而，尤其是使用數位增益作為PGA增益之方法之情形時，即便PGA增益量變化，亦不會產生輸出位準之S/N之變化，因此於上述長蓄圖像之曝光控制之切換前後不會產生S/N之降低。
另一方面，將PGA增益使用於短蓄圖像之曝光控制之情形時，存在即便場景為低照度、短蓄目標曝光時間亦不變長之情況。
例如，於以下2種情況中，短蓄圖像之曝光量基本上相同，但前者之S/N壓倒性地較差。
第1種情況：短蓄圖像之曝光時間為1/2000秒，PGA增益為10倍(=使用PGA增益)。
第2種情況：短蓄圖像之曝光時間為1/200秒，PGA增益為1倍(=不使用PGA增益)。
即，危險的是僅比較短蓄目標曝光時間與特定臨限值SHT而切換長蓄圖像之曝光控制。於如上述之情況下，較佳為對短蓄目標曝光時間與將特定臨限值SHT除以PGA增益量所得之值進行比較。
其次，對本發明之第2實施形態加以說明。
圖10為表示本發明之第2實施形態之圖像處理裝置之構成例的方塊圖。
本發明之第2實施形態中之圖像處理裝置100A與本發明之第1實施形態中之圖像處理裝置100之不同點(差分)僅為長蓄評估值合成部之功能。圖10與圖4相比作為方塊圖構成無變化。
因此此處僅對上述動作之差分加以說明。
圖11為表示本發明之第2實施形態之圖像處理裝置100A中之長蓄評估值合成部108A的處理之一例之流程圖。
處理開始後，長蓄評估值合成部108A檢查短蓄目標曝光時間STET與臨限值SHT1、臨限值SHT2之大小關係(步驟ST301)。此處，設為特定臨限值SHT1<特定臨限值SHT2。
若短蓄目標曝光時間STET<臨限值SHT1，則將第1長蓄評估值LEVA作為長蓄評估值LEV直接輸出至後段(步驟ST302)而結束處理。
若臨限值SHT1≦短蓄目標曝光時間STET<特定臨限值SHT2，則將插補第1長蓄評估值LEVA與第2長蓄評估值LEVB所得之值作為長蓄評估值LEV輸出至後段(步驟ST303)而結束處理。
若臨限值SHT2≦短蓄目標曝光時間STET，則將第2長蓄評估值LEVB作為長蓄評估值LEV直接輸出至後段(步驟ST304)而結束處理。
作為步驟ST303中之插補方法之一例可列舉線性插補，其公式如下。
[數3]
長蓄評估值LEV=長蓄評估值LEVA×(1-K)+長蓄評估值LEVB×K (式3)
(此處，K=(短蓄目標曝光時間-SHT1)/(SHT2-SHT1))
圖12為以曲線圖表示第2長蓄評估值LEVA、第2長蓄評估值LEVB之貢獻率隨著圖11所示之處理流程而對應於短蓄目標曝光時間如何變化之圖。
於圖12中，1401表示長蓄評估值A之貢獻率、1402表示長蓄評估值B之貢獻率。
根據第1實施形態之圖像處理裝置100，藉由比較1個臨限值SHT與短蓄目標曝光時間而數位性地進行長蓄評估值LEV之算出方法之切換。
因此，於短蓄目標曝光時間與臨限值SHT之值非常接近之場景中，有產生因被攝體之輕微變化或雜訊而頻繁切換2種長蓄評估值之算出方法即所謂之亂調之現象之虞。
但是，於藉由長蓄曝光控制部109求出長蓄圖像之曝光時間時，將時間常數足夠長之IIR濾波器應用於長蓄目標曝光時間，藉此上述現象不會成為長蓄圖像之曝光控制之亂調而表面化。
然而，於以提高曝光控制之收斂速度為目的而縮短上述時間常數之情形時，於第1實施形態之圖像處理裝置100中有可能會導致出現問題。
根據本第2實施形態之圖像處理裝置100A，除第1實施形態之圖像處理裝置100之效果以外，亦可提高曝光控制之收斂速度。
又，於將PGA增益使用於短蓄圖像之曝光控制之情形時，並非直接比較短蓄目標曝光時間與臨限值SHT1、SHT2。
即，根據第2實施形態之圖像處理裝置100A，與第1實施形態之圖像處理裝置100相同，較佳為對短蓄目標曝光時間與臨限值SHT1、SHT2除以PGA增益量所得之值進行比較。
其次，對本發明之第3實施形態加以說明。
圖13為表示本發明之第3實施形態之圖像處理裝置之構成例的方塊圖。
本第3實施形態之圖像處理裝置100B與第1及第2實施形態之圖像處理裝置100、100A之不同點(差分)僅為合成部111B之功能。因此此處僅對合成部之差分加以說明。
合成部111B至少輸入長蓄圖像、短蓄圖像、短蓄目標曝光時間STET，並輸出對2個圖像進行合成而得之合成圖像或長蓄圖像之任一者。
圖14為表示本第3實施形態之圖像處理裝置100B之合成部111中之處理流程之一例之流程圖。
處理開始後，合成部111B檢查短蓄目標曝光時間與臨限值SHT3之大小關係(步驟ST401)。此處，將臨限值SHT3設為滿足以下關係者。
[數4]
臨限值SHT3≧特定臨限值SHT或特定臨限值SHT2(式4)
於短蓄目標曝光時間STET<臨限值SHT3之情形(步驟ST401/YES)時，實施與第1或第2實施形態之圖像處理裝置100、100A中之合成部111等價之處理。
即，對長蓄圖像與短蓄圖像進行合成，並將合成而得之合成圖像輸出至後段(步驟ST402)而結束處理。
另一方面，於短蓄目標曝光時間≧臨限值SHT3之情形(步驟ST401/NO)時，不進行上述合成而直接將長蓄圖像輸出(步驟ST403)，從而結束處理。
第1或第2實施形態之圖像處理裝置100、100A中之合成部111輸出之圖像，通常係對長蓄圖像與短蓄圖像加以合成後輸出。
然而，於低照度之場景中，若長蓄圖像之曝光控制澈底切換為短蓄圖像之曝光控制，則即便不進行合成而輸出長蓄圖像本身，亦不會產生成為問題之高亮度側之飽和。
此係不根據場景之照度而改變曝光控制之方法之先前技術2中記載之圖像處理裝置所不具有之效果。
圖15為表示為比較本發明之第1或第2實施形態之圖像處理裝置100、100A與本發明之第3實施形態之圖像處理裝置100B中之合成圖像的S/N特性而一併示為曲線圖之圖。
此處，1301表示第3實施形態之圖像處理裝置100B中之入射光量與合成圖像之S/N的相關性。
根據圖15，可知本第3實施形態之圖像處理裝置100B，與本發明之第1及第2之實施形態之圖像處理裝置100、100A相比存在以下追加效果。
即，根據本第3實施形態之圖像處理裝置100B，於低照度時，不使用短蓄圖像而僅輸出長蓄圖像，因此不會產生高亮度部分中之S/N之下降。
再者，本第1~第3實施形態之技術亦可應用於合成曝光時間不同之N個(N為3以上之整數)圖像之情況。
例如，首先，對於N個圖像中曝光時間最短之2個圖像，將曝光時間相對較長之圖像視為長蓄圖像，且將曝光時間相對較短之圖像視為短蓄圖像，應用本技術而獲得合成圖像。
其次，只要至最終獲得1個合成圖像為止回歸性地重複將殘留之圖像中曝光時間最短之1個視為長蓄圖像，且將上述合成圖像視為短蓄圖像，應用本技術而獲得新的合成圖像之步驟即可。
如以上說明，根據本實施形態之圖像處理裝置，可獲得以下效果。
於低照度之場景中，減輕合成圖像中之高亮度部分之S/N降低。相反產生低亮度部分之S/N降低之副作用，但該副作用可藉由將較弱之濾波器應用於畫面整體而與依然殘留於高亮度側之S/N降低相調合而消除。
無需僅於畫面之一部分套用較強之濾波器，因此於合成圖像中不產生於選擇長蓄圖像之區域與選擇短蓄圖像之區域之邊界上產生之不自然。
除上述效果以外，亦可提高曝光控制之收斂速度。
可抑制高亮度部分之S/N降低，且抑制產生曝光過度。
亦可使高亮度部分之S/N降低完全消失。
可應用具有此種效果之圖像處理裝置作為數位相機或視訊攝影機之攝像器件。
圖17為表示應用本發明之實施形態之圖像處理裝置之攝影系統的構成之一例之圖。
如圖16所示，本攝影系統200包括光學系統210及圖像處理裝置220。
圖像處理裝置220可應用本實施形態之圖像處理裝置100、100A、100B。
圖像處理裝置220係包含作為攝像器件之影像感測器221、信號處理電路(PRC)222及影像感測器驅動部(DRV)223而構成。
影像感測器221相當於圖4、圖10、圖13之影像感測器101，影像感測器驅動部223相當於圖4等之影像感測器驅動部110。
於信號處理電路222中包含圖4等之ADC102、同步部103、第1長蓄評估值算出部104、第2長蓄評估值算出部105、短蓄評估值算出部106、短蓄曝光控制部107、長蓄評估值合成部108、長蓄曝光控制部109及合成部111。
光學系統210為將入射光導入至作為攝像器件之影像感測器221之像素區域(使被攝體像成像)之光學系統，具有例如使入射光(像光)於攝像面上成像之透鏡211。
影像感測器驅動部223具有生成包含驅動影像感測器221內之電路之開始脈衝或時脈脈衝之各種時序信號之時序產生器(未圖示)，並以特定時序信號驅動影像感測器221。
又，信號處理電路222對影像感測器221之輸出信號實施如上所述之特定信號處理。
以信號處理電路222處理之圖像信號記錄於例如記憶體等記錄媒體。記錄媒體所記錄之圖像資訊藉由印表機等硬拷貝。又，將以信號處理電路340處理之圖像信號作為動態圖像而於包含液晶顯示器等之螢幕放映。
如上所述，於數位靜態相機等攝像裝置中，作為圖像處理裝置220，搭載上述圖像處理裝置100、100A、100B，藉此可獲得與上述相同之效果。
即，於低照度之場景中，減輕合成圖像中之高亮度部分之S/N降低。相反產生低亮度部分之S/N降低之副作用，但該副作用可藉由將較弱之濾波器應用於畫面整體而與依然殘留於高亮度側之S/N降低相調合而消除。
無需僅於畫面之一部分套用較強之濾波器，因此於合成圖像中不產生於選擇長蓄圖像之區域與選擇短蓄圖像之區域之邊界上產生之不自然。
進而，可提高曝光控制之收斂速度。
可抑制高亮度部分之S/N降低，且抑制產生曝光過度。
亦可使高亮度部分之S/N降低完全消失。
再者，以上詳細說明之方法係作為對應於上述步驟之程式而形成，亦可以CPU(Central Processing Unit，中央處理單元)等電腦執行之方式而構成。
又，此種程式可以藉由半導體記憶體、磁碟、光蝶、floppy(註冊商標)磁碟等記錄媒體，安裝該記錄媒體之電腦而存取並執行上述程式之方式構成。
100、100A、100B．．．圖像處理裝置
101．．．影像感測器
102．．．類比數位轉換部(ADC)
103．．．同步部
104．．．第1長蓄評估值(A)算出部
105．．．第2長蓄評估值(B)算出部
106．．．短蓄評估值算出部
107．．．短蓄曝光控制部
108、108A．．．長蓄評估值合成部
109．．．長蓄曝光控制部
110．．．影像感測器驅動部
111、111B．．．合成部
200．．．攝影系統
210．．．光學系統
220．．．圖像處理裝置
221．．．影像感測器
222．．．信號處理電路
223．．．影像感測器驅動部
1001、2001．．．長蓄圖像之輸入輸出特性
1002、2002．．．短蓄圖像之輸入輸出特性
1004、2104．．．合成圖像之輸入輸出特性
1006、1106、2106．．．於合成圖像中選擇長蓄圖像之入射光量之範圍
1007、1107、2107．．．於合成圖像中選擇短蓄圖像之入射光量之範圍
1201、1301．．．S/N之相關性
1202、2202．．．切換點
1210．．．S/N之降低量
1211．．．S/N之提高量
1401．．．長蓄評估值A之貢獻率
1402．．．長蓄評估值B之貢獻率
2003．．．雜訊位準
2005．．．長蓄圖像之輸出位準開始飽和之入射光量
2201．．．合成圖像之S/N特性
2203．．．合成前之長蓄圖像之S/N特性
2204．．．合成前之短蓄圖像之S/N特性
SHT1、SHT2．．．臨限值
圖1係以曲線圖表示關於長蓄圖像、短蓄圖像，向影像感測器之入射光量與輸出位準之相關性(輸入輸出特性)之圖。
圖2係以曲線圖表示合成長蓄圖像與短蓄圖像作為1個合成圖像輸出時之入射光量與合成圖像之輸出位準之相關性(合成圖像之輸入輸出特性)的圖。
圖3係以曲線圖表示使用圖2所示之合成方式時之入射光量與合成圖像之S/N的相關性(合成圖像之S/N特性)之圖。
圖4係表示本發明之第1實施形態之圖像處理裝置之構成例的方塊圖。
圖5係表示第1長蓄評估值算出部、第2長蓄評估值算出部、短蓄評估值算出部、短蓄曝光控制部、長蓄評估值合成部及長蓄曝光控制部中之處理之流程之一例的流程圖。
圖6係表示長蓄評估值合成部中之更詳細之處理之一例之流程圖。
圖7係以曲線圖表示使用本發明之第1實施形態之圖像處理裝置時之上述假定場景中的長蓄圖像之輸入輸出特性、短蓄圖像之輸入輸出特性、合成圖像之輸入輸出特性之圖。
圖8係表示為對本第1實施形態之圖像處理裝置與現存之圖像處理裝置進行比較而一併表示圖7中記載之各輸入輸出特性與圖2中記載之輸入輸出特性雙方之曲線圖的圖。
圖9係以曲線圖表示對本第1實施形態之圖像處理裝置與現存之圖像處理裝置中合成圖像之S/N特性進行比較之圖。
圖10係表示本發明之第2實施形態之圖像處理裝置之構成例的方塊圖。
圖11係表示本發明之第2實施形態之圖像處理裝置中之長蓄評估值合成部之處理之一例的流程圖。
圖12係以曲線圖表示第2長蓄評估值、第2長蓄評估值之貢獻率隨著圖11所示之處理流程而對應於短蓄目標曝光時間如何變化之圖。
圖13係表示本發明之第3實施形態之圖像處理裝置之構成例的方塊圖。
圖14係表示本第3實施形態之圖像處理裝置之合成部中之處理的流程之一例之流程圖。
圖15係表示為比較本發明之第1或第2實施形態之圖像處理裝置與本發明之第3實施形態之圖像處理裝置中之合成圖像的S/N特性而一併示為曲線圖之圖。
圖16係表示應用本發明之實施形態之圖像處理裝置之攝影系統的構成之一例之圖。
100．．．圖像處理裝置
101．．．影像感測器
102．．．類比數位轉換部(ADC)
103．．．同步部
104．．．第1長蓄評估值(A)算出部
105．．．第2長蓄評估值(B)算出部
106．．．短蓄評估值算出部
107．．．短蓄曝光控制部
108．．．長蓄評估值合成部
109．．．長蓄曝光控制部
110．．．影像感測器驅動部
111．．．合成部
Claims (18)
- 一種圖像處理裝置，其包括：影像感測器，其於至少1場期間對曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像曝光並進行拍攝而輸出；第1長蓄評估值算出部，其自長蓄圖像算出曝光評估值作為第1長蓄評估值並輸出；第2長蓄評估值算出部，其基於與上述第1長蓄評估值算出部不同之方法，自長蓄圖像算出曝光評估值作為第2長蓄評估值並輸出；短蓄評估值算出部，其自短蓄圖像算出曝光評估值作為短蓄評估值並輸出；短蓄曝光控制部，其自上述短蓄評估值與第1目標位準取得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成部，其藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而取得長蓄評估值；長蓄曝光控制部，其自上述長蓄評估值與第2目標位準取得長蓄曝光控制資訊；及合成部，其根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
- 如請求項1之圖像處理裝置，其中包括根據上述長蓄曝光控制資訊與上述短蓄曝光控制資訊而驅動上述影像感測器之影像感測器驅動部。
- 如請求項1或2之圖像處理裝置，其中於上述長蓄曝光控制資訊與上述短蓄曝光控制資訊中包含曝光時間之資訊。
- 如請求項1或2之圖像處理裝置，其中上述第1長蓄評估值算出部於低亮度側、上述第2長蓄評估值算出部於高亮度側、且短蓄評估值算出部於高亮度側分別按比重算出曝光評估值。
- 如請求項4之圖像處理裝置，其中於上述第2長蓄評估值算出部與上述短蓄評估值算出部中，上述比重相同。
- 如請求項1或2之圖像處理裝置，其中上述第1目標位準與上述第2目標位準為相同值。
- 如請求項1或2之圖像處理裝置，其中上述長蓄評估值合成部係若上述短蓄目標曝光時間未達第1臨限值，則將上述第1長蓄評估值作為上述長蓄評估值，而若上述短蓄目標曝光時間為上述第1臨限值以上，則將上述第2長蓄評估值作為上述長蓄評估值。
- 如請求項7之圖像處理裝置，其中上述第1臨限值為大於長蓄圖像之最短曝光時間及短蓄圖像之最長曝光時間之值。
- 如請求項7之圖像處理裝置，其中於短蓄圖像中之PGA增益量較大時，上述第1臨限值較小。
- 如請求項1或2之圖像處理裝置，其中上述長蓄評估值合成部係 若上述短蓄目標曝光時間未達第2臨限值，則將上述第1長蓄評估值作為上述長蓄評估值，若上述短蓄目標曝光時間為第3臨限值以上，其中上述第3臨限值大於上述第2臨限值，則將上述第2長蓄評估值作為上述長蓄評估值，若上述短蓄目標曝光時間為上述第2臨限值以上且未達上述第3臨限值，則將以特定方法插補上述第1長蓄評估值與上述第2長蓄評估值所得之值作為上述長蓄評估值。
- 如請求項10之圖像處理裝置，其中上述第2臨限值為大於長蓄圖像之最短曝光時間及短蓄圖像之最長曝光時間之值。
- 如請求項10之圖像處理裝置，其中於短蓄圖像中之PGA增益量較大時，上述第2及第3臨限值較小。
- 如請求項1或2之圖像處理裝置，其中若上述短蓄目標曝光時間為第4臨限值以上，則於上述合成部中，非將長蓄圖像與短蓄圖像之合成圖像、而將長蓄圖像本身輸出至後段。
- 如請求項13之圖像處理裝置，其中上述第4臨限值為上述第1臨限值以上。
- 如請求項13之圖像處理裝置，其中上述第4臨限值為上述第3臨限值以上。
- 一種攝影系統，其包括：圖像處理裝置，其包含影像感測器；及光學系統，其使被攝體像成像於上述影像感測器；且 上述圖像處理裝置包括：影像感測器，其於至少1場期間對曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像曝光並進行拍攝而輸出；第1長蓄評估值算出部，其自長蓄圖像算出曝光評估值作為第1長蓄評估值並輸出；第2長蓄評估值算出部，其基於與上述第1長蓄評估值算出部不同之方法自長蓄圖像算出曝光評估值作為第2長蓄評估值並輸出；短蓄評估值算出部，其自短蓄圖像算出曝光評估值作為短蓄評估值並輸出；短蓄曝光控制部，其自上述短蓄評估值與第1目標位準取得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成部，其藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而取得長蓄評估值；長蓄曝光控制部，其自上述長蓄評估值與第2目標位準取得長蓄曝光控制資訊；影像感測器驅動部，其根據上述長蓄曝光控制資訊與上述短蓄曝光控制資訊而驅動上述影像感測器；及合成部，其根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
- 一種圖像處理方法，其包括： 攝像步驟，於至少1場期間拍攝曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像；第1長蓄評估值算出步驟，自長蓄圖像算出曝光評估值而獲得第1長蓄評估值；第2長蓄評估值算出步驟，基於與上述第1長蓄評估值算出部不同之方法自長蓄圖像算出曝光評估值而獲得第2長蓄評估值；短蓄評估值算出步驟，自短蓄圖像算出曝光評估值而獲得短蓄評估值；短蓄曝光控制步驟，自上述短蓄評估值與第1目標位準獲得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成步驟，藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而獲得長蓄評估值；長蓄曝光控制步驟，自上述長蓄評估值與第2目標位準獲得長蓄曝光控制資訊；及合成步驟，根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
- 一種使電腦執行圖像處理之程式，該圖像處理包括：攝像處理，於至少1場期間拍攝曝光時間較長之圖像即長蓄圖像、曝光時間較短之圖像即短蓄圖像之2個圖像；第1長蓄評估值算出處理，自長蓄圖像算出曝光評估 值而獲得第1長蓄評估值；第2長蓄評估值算出處理，基於與上述第1長蓄評估值算出部不同之方法自長蓄圖像算出曝光評估值而獲得第2長蓄評估值；短蓄評估值算出處理，自短蓄圖像算出曝光評估值而獲得短蓄評估值；短蓄曝光控制處理，自上述短蓄評估值與第1目標位準獲得短蓄目標曝光時間與短蓄曝光控制資訊；長蓄評估值合成處理，藉由以特定方法根據上述短蓄目標曝光時間合成上述第1長蓄評估值與上述第2長蓄評估值而獲得長蓄評估值；長蓄曝光控制處理，自上述長蓄評估值與第2目標位準獲得長蓄曝光控制資訊；及合成處理，根據上述長蓄曝光控制資訊及上述短蓄曝光控制資訊而自長蓄圖像與短蓄圖像生成1個圖像。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010124491A JP2011254125A (ja) | 2010-05-31 | 2010-05-31 | 画像処理装置、カメラシステム、画像処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201208364A TW201208364A (en) | 2012-02-16 |
| TWI459804B true TWI459804B (zh) | 2014-11-01 |
Family
ID=45010345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100116369A TWI459804B (zh) | 2010-05-31 | 2011-05-10 | An image processing apparatus, a photographing system, an image processing method, and a program |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US8488016B2 (zh) |
| JP (1) | JP2011254125A (zh) |
| KR (1) | KR20110132224A (zh) |
| CN (1) | CN102263911A (zh) |
| TW (1) | TWI459804B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5701664B2 (ja) * | 2011-04-07 | 2015-04-15 | オリンパス株式会社 | 撮像装置 |
| JP5333522B2 (ja) * | 2011-06-06 | 2013-11-06 | カシオ計算機株式会社 | 動画生成装置、動画生成方法、および、プログラム |
| US9131172B2 (en) * | 2012-11-30 | 2015-09-08 | Hanwha Techwin Co., Ltd. | Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image |
| US9888240B2 (en) * | 2013-04-29 | 2018-02-06 | Apple Inc. | Video processors for preserving detail in low-light scenes |
| TWI464526B (zh) * | 2013-08-08 | 2014-12-11 | Quanta Comp Inc | 高動態範圍影像曝光時間控制方法 |
| TWI645707B (zh) * | 2013-10-21 | 2018-12-21 | 索尼半導體解決方案公司 | Solid-state imaging device and electronic device |
| US9544505B2 (en) * | 2014-04-11 | 2017-01-10 | Hanwha Techwin Co., Ltd. | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof |
| GB2537886B (en) * | 2015-04-30 | 2022-01-05 | Wsou Invest Llc | An image acquisition technique |
| KR102628911B1 (ko) | 2019-01-07 | 2024-01-24 | 삼성전자주식회사 | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 |
| CN109581732A (zh) * | 2019-01-25 | 2019-04-05 | 京东方科技集团股份有限公司 | 一种电子设备及其控制方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3557159B2 (ja) * | 2000-08-03 | 2004-08-25 | 三洋電機株式会社 | 機械式絞り装置を具備するビデオカメラ |
| JP2002069355A (ja) | 2000-08-28 | 2002-03-08 | Nippon Sheet Glass Co Ltd | 凹版印刷用インキ組成物およびそれを用いた印刷物 |
| JP4178046B2 (ja) | 2003-01-17 | 2008-11-12 | 富士フイルム株式会社 | デジタルカメラ |
| US20060182430A1 (en) * | 2005-02-15 | 2006-08-17 | Stavely Donald J | Camera exposure program coupled to image stabilization capability |
| JP4178480B2 (ja) * | 2006-06-14 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
| JP4815330B2 (ja) * | 2006-11-17 | 2011-11-16 | 富士フイルム株式会社 | 撮影装置及びその制御方法 |
| JP2009147608A (ja) * | 2007-12-13 | 2009-07-02 | Sony Corp | 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体 |
| JP4770907B2 (ja) * | 2008-10-21 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
-
2010
- 2010-05-31 JP JP2010124491A patent/JP2011254125A/ja active Pending
-
2011
- 2011-04-26 US US13/064,913 patent/US8488016B2/en active Active
- 2011-05-09 KR KR1020110043372A patent/KR20110132224A/ko not_active Application Discontinuation
- 2011-05-10 TW TW100116369A patent/TWI459804B/zh not_active IP Right Cessation
- 2011-05-24 CN CN2011101354279A patent/CN102263911A/zh active Pending
-
2013
- 2013-06-26 US US13/927,508 patent/US8786726B2/en not_active Expired - Fee Related
-
2014
- 2014-06-20 US US14/310,021 patent/US9030573B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110132224A (ko) | 2011-12-07 |
| US20110292243A1 (en) | 2011-12-01 |
| CN102263911A (zh) | 2011-11-30 |
| US20130286247A1 (en) | 2013-10-31 |
| JP2011254125A (ja) | 2011-12-15 |
| US20140300771A1 (en) | 2014-10-09 |
| US8488016B2 (en) | 2013-07-16 |
| US9030573B2 (en) | 2015-05-12 |
| TW201208364A (en) | 2012-02-16 |
| US8786726B2 (en) | 2014-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI459804B (zh) | An image processing apparatus, a photographing system, an image processing method, and a program | |
| JP4424402B2 (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
| JP4561912B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US10110812B2 (en) | Image pickup apparatus and image pickup method | |
| JP2012235332A (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
| JP2009152669A (ja) | 撮像装置、撮像処理方法及び撮像制御プログラム | |
| JP2014154982A (ja) | 撮像装置およびその制御方法 | |
| JP6703847B2 (ja) | 撮像装置及び撮像方法 | |
| JP5759190B2 (ja) | 撮像装置及びその制御方法 | |
| JP2008005081A (ja) | 認証装置 | |
| JP2014017681A (ja) | 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体 | |
| JP2010093679A (ja) | 撮像装置及び撮像制御方法 | |
| JP4893569B2 (ja) | 撮像装置、撮像制御方法及び撮像制御プログラム | |
| JP6831493B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| KR101417816B1 (ko) | 디지털 이미지 촬영 장치, 상기 장치의 노출 제어 방법,디지털 이미지 촬영 방법 및 상기 디지털 이미지 촬영방법을 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 | |
| JP4629002B2 (ja) | 撮像装置 | |
| JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
| JP2006262221A (ja) | 撮像装置および画像処理方法 | |
| JP5268823B2 (ja) | 撮像装置及び撮像方法 | |
| JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
| JP5091734B2 (ja) | 撮像装置および撮像方法 | |
| JP5145876B2 (ja) | 撮像装置および撮像方法 | |
| JP5292829B2 (ja) | 撮像装置 | |
| JP2002218320A (ja) | 撮像装置およびその制御方法 | |
| JP2005286819A (ja) | 撮像装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |