TWI590192B - 適應性高動態範圍影像合成演算法 - Google Patents
適應性高動態範圍影像合成演算法 Download PDFInfo
- Publication number
- TWI590192B TWI590192B TW105123812A TW105123812A TWI590192B TW I590192 B TWI590192 B TW I590192B TW 105123812 A TW105123812 A TW 105123812A TW 105123812 A TW105123812 A TW 105123812A TW I590192 B TWI590192 B TW I590192B
- Authority
- TW
- Taiwan
- Prior art keywords
- dynamic range
- high dynamic
- image
- range image
- weight
- Prior art date
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本發明係關於一種可學習的影像合成方法，尤指一種適應性高動態範圍影像合成演算法。
一般數位相機所拍攝影像中可呈現的最黑/最白的比值（即對比率Contrast Ratio），取決於光感應元件的靈敏度，一般數位相機所採用的光感應元件，其對比率約為1:4,096，然而，人眼可辨識影像的對比度卻高達1:100,000，約為一般數位相機的24倍，因此，利用數位相機拍照時，其影像細節容易因陰影太暗或亮部太亮而遺失細節，為此，現有一種高動態範圍影像（High Dynamic Range Image）合成技術，可用以重製影像而增加數位相機拍攝影像的動態範圍，以減少影像細節之遺失。
早期的高動態範圍影像（HDRI）主要係由人工進行後製合成，攝影師可以配合一般數位相機則內建的自動包圍曝光（Auto Exposure Bracketing，AEB）進行影像拍攝，即於拍攝影像時開啟自動包圍曝光功能，使數位相機以不同曝光度拍攝複數張影像，再將複數張影像以影像後製軟體進行高動態範圍影像之合成。
現有影像處理軟體多已具配高動態範圍影像合成功能，其中一種合成技術係利用輸入影像中每個畫素的對比度（Contrast）、飽和度（Saturation）及曝光度（Well-Exposedness），簡稱
CSE，三者之乘積作為合成權重，再將位置相對應的複數像素依據其合成權重進行合成，進而得到高動態範圍影像。
目前高動態範圍影像合成技術已逐漸應用於智慧型手機或高階的數位相機上，使用者可於拍攝影像後，經由智慧型手機或數位相機之運算而得到高動態範圍影像，但由於上述高動態範圍影像合成技術涉及高度影像處理的專業知識，因此目前並無提供使用者調整網路參數、合成權重或合成公式等功能，是以，現有內建於智慧型裝置或數位相機上的高動態範圍影像合成影像功能無法適應於不同拍攝習慣的使用者，且合成的效果仍不佳，造成多數使用者仍必須自行利用影像合成軟體以後製的方式進行高動態範圍影像合成，如此，除了需要高度專業技術以外，亦需花費時間以人工進行影像後製處理。
有鑒於現有高動態範圍影像合成方法無法適應不同使用者拍攝習慣之技術缺陷，本發明係提出一種適應性高動態範圍影像合成演算法，係包含有：
建立一機器學習暨影像合成模型，該機器學習暨影像合成模型係預設有複數網路參數，並於接收複數不同曝光度的原始影像後，依據網路參數合成一參考高動態範圍影像；
取得一影像資料庫，該影像資料庫包含複數影像組，各影像組包含複數張不同曝光度的原始影像；
執行一訓練步驟，係將該影像資料庫的複數影像組輸入該機器學習暨影像合成模型，使該機器學習暨影像合成模型比對原始影像及對應的參考高動態範圍影像後，調整其網路參數；
進行高動態範圍影像合成，係將一組待合成影像輸入訓練後的機器學習暨影像合成模型，使該機器學習暨影像合成模型依據調整後的網路參數合成一輸出高動態範圍影像。
上述適應性高動態範圍影像合成演算法，可由使用者提供影像資料庫對機器學習暨影像合成模型進行優化訓練，藉此即可適應不同拍攝習慣的使用者，除此之外，上述適應性高動態範圍影像合成演算法係利用機器學習之原理調整網路參數，使用者不需具備影像處理的專業知識即可進行操作，有利於推廣普及。
請配合參閱圖1，本發明適應性高動態範圍影像合成演算法主要步驟包含：
建立一機器學習暨影像合成模型，該機器學習暨影像合成模型係預設有複數網路參數，並於接收複數不同曝光度的原始影像後，依據網路參數合成一參考高動態範圍影像，本實施例中，係以類神經網路進行影像合成權重值之計算，故可藉由調整該複數網路參數達到調整合成權重之目的，其詳細步驟於後說明；
取得一影像資料庫，該影像資料庫包含複數影像組，各影像組包含複數張不同曝光度的原始影像；
執行一訓練步驟，係將該影像資料庫的複數影像組輸入該機器學習暨影像合成模型，使該機器學習暨影像合成模型比對原始影像及對應的參考高動態範圍影像後，調整其網路參數；
進行高動態範圍影像合成，係將一組待合成影像輸入訓練後的機器學習暨影像合成模型，使該機器學習暨影像合成模型依據調整後的網路參數合成一輸出高動態範圍影像。。
請進一步配合參閱圖2，上述機器學習暨影像合成模型，執行步驟包含一權重計算程序、一高動態範圍影像合成程序及一參數優化程序，其可以硬體或以軟體達成，該權重計算程序係接收原始影像各像素的對比度、飽和度及亮度後，依據該複數網路參數進行計算而輸出一合成權重，該高動態範圍影像合成程序係接收複數原始影像及該權重計算程序所計算出對應各像素的合成權重，並依據該合成權重將該複數原始影像合成該參考高動態範圍影像，該參數優化程序係接收原始影像及對應的參考高動態範圍影像，並比對參考高動態範圍影像及對應的原始影像後，調整該權重計算程序之網路參數，其步驟容後詳述之。
上述權重計算程序係以一類神經網路達成，其架構圖如圖3所示，其包含一輸入層、一隱藏層及一輸出層，該輸入層係接收原始影像各像素之對比度、飽和度及亮度，該隱藏層係依據該複數內部函數以一激發函數進行轉換而輸出該合成權重
Y，於本實施例中，該複數網路參數至少包含輸入權重
w
11~w
3h 、激發函數
φ
1~φ
h 及輸出權重
β
1~β
k ，該輸出層係輸出對應各像素的合成權重，關於上述原始影像各像素的對比度、飽和度及亮度，係分別以下列方法計算：
對比度參數C是利用像素灰階化及拉普拉斯轉換取得；
飽和度參數S係利用HSV模型取得：
亮度參數L為像素之灰階值
整理上述權重計算程序隱藏層之激發函數如下所示：
（w為輸入權重、x為輸入、b為偏權值），w與b為介於0至1之間隨機決定之值。
又，上述權重計算程序第一次計算合成權重時，可初始設定網路參數使其合成權重恰為對比度、飽和度及亮度三者相乘之乘積
，再由後續訓練步驟進一步調整網路參數。
曝光度參數
係利用高斯曲線取得：
，
為像素之正規化灰階值，
設為一固定值0.2。
請進一步配合參閱圖4，為減少高動態範圍影像發生合成接縫之現象，上述高動態範圍影像合成程序係採用拉普拉斯金字塔及高斯金字塔之影像處理進行高動態範圍影像合成，其包含以下步驟：
將複數原始影像進行複數階層的高斯金字塔轉換及拉普拉斯金字塔轉換；
依據原始影像各像素之合成權重得到一合成權重圖（Weight Map），係對應各像素的合成權重，依對應像素之位置合成該合成權重圖，並將該合權重圖進行高斯金字塔轉換；
將經過轉換後的複數原始影像與對應對經過轉換後的合成權重圖依據相對層級相乘（Level to Level），再將相乘後各層級的影像疊加，如圖5所示，以得到該參考高動態範圍影像。
（即
，G為經過高斯金字塔轉換的合成權重圖，L為經過拉普拉斯金字塔轉換的原始影像。）
上述高斯金字塔轉換式如下：（R為Reduce，高斯金字塔層級越高，影像大小越小）
其中i、j為像素點之座標，l為為金字塔層數，w為
上述拉普拉斯金字塔轉換式如下：
其中E為Enhance，拉普拉斯金字塔層級越高，影像大小越小。
疊加之演算式如下：
=
=
其中N為最大之金字塔層級；
L與g分別代表拉普拉斯與高斯金字塔。
再請進一步配合參閱圖6，本發明適應性高動態範圍影像合成演算法執行訓練步驟時，係由上述參數優化程序接收原始影像及該高動態範圍影像合成程序所合成對應的參考高動態範圍影像後，進行以下步驟：
取得複數原始影像及其對應的參考高動態範圍影像；
比對參考高動態範圍影像與複數原始影像之結構相似性（Structural Similarity Index，SSIM），並以灰階值是否介於255*0.1與255*0.9之間確定原始影像中各像素是否正常曝光，實作上可設定一基準值，若算出結構相似性低於該基準值且無過度曝光，則判定為曝光正常，判斷是否曝光正常的依據可設定其他條件，不限於上述條件；
若曝光正常，則增加對應該像素的合成權重，以取得新的合成權重，於本實施例中，係於每次判斷後，將合成權重乘上（1+0.1），以增加合成權重；
依據以前一步驟算出新的合成權重為學習目標，調整上述權重計算程序的網路參數，其詳細調整方式於後說明；
取得新的合成權重，以及取得新的參考高動態範圍影像，並回到比對參考高動態範圍影像與原始影像結構相似性之步驟，係交由權重計算程序重新計算新的合成權重，並由該高動態範圍影像合成程序合成新的參考高動態範圍影像，再交由優化程序再次計算結構相似性及調整網路參數。
上述參數優化程序調整激發函數之步驟，係以一線上序列極限機器學習（Online Sequential ELM ，簡稱OSELM）計算新的網路參數，本實施例係以計算新的輸出權重β
1~β
k為例，上述線上序列極限機器學習係如圖7所示，於本實施例中，繼重新計算上述激發函數H
0複數網路參數中的輸出權重β，詳細如下式：
*H
其中β
d+1為調整後的輸出權重，T即為再次經過激發函數後輸出的合成權重。
經實際實驗數據顯示，上述權重計算程序中類神經網路之節點數超過50，可使其錯誤率收斂並降低至穩定的範圍，是以，上述類神經網路之節點可設定為50，本實施例較佳地設定為100。
又上述參數優化程序係以遞迴運算重複調整類神經網路之網路參數，以達到學習之目的，其遞迴次數可預設一優化次數，於反覆執行調整網路參數之次數達到該優化次數後停止執行優化程序，或設定以SSIM指標值為終止訓練之條件，或者兩者搭配作為停止訓練之條件。
本發明適應性高動態範圍影像合成演算法可內建於數位相機或智慧型可攜式裝置，由使用者自行拍攝之照片作為影像資料庫，以對該機器學習暨影像合成模型進行訓練，以調整權重計算程序的網路參數，如此可使該機器學習暨影像合成模型適應不同使用者的使用習慣。
上述機器學習暨影像合成模型中參數優化程序的目的係為調整權重計算程序的網路參數，可不必於每次進行高動態範圍影像合成時皆透過參數優化程序進行參數優化，意即，當使用者以自行拍攝之影像資料庫對機器學習暨影像合成模型訓練完畢後，其網路參數多半已收斂，其後續輸入之照片即可直接利用先前調整出的網路參數進行高動態範圍影像合成輸出輸出高動態範圍影像即可。
本發明適應性高動態範圍影像合成演算法除可達到適應不同使用者習慣之目的以外，亦可提高影像合成之品質，為以統計數據呈現影像合成品質，以下利用三個影像指標配合圖7及圖8數據說明。
實驗利用影像指標值作為評估高動態範圍影樣品質之指標，該指標值越大，表示影像品質越高，影像指標值之計算方式為ASSIM*STD*IE*1000，其中：
其中：
為各像素的SSIM指標值，p為總像素數量，M、N為各行、列的總像素數。
其中：
為平均亮度，
為座標(i,j)像素的亮度。
其中：L為灰階像素的總階數，p
i為第i階像素之機率。
而圖7所示的實驗數據統計中顯示，圖中標示image1~image36分別為36組測試影像，針對各組測試影像計算兩個指標值，左邊柱狀標示以傳統的高動態範圍影像（不調整合成權重）與原影像對照後算出的影像指標值，右邊柱狀標示以本發明適應性高動態範圍影像合成演算法合成之高動態範圍影像與原影像對照算出的影像指標值，圖中可看出，本發明相較於傳統高動態範圍影像合成方法，可提升合成影像的品質，圖8統計數據則顯示平均而言，本發明適應性高動態範圍影像合成演算法具有更佳的影像優化效果。
圖1：為本發明之流程圖。 圖2：為圖1中執行訓練步驟之細部流程圖。 圖3：為圖2中權重計算程序步驟以類神經網路實施之示意圖。 圖4：為圖2中高動態範圍影像合成程序步驟之細部流程圖。 圖5：為圖4中高斯及拉普拉斯金字塔轉換示意圖。 圖6：為圖2中參數優化程序步驟之細部流程圖。 圖7：為本發明與現有技術比較之一實驗數據統計圖。 圖8：為本發明與現有技術比較之另一實驗數據圖。
Claims (10)
- 一種適應性高動態範圍影像合成演算法，係包含有： 建立一機器學習暨影像合成模型，該機器學習暨影像合成模型係預設有複數網路參數，並於接收複數不同曝光度的原始影像後，依據網路參數合成一參考高動態範圍影像； 取得一影像資料庫，該影像資料庫包含複數影像組，各影像組包含複數張不同曝光度的原始影像； 執行一訓練步驟，係將該影像資料庫的複數影像組輸入該機器學習暨影像合成模型，使該機器學習暨影像合成模型比對原始影像及對應的參考高動態範圍影像後，調整其網路參數； 進行高動態範圍影像合成，係將一組待合成影像輸入訓練後的機器學習暨影像合成模型，使該機器學習暨影像合成模型依據調整後的網路參數合成一輸出高動態範圍影像。
- 如請求項1所述之適應性高動態範圍影像合成演算法，機器學習暨影像合成模型係執行以下步驟： 執行一權重計算程序，係接收原始影像各像素的對比度、飽和度及亮度後，依據該複數網路參數進行計算而輸出一合成權重； 執行一高動態範圍影像合成程序，係接收複數原始影像及該權重計算程序所計算出各像素對應的合成權重，並依據該合成權重將該複數原始影像合成該參考高動態範圍影像；及 執行一參數優化程序，係接收原始影像及對應的參考高動態範圍影像，並比對參考高動態範圍影像及對應的原始影像後，調整該權重計算程序之網路參數。
- 如請求項2所述之適應性高動態範圍影像合成演算法，該權重計算程序係以一類神經網路達成，該類神經網路包含一輸入層、一隱藏層及一輸出層，該輸入層係接收原始影像各像素之對比度、飽和度及亮度，該隱藏層係依據該複數內部函數以一激發函數進行轉換而輸出該合成權重。
- 如請求項2所述之適應性高動態範圍影像合成演算法，該高動態範圍影像合成程序包含以下步驟： 將複數原始影像進行複數階層的高斯金字塔轉換及拉普拉斯金字塔轉換； 依據原始影像各像素之合成權重得到一合成權重圖（Weight Map），並將該合權重圖進行高斯金字塔轉換； 將經過轉換後的複數原始影像與對應的經過轉換後的合成權重圖依相對層級相乘，再將相乘後各層級的影像疊加，以得到該參考高動態範圍影像。
- 如請求項2所述之適應性高動態範圍影像合成演算法，該優化程序包含以下步驟： 取得複數原始影像及其對應的參考高動態範圍影像； 比對參考高動態範圍影像與複數原始影像之結構相似性，以確定原始影像中各像素是否正常曝光； 若正常曝光，則增加對應該像素的合成權重，以取得新的合成權重； 依據以前一步驟算出新的合成權重為學習目標，調整上述權重計算程序的網路參數； 取得新的合成權重，以及取得新的參考高動態範圍影像，並回到比對參考高動態範圍影像與原始影像結構相似性之步驟。
- 如請求項2所述之適應性高動態範圍影像合成演算法，該優化程序設定有一優化次數，並於反覆執行調整網路參數之次數達到該優化次數後停止執行優化程序。
- 如請求項3所述之適應性高動態範圍影像合成演算法，該高動態範圍影像合成程序包含以下步驟： 將複數原始影像進行複數階層的高斯金字塔轉換及拉普拉斯金字塔轉換； 依據原始影像各像素之合成權重得到一合成權重圖（Weight Map），並將該合權重圖進行高斯金字塔轉換； 將經過轉換後的複數原始影像與對應的經過轉換後的合成權重圖依相對層級相乘，再將相乘後各層級的影像疊加，以得到該參考高動態範圍影像。
- 如請求項7所述之適應性高動態範圍影像合成演算法，該優化程序包含以下步驟： 取得複數原始影像及其對應的參考高動態範圍影像； 比對參考高動態範圍影像與複數原始影像之結構相似性，以確定原始影像中各像素是否正常曝光； 若無正常曝光，則增加對應該像素的合成權重，以取得新的合成權重； 依據以前一步驟算出新的合成權重為學習目標，調整上述權重計算程序的網路參數； 取得新的合成權重，以及取得新的參考高動態範圍影像，並回到比對參考高動態範圍影像與原始影像結構相似性之步驟。
- 如請求項8所述之適應性高動態範圍影像合成演算法，該優化程序設定有一優化次數，並於反覆執行調整網路參數之次數達到該優化次數後停止執行優化程序。
- 如請求項8所述之適應性高動態範圍影像合成演算法，該複數網路參數至少包含輸入權重、激發函數及輸出權重，該優化程序係調整上述權重計算程序網路參數中的輸出權重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105123812A TWI590192B (zh) | 2016-07-27 | 2016-07-27 | 適應性高動態範圍影像合成演算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105123812A TWI590192B (zh) | 2016-07-27 | 2016-07-27 | 適應性高動態範圍影像合成演算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI590192B true TWI590192B (zh) | 2017-07-01 |
| TW201804434A TW201804434A (zh) | 2018-02-01 |
Family
ID=60048202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105123812A TWI590192B (zh) | 2016-07-27 | 2016-07-27 | 適應性高動態範圍影像合成演算法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI590192B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI695622B (zh) | 2018-09-06 | 2020-06-01 | 華晶科技股份有限公司 | 影像處理方法及影像處理裝置 |
-
2016
- 2016-07-27 TW TW105123812A patent/TWI590192B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| TW201804434A (zh) | 2018-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schwartz et al. | Deepisp: Toward learning an end-to-end image processing pipeline | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| US11882357B2 (en) | Image display method and device | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| CN110728648B (zh) | 图像融合的方法、装置、电子设备及可读存储介质 | |
| Wei et al. | Physics-based noise modeling for extreme low-light photography | |
| CN110728633B (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN111669514B (zh) | 高动态范围成像方法和装置 | |
| CN107590791B (zh) | 图像增强方法以及图像处理装置 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN103314572A (zh) | 用于图像处理的方法和设备 | |
| US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
| CN108600638B (zh) | 摄像机自动调焦***及方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN112581392A (zh) | 基于双向光照估计与融合修复的图像曝光校正方法、***及存储介质 | |
| CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| Fu et al. | Raw image based over-exposure correction using channel-guidance strategy | |
| US11816813B2 (en) | Image data pre-processing for neural networks | |
| TWI590192B (zh) | 適應性高動態範圍影像合成演算法 | |
| WO2023246392A1 (zh) | 图像获取方法、装置、设备和非瞬态计算机存储介质 | |
| US20230045128A1 (en) | Method and system for establishing light source information prediction model | |
| Liu et al. | Embracing Compact and Robust Architectures for Multi-Exposure Image Fusion | |
| CN114494080A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| CN113592753A (zh) | 基于工业相机拍摄的图像的处理方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |