TWI551141B - A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels - Google Patents

A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels Download PDF

Info

Publication number
TWI551141B
TWI551141B TW102147879A TW102147879A TWI551141B TW I551141 B TWI551141 B TW I551141B TW 102147879 A TW102147879 A TW 102147879A TW 102147879 A TW102147879 A TW 102147879A TW I551141 B TWI551141 B TW I551141B
Authority
TW
Taiwan
Prior art keywords
pixel
image
exposure
exposure value
pixels
Prior art date
Application number
TW102147879A
Other languages
English (en)
Other versions
TW201526640A (zh
Inventor
shi-jie Huang
Original Assignee
shi-jie Huang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by shi-jie Huang filed Critical shi-jie Huang
Priority to TW102147879A priority Critical patent/TWI551141B/zh
Publication of TW201526640A publication Critical patent/TW201526640A/zh
Application granted granted Critical
Publication of TWI551141B publication Critical patent/TWI551141B/zh

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

基於個別像素進行曝光映射之高動態範圍影像合成裝置及其方法
本發明係有關於一種高動態範圍影像合成裝置及其方法,尤指一種基於個別像素進行曝光映射之高動態範圍影像合成裝置及其方法。
由於感光元件於硬體上的限制,任何攝影設備均具有有限的動態影像範圍。在一幀影像之中,若亮部與暗部之間的亮度差距太大,在低動態範圍的情況下,將可能使得截取出的影像在亮部的位置呈現一片亮白、而暗部的位置全黑的情況,使得這些高光、低光區域中的影像細節(如輪廓、線條等資訊)遺失,造成影像無法忠實呈現真實畫面的問題。
為克服上述的問題,業界發展出了許多種可提高影像動態範圍的影像處理方式,經由這些影像處理方式產生的影像一般稱之為高動態範圍影像(High dynamic range imaging,HDRI)。一般而言,較為常見的高動態範圍成像技術,係藉由調整攝影設備的參數,對同一景象分別基於不同的曝光值進行取像,並將這些影像進行合成,藉由影像合成的方式使影像中的高光區及低光區都能保有細節、藉以忠實呈現影像的原貌,提高了影像中所能顯示的動態範圍。該項技術有助於在高反差的環境中進行清晰的攝影,或是用於焊接工人使用的護目面罩,於電焊接時藉由即時拍攝,將焊接的高反差影像進行合成處理以供操作者於顯示屏上找到焊點的位置,其應用範圍相當廣泛。
然而,上述的影像合成過程中,係基於鏡頭所拍攝的物件處於靜態的情況下合成影像,當鏡頭中拍攝的物件移動 時,每一圖像禎之間所述的物件將會產生些許偏移(視移動的速度及每秒取得圖像禎數量而定),而使得圖像禎與圖像禎之間略有差異,這類的偏移於影像合成中將有可能被視為雜訊(Noise),造成影像失真的問題。
再者,由於每張影像中的所有像素僅採用同一個曝光值作為基準值進行合成,於色調映射(Tone Mapping)時,每一個像素上因其亮度(Quantigraphic Measure)、相機響應函數(Camera Response)以及雜訊(Noise)干擾程度的不同,具備極高或極低亮度的像素在影像合成後仍可能有部分的高光或低光區域因反差太大仍然不能清楚的表示細節,使得影像中即便藉由高動態範圍處理過後仍有部分細節無法表示,不能達到完全的色調映射,實有改進之必要。
本發明之目的,在於解決一般於合成高動態範圍影像時,因拍照時的延遲產生雜訊、以及色調映射(Tone Mapping)時可能導致影像中亮部或暗部區域細節遺失之問題。
為解決上述問題,本發明提供一種基於個別像素曝光映射之高動態範圍影像合成裝置,包含有:一影像擷取模組、一影像處理模組、以及一遞迴控制模組。該影像擷取模組係用以取得複數張分別具有不同曝光值之影像。該影像處理模組用以依據兩兩曝光值相近之影像中同一位置像素之間的曝光值進行曝光值調校手段對該等像素進行曝光合成,藉以組成合成影像。該遞迴控制模組,係將所產生之合成影像重新傳送至該影像處理模組進行處理,直到該影像處理模組僅產生一張合成影像。
進一步地,該曝光值調校手段係將兩兩曝光值相近之影像中同一位置像素之曝光值依據下述公式進行權重分配:
進一步地,該曝光合成係依據該曝光值調校手段中權重分配後的曝光值,代入下述公式產生一合成像素:
進一步地,所述之基於全像素曝光值映射之高動態範圍影像合成裝置更進一步包含有一延展合成模組,若該兩影像中的第N像素間之該曝光值差值大於一閾值時,則該延展合成模組產生一虛擬像素,並依據該兩影像中的第N像素及該虛擬像素之間的曝光值差值分別產生一第一修正像素,以及一第二修正像素,再依據該第一修正像素以及該第二修正像素之間的曝光值差值產生該合成像素。
進一步地,該虛擬像素之曝光值係為該兩影像中第N像素的曝光值之平均值。
進一步地,該影像處理模組係依據每一該曝光值差值產生相對應之複數個映射函數,並依據所述之映射函數產生一查找表(look-up table,LUT),該影像處理模組係依據該兩影像中第N像素之間的曝光值差值代入該查找表以產生該合成像素。
本發明之另一目的,在於提供一種基於全像素曝光值映射之高動態範圍影像合成方法,該方法包含有以下步驟:(a)取得複數張分別具有不同曝光值之影像;(b)依據兩兩曝光值相近之影像中同一位置像素之間的藉由一曝光值調校手段,對該等像素進行曝光合成;(c)判斷若所述之合成影像張數不為1,則將所述之合成影像回傳至步驟(b)重新進行處理。
進一步地,該曝光值調校手段係依下述公式產生該合成像素:
進一步地,該像素合成程序包含有以下步驟:經由一權重分配程序產生一合成曝光值;以及依據該合成曝光值產生 一合成像素。
進一步地,該權重分配程序包含有以下步驟:測量曝光值較低之影像中第N像素的一第一曝光值,以及一第一權重係數;測量曝光值較高之影像中第N像素的一第二曝光值,以及一第二權重係數;以及將該第一曝光值乘以該第一權重係數並將該第二曝光值乘以該第二權重係數後相加,相加後除以該第一權重係數以及該第二權重係數之和以產生該合成曝光值,或可寫作如下公式:
進一步地,該第一權重係數以及該第二權重係數係為該兩影像中第N像素之亮度動態範圍取夏儂熵值(Shannon’s entropy)之反函數,或可寫作如下公式:
進一步地,該權重分配程序更進一步包含有以下步驟:若該兩影像中的第N像素間之該曝光值差值大於一閾值,則產生一虛擬像素,該虛擬像素之曝光值介於該兩影像中的第N像素之間;對該虛擬像素與兩影像中曝光值較低的第N像素執行該權重分配程序,以產生一第一修正像素;對該虛擬像素與兩影像中曝光值較高的第N像素執行該權重分配程序,以產生一第二修正像素;以及以該第一修正像素取代曝光值較低之影像中N像素,並以該第二修正像素取代曝光值較高之影像中第N像素,並執行該權重分配程序。
進一步地,於該像素合成程序中更包含有以下步驟:依據每一該曝光值差值產生相對應之一映射函數,並依據所述之映射函數產生一查找表(look-up table,LUT);以及依據該兩影像中第N像素之間的曝光值差值代入該查找表,以產生該合成像素。
是以,本發明較上述先前技術具備以下有益效果:
1.本發明之基於全像素曝光值映射之高動態範圍影像合成裝置及其方法,針對影像中每一個像素分別進行合成的方式,可完整顯示位於極亮、極暗處的影像細節。
2.本發明之延展合成模組係可於兩影像中的像素之間其曝光值差值過高時產生一曝光值居中的虛擬像素,並將該虛擬像素與兩影像進行合成,進而降低高曝光值差值所產生的影像鋸齒化、或合成像素超出動態範圍的臨界點等問題。
3.本發明更提供產生查找表之方式,藉此加速本發明整體演算法的效率,並能應用於動態影像如焊接畫面等進行高動態範圍影像合成處理,且不影響其畫面的流暢度。
100‧‧‧影像合成裝置
10‧‧‧影像擷取模組
20‧‧‧處理單元
21‧‧‧影像處理模組
22‧‧‧遞迴控制模組
23‧‧‧延展合成模組
S110至S160‧‧‧步驟
圖1係為本發明基於全像素曝光值映射之高動態範圍影像合成裝置之方塊圖。
圖2係為本發明之影像合成示意圖。
圖3-1及圖3-2係為本發明之影像合成輸出示意圖。
圖4係為本發明之查找表示意圖。
圖5至圖7係為本發明之方法流程圖。
茲就本案之結構特徵暨操作方式,並配合圖示說明,謹述於后,俾提供審查參閱。
關於本發明之技術請參照「圖1」,係為本發明基於個別像素進行曝光映射之高動態範圍影像合成裝置之方塊圖,如圖所示:所述之影像合成裝置100包含有:一影像擷取模組10、以及一處理單元20。該影像擷取模組10係選自由照相機鏡頭、攝影機鏡頭、掃瞄機鏡頭所構成之群組,用於對景物進行取像。該影像擷取模組10係基於不同的曝光值(exposure value)對同一景物進行取像,從而取得複數張具有不同曝光值的影像。該處理單元20係包含有一影像處理模組21,以及一遞迴控制模組22。該處理 單元20係可為一攝像裝置(如照相機、攝影機、掃瞄機等)中的影像處理單元,或是裝設於上述攝像裝置中之一現場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)晶片中之程式。於應用於桌上型電腦、手提電腦、行動裝置等實施態樣,該處理單元20可為設備中的運算器,則該影像處理模組21、該遞迴控制模組22可為繪圖軟體或影像處理軟體中之程式,於本發明中並不予以限制。
本發明之術語「個別像素曝光映射」係如下所述:在高動態範圍影像的合成過程中,每張影像均包含有N個像素,當兩兩影像進行合成時,在該兩兩影像的相同位置上係具有相對應的像素(Pixel),為便於後續說明,將該等位於相同位置之像素併稱為像素對(Pixel Pair),本發明係依據每一組像素對之間的曝光值差值,依權重分配(Weighted Sum Method),進行高動態範圍影像合成,有別於過去整張影像中所有像素均採用相同曝光值的合成方式。透過個別像素曝光映射所得的像素係依據下述公式(1)產生:
在公式(1)中,^q與^k均對應於影像中縱、橫位置上的一個座標,亦即所像素在影像上的座標,為簡化表示公式,在此且將^q與^k的座標省略。其中,P mapped 即為映射處理後之像素值;f代表攝像裝置的相機響應函數(camera response);^q代表該像素取其相機響應函數的返函數後,再除以已知的曝光度等所得到的亮度估測值;^k則為該像素的像素值取其反相機響應函數的反函數後,再除以影像進光亮所得到曝光度等級估測值,該曝光度等級^k與像素之曝光值EV之關係為^k=2EV,本發明的主要目的即是在於將兩張影像中各個像素的曝光值EV進行合成,以取得較為適切的曝光度等級^k
以下針對本發明所執行之影像處理程序作詳細之說明。
為便於理解本發明之影像合成方式,請參照「圖2」,係為本發明之影像合成示意圖,如圖所示:該影像處理模組21係將兩兩曝光值相近之影像進行合成,若影像的總數為I,則該影像處理模組21進行合成 程序後將產生I-1張合成影像,而該遞迴控制模組22係將所產生之合成影像重新傳送至該影像處理模組21進行處理,經過I-1次的遞迴之後,最終僅會保留一張合成影像,即為經動態範圍壓縮後可保有所有細節之高動態範圍影像。
更具體而言,該影像處理模組21於該影像擷取模組10取得之複數張影像中,選擇兩曝光值相近之影像,為便於說明,在此將該兩影像稱為影像i以及影像j,其中影像i的整體曝光值小於影像j的整體曝光值,且影像i中的第N個像素稱之為像素PNi,相對地,影像j中的第N個像素稱之為像素PNj,該像素PNi以及該像素PNj係為一組位於相同位置之像素對。承接前述步驟,該影像處理模組21計算像素PNi以及該像素PNj之間的一曝光值差值△EVi,j,並依據該曝光值差值△EVi,j以及該像素PNi、像素PNj之曝光值進行權重分配以產生一合成曝光值EVi,j,再將該合成曝光值EVi,j代入前述的公式(1)後即可取得映射產生的合成像素。當該影像處理模組21對N個像素對進行合成動作之後,便會產生N個合成像素,這些合成像素即可組合為高動態範圍影像。
本發明之術語「權重分配」,係將兩像素(PNi、PNj)之曝光值依據一定比重進行分配,其分配方式係由下述公式(2)決定:
在公式(2)中,經權重分配後之曝光值為EVi,j;而EVi、EVi分別代表兩像素本身的曝光值,而Ci、Cj為決定該兩像素的權重係數,且最後產生的曝光值為EVi,j會越接近權重係數較高者的曝光值。
然而,該權重係數Ci、Cj實際上必須依據該等像素之亮度的變動範圍而定,由於雜訊的干擾,在進行像素PNi以及該像素PNj的映射時會產生一個像素值可發散映射至多個像素值的問題,因而造成映射上的不確定性(uncertainty)。對此,本發明所採用之處理方法為求取該等像素之亮度的動態範圍,亦即將像素之亮度之最大值除以最小值後取其對數,並依據資訊理論中夏儂熵值(Shannon’s entropy)的模型求取該影像中動態範圍 的不確定性方程,該方程係選自由像素的曝光度、以及各個具有不同曝光值的影像像素之曝光值差值所組成之向量產生的樣本空間。在簡化攝像裝置的相機響應函數情況下,對該夏儂熵值取反函數,即可獲得兩影像各別之確定性函數(certainty functions),如公式(3),以像素PNi為例:
其中,C即為權重係數;Yi係為將像素PNi的像素值取其相機響應函數的反函數,並除以其亮度及曝光度等級所得到的值,在數學意義上,Yi便是由相機響應函數反推取得的曝光度等級估測值^k i與該像素實際的曝光度等級之比值,或寫作:
而HN係指在常態分布下,將Yi於向量ζ(定義為[亮度q,曝光值差值△EVi,j])的樣本空間中取其常態分佈之熵值。將所欲合成之兩像素的像素值代入該確定性函數後,可得到該像素在權重分配時的權重係數,並依據權重係數合成較為容易顯示其細節的曝光值。舉例而言,對一個較暗的區塊,其較曝光值低的像素的權重係數會相對於曝光值高的像素來得大,且在兩像素之間曝光值差值越高的情況下,彼此的權重係數間的差值也會提高。然上述方式僅供說明參考,依據相機響應函數的不同,亦可由其他數學模型推導得出不同的確定性方程,詳細可參照論文Technology and Society(ISTAS),2013 IEEE International Symposium on 27-29 June 2013,pages 98-106,High Dynamic Range Tone Mapping Based on Per-Pixel Exposure Mapping,而本發明僅討論相機響應函數為對數函數的狀況,其演算方法並非本發明所欲限制之。
承上所述,在該兩影像中第N像素對之間的曝光值差值過高時,像素之間的權重係數便會產生較大的差距,此一結果可能導致產生得高動態範圍影像仍然無法顯示出完整的影像細節。請一併參照圖3-1及圖3-2,係為本發明之影像合成輸出示意圖,如圖所示:圖3-1及圖3-2分別 代表一個僅有一維的影像,其橫軸代表影像中含有600個像素,縱軸則表示該等像素的像素值,由圖3-1可見,當曝光值差值過高時,僅採用權重分配來進行像素的合成將導致像素值的不連續,使得影像上可能產生類似鋸齒狀的現象,而由圖3-2最後兩個弧狀段的像素中可見,一個較暗的像素Pi以及一個極亮的像素Pj,兩者所合成的合成像素仍然可能超過可顯示的動態範圍的臨界值。
為解決上述問題,本發明之基於個別像素曝光映射之高動態範圍影像合成裝置100更進一步包含有一延展合成模組23,若該兩影像中的第N像素(像素PNi、像素PNj)之間的該曝光值差值大於一閾值時,該延展合成模組23產生一虛擬像素,並且將該像素PNi、像素PNj分別與該虛擬像素進行權重分配,以取得一第一修正像素,以及一第二修正像素,此時,若該第一修正像素及該第二修正像素之間的曝光值差值已減少至較合理的範圍,便可直接依據其曝光值差值產生該合成像素,若該第一修正像素及該第二修正像素之間的曝光值差值仍然過高,則該延展合成模組23再次產生虛擬像素並重複上述步驟直到曝光值差值進入合理範圍為止。所述之該閾值並無特定的數值,端視使用者對高動態範圍影像之細節呈現需求而定,若將該閾值降低,則可得到細節呈現品質較高的影像,但若閾值過低,反而可能導致影像模糊不清的問題,因此該閾值之大小須依照使用者需求設計在合理範圍內。於一較佳實施態樣中,該虛擬像素之曝光值係為該兩影像中第N像素的曝光值之平均值較佳,使產生的修正像素能最大限度地縮小曝光值差值,經此一程序處理後的影像等同於前述權重分配之延展,由圖3-1中可見,經該延展合成模組23處理後所產生的合成像素之間其像素值較為平滑,無鋸齒狀的現象,且由3-2中可見經該延展合成模組23處理後所產生的像素可有效地限制在動態範圍之內,而不會因曝光值差值過高導致影像的細節遺失等問題。
上述基於權重分配的影像合成方式若以演算法執行,且該影像擷取模組取得的影像數目為I,則此一演算法的時間複雜度(Time complexity)為O(I2),亦即取得的影像張數越多,進行運算所需花費的時間越長;另一方面,若因曝光值差值過高使得該延展合成模組需要產生V個 虛擬像素時,演算法的整體時間複雜度更劣化為O((VI)2),若對不斷變化的動態影像(例如先前技術中所提及之焊接影像)進行處理時,將會使整體畫面的幀數(Frames per second,FPS)過低而無法順暢地顯示影像。是以,本發明另提供一種加速整體演算法的方式,該影像處理模組21係依據每一該曝光值差值產生相對應之一映射函數,並依據所述之映射函數產生一查找表(look-up table,LUT),且該影像處理模組21依據該兩影像中第N像素之間的曝光值差值代入該查找表,以產生該合成像素。請參照圖4,係為本發明之查找表示意圖。具體而言,該查找表的產生方式是在每次進行像素對的權重分配時,先將曝光值差值較高的像素對透過該延展合成模組23***虛擬像素後進行合成,再將不同的曝光值差值所產生的映射結果歸納為一個映射函數,最後將所有映射函數組合於同一平面上即可完成圖4之查找表。實際使用時,該處理單元僅需而將兩兩該影像中各像素對的像素值以及曝光值差值帶入該查找表中,即可產生該合成像素,在理想狀態下可使演算法整體的時間複雜度優化至O(1),進而縮短了高動態範圍影像的合成處理時間。由於歸納取得該映射函數的方式係為該領域中通常知識者所熟習之技術,於本發明中便省略其詳細步驟。
以下說明本發明之基於全像素曝光值映射之高動態範圍影像合成方法,請參閱圖5至圖6,係為本發明之方法流程圖,如圖所示該方法包含有下述步驟:取得複數張分別具有不同曝光值之影像,該影像係包含有N個像素(S110)。其次,依據兩兩曝光值相近之影像中同一位置之第N像素係藉由一曝光值調校手段,對該等像素進行曝光合成,藉以組成合成影像(S120),其中該曝光值調校手段包含有以下步驟:經由一權重分配程序產生一合成曝光值(S121),以及依據該合成曝光值產生一合成像素(S122)。接續,將所產生之N個合成像素組成一合成影像(S130)。最後,判斷若所述之合成影像張數不為1,則將所述之合成影像回傳至步驟S120重新進行處理(S140)。藉由上述方法步驟,本發明可針對複數張影像中的同一位置的每一個像素對進行合成,最終取得一高動態範圍影像。
以下進一步說明本發明之像素合成之詳細過程,該權重分配程序如下:於該同一位置像素中,測量曝光值較低之影像中的一第一曝光 值,以及一第一權重係數。測量曝光值較高之影像中的一第二曝光值,以及一第二權重係數。最後,將該第一曝光值乘以該第一權重係數並將該第二曝光值乘以該第二權重係數後相加,相加後除以該第一權重係數以及該第二權重係數之和以產生該合成曝光值,並依據該合成曝光值產生一合成像素。其中該第一權重係數以及該第二權重係數係為該兩影像中第N像素之亮度動態範圍取夏儂熵值(Shannon’s entropy)之反函數。
為避免由於曝光值差值過高而造成的影像不連續、細節遺失等問題,該權重分配程序更進一步包含有以下步驟:若該兩影像中的第N像素間之該曝光值差值大於一閾值時,則產生一虛擬像素,該虛擬像素之曝光值介於該兩影像中的第N像素之間,於一較佳實施態樣中,該虛擬像素之曝光值係為該兩影像中第N像素的曝光值之平均值。接著,對該虛擬像素與兩影像中曝光值較低的第N像素執行該權重分配程序,以產生一第一修正像素、對該虛擬像素與兩影像中曝光值較高的第N像素執行該權重分配程序,以產生一第二修正像素。最後,以該第一修正像素取代曝光值較低之影像中第N像素,並以該第二修正像素取代曝光值較高之影像中第N像素,並執行該權重分配程序。
最後,為提升本發明之方法整體演算法之效率,於該像素合成程序中更包含有以下步驟:依據每一該曝光值差值產生相對應之一映射函數,並依據所述之映射函數產生一查找表(look-up table,LUT)。以及依據該兩影像中第N像素之間的曝光值差值代入該查找表,以產生該合成像素。
綜上所述,本發明之基於全像素曝光值映射之高動態範圍影像合成裝置及其操作方法,係可透過影像擷取模組取得複數張分別具有不同曝光值之影像,再經由影像處理模組合成為細節呈現度較高的合成影像,經遞迴控制模組,最終產生一高動態範圍影像。此外,當兩影像中的像素之間其曝光值差值過高時,可經由延展合成模組***虛擬像素,可避免終呈現的影像不連續或細節遺失之問題。本發明之方法可透過建立查找表加速整體演算法的運算,使本發明之基於全像素曝光值映射之高動態範圍影像合成裝置及其操作方法亦可針對連續變動的影像進行高動態範圍影像的合成處理,而不減低其畫面流暢程度。
本發明已藉上述較佳具體例進行更詳細說明,惟本發明並不限定於上述所舉例之實施態樣,凡在本發明所揭示之技術思想範圍內,對該等結構作各種變化及修飾,該等變化及修飾仍屬本發明之範圍。
100‧‧‧影像合成裝置
10‧‧‧影像擷取模組
20‧‧‧處理單元
21‧‧‧影像處理模組
22‧‧‧遞迴控制模組
23‧‧‧延展合成模組

Claims (10)

  1. 一種基於個別像素曝光映射之高動態範圍影像合成裝置,包含有:一影像擷取模組,用以取得複數張分別具有不同曝光值之影像;一影像處理模組,用以依據兩兩曝光值相近之影像中同一位置像素之間的曝光值進行曝光值調校手段對該等像素進行曝光合成,藉以組成合成影像,該兩兩曝光值相近之影像中同一位置像素之曝光值依據下述公式進行權重分配: 以及權重分配後的該曝光值代入下述公式產生該合成影像的合成像素: ;以及一遞迴控制模組,係將所產生之合成影像重新傳送至該影像處理模組進行處理,直到該影像處理模組僅產生一張合成影像。
  2. 如申請專利範圍第1項所述之影像合成裝置,更進一步包含有一延展合成模組,於兩兩該影像中同一位置像素間的曝光值差值大於一閾值時產生一虛擬像素,並依據二該影像中所述同一位置的像素及該虛擬像素之間的曝光值差值分別產生一第一修正像素,以及一第二修正像素,再依據該第一修正像素以及該第二修正像素之間的曝光值差值產生該合成像素。
  3. 如申請專利範圍第2項所述之影像合成裝置,其中該虛擬像素之曝光值係為兩兩該影像中同一位置像素的曝光值之平均值。
  4. 如申請專利範圍第1項所述之影像合成裝置,其中該影像處理模組係依據曝光值調校手段產生相對應之複數個映射函數,並依據所述之映射函數產生一查找表(Look-up Table,LUT),該影像處理模組係依據該影像中同一位置像素之間的曝光值差值代入該查找表以產生該合成像素。
  5. 一種基於個別像素進行曝光映射之高動態範圍影像合成方法,該方法包含有以下步驟: (a)取得複數張分別具有不同曝光值之影像;(b)兩兩曝光值相近之影像中同一位置像素係藉由一曝光值調校手段,對該等像素進行曝光合成,藉以組成合成影像,該曝光值調校手段的步驟包含有經由一權重分配程序產生一合成曝光值以及依據該合成曝光值產生一合成像素,產生該合成曝光值的權重分配程序可寫作如下公式: 以及該合成曝光值係依下述公式產生該合成影像的合成像素: ;以及(c)判斷若所述之合成影像張數不為1,則將所述之合成影像回傳至步驟(b)重新進行處理。
  6. 如申請專利範圍第5項所述之方法,其中該權重分配程序包含有以下步驟:於該同一位置像素中,測量曝光值較低之影像中該像素的一第一曝光值,以及一第一權重係數;於該同一位置像素中,測量曝光值較高之影像中該像素的一第二曝光值,以及一第二權重係數;以及將該第一曝光值乘以該第一權重係數並將該第二曝光值乘以該第二權重係數後相加並除以該第一權重係數以及該第二權重係數之和以產生該合成曝光值,或可寫作如下公式:
  7. 如申請專利範圍第6項所述之方法,其中該第一權重係數以及該第二權重係數係為該兩影像中該同一位置像素分別之亮度動態範圍取夏儂熵值(Shannon’s entropy)之反函數,或可寫作如下公式:
  8. 如申請專利範圍第6項所述之方法,該權重分配程序更進一步包含有以下步驟:若二該影像中的同一位置像素間之曝光值差值大於一閾值,則產生一虛擬像素,該虛擬像素之曝光值介於二該影像中的該同一位置像素之曝光值之間;以及於該同一位置像素中,對該虛擬像素與二該影像中曝光值較低的像素執行該權重分配程序,產生一第一修正像素,對該虛擬像素與兩影像中曝光值較高的像素執行該權重分配程序,產生一第二修正像素;以及以該第一修正像素取代曝光值較低之影像中的像素,並以該第二修正像素取代曝光值較高之影像中的像素,並執行該權重分配程序。
  9. 如申請專利範圍第8項所述之方法,其中該虛擬像素之曝光值係為二該影像中同一位置像素的曝光值之平均值。
  10. 如申請專利範圍第5項所述之方法,其中於該像素合成程序中更包含有以下步驟:依據每一該曝光值差值產生相對應之一映射函數,並依據所述之映射函數產生一查找表(Look-up Table,LUT);以及依據二該影像中同一位置像素之間的曝光值差值代入該查找表,以產生該合成像素。
TW102147879A 2013-12-24 2013-12-24 A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels TWI551141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102147879A TWI551141B (zh) 2013-12-24 2013-12-24 A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102147879A TWI551141B (zh) 2013-12-24 2013-12-24 A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels

Publications (2)

Publication Number Publication Date
TW201526640A TW201526640A (zh) 2015-07-01
TWI551141B true TWI551141B (zh) 2016-09-21

Family

ID=54197893

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147879A TWI551141B (zh) 2013-12-24 2013-12-24 A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels

Country Status (1)

Country Link
TW (1) TWI551141B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998720B2 (en) * 2016-05-11 2018-06-12 Mediatek Inc. Image processing method for locally adjusting image data of real-time image
TWI723435B (zh) 2019-06-24 2021-04-01 聚晶半導體股份有限公司 影像輸出方法與電子裝置
CN112135063B (zh) * 2019-06-24 2021-11-30 聚晶半导体股份有限公司 图像输出方法与电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201223267A (en) * 2010-11-22 2012-06-01 Altek Corp Image capturing device and image synthesis method thereof
CN103108192A (zh) * 2011-11-11 2013-05-15 卡西欧计算机株式会社 图像合成装置
CN103312970A (zh) * 2012-03-07 2013-09-18 佳能株式会社 图像合成设备和图像合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201223267A (en) * 2010-11-22 2012-06-01 Altek Corp Image capturing device and image synthesis method thereof
CN103108192A (zh) * 2011-11-11 2013-05-15 卡西欧计算机株式会社 图像合成装置
CN103312970A (zh) * 2012-03-07 2013-09-18 佳能株式会社 图像合成设备和图像合成方法

Also Published As

Publication number Publication date
TW201526640A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
US9485435B2 (en) Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
JP5102374B2 (ja) 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置
CN108335279B (zh) 图像融合和hdr成像
JP5713752B2 (ja) 画像処理装置、及びその制御方法
CN104980652B (zh) 图像处理设备和图像处理方法
JP5408053B2 (ja) 画像処理装置、画像処理方法
JP6218389B2 (ja) 画像処理装置及び画像処理方法
CN108668093A (zh) Hdr图像的生成方法及装置
CN104320575A (zh) 一种用于便携式终端的图像处理方法及图像处理装置
TWI697867B (zh) 測光補償方法及其相關監控攝影設備
US11941791B2 (en) High-dynamic-range image generation with pre-combination denoising
JP4066803B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP2011166728A (ja) 画像処理装置、画像処理方法
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
KR20150035315A (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
TWI551141B (zh) A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP5932392B2 (ja) 画像処理装置および画像処理方法
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
WO2016158490A1 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP5952574B2 (ja) 画像処理装置およびその制御方法
JP6730423B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Wang et al. Low visual difference virtual high dynamic range image synthesizer from a single legacy image
JP6603557B2 (ja) 画像処理装置および画像処理方法
JP6494388B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees