TWI695622B

TWI695622B - 影像處理方法及影像處理裝置

Info

Publication number: TWI695622B
Application number: TW107131335A
Authority: TW
Inventors: 黃旭鍊; 詹凱琳
Original assignee: 華晶科技股份有限公司
Priority date: 2018-09-06
Filing date: 2018-09-06
Publication date: 2020-06-01
Also published as: US10630911B2; US20200084362A1; CN110881108B; TW202011728A; CN110881108A

Abstract

本發明提供一種影像處理方法及影像處理裝置。所述方法包括：取得特定場景的第一影像，並從第一影像中擷取第一主體；基於第一主體決定第一亮度值；以第一亮度值作為包圍式曝光機制的基準值，並執行包圍式曝光機制以對特定場景拍攝多張第二影像；將前述第二影像合成為第一高動態範圍影像；從第一高動態範圍影像中擷取第二主體，其中第二主體具有第二亮度值；當第二亮度值低於第一亮度值達預設門限值時，優化第二主體；將優化後的第二主體與第一高動態範圍影像合成為第二高動態範圍影像。

Description

影像處理方法及影像處理裝置

本發明是有關於一種影像處理方法及影像處理裝置，且特別是有關於一種可優化影像中主體的影像處理方法及影像處理裝置。

在以傳統單張影像取像技術拍攝具高反差亮度的場景時（例如，逆光場景），受限於感測器的動態範圍(Dynamic Range)，可能使得所拍攝出的影像因曝光機制的不易調整而出現不佳的影像品質。舉例而言，在影像中主體（例如，人像）亮度較暗的情況下，習知作法可能會選擇較長的曝光設定，以期拉高主體區域的影像亮度。然而，此方式可能會因曝光時間增長，而造成影像中其他較高亮度的區域出現過度曝光的情形。亦即，此方式雖可讓主體在所產生的影像中具有較為正常的亮度，但卻可能令背景出現過曝的情形，如圖1A所示。

另一方面，若曝光設定改以亮部區域為主，為避免亮部區域過曝，則會相應地選擇較短的曝光時間。然而，此舉反而可能造成影像主體區域因曝光不足而過暗，如圖1B所示。也就是說，無論採用何種曝光設定，皆無法產生主體及背景皆清晰的影像。

習知的高動態範圍（high dynamic range，HDR）技術係一種處理多張影像的技術，其可透過將基於不同曝光值所拍攝的影像疊合，再經由階調再現（Tone Reproduction）的調整，從而產生亮部與暗部細節皆有的HDR影像。透過HDR機制，可較精準地還原現場景物的動態範圍，避免影像有過曝或過暗的區域，並保留明亮與暗部區域的細節。

然而，區域性階調再現的調整不僅費時，且容易產生光暈（即，在黑白邊界處出現異常的白邊或黑邊）的問題，如圖1C所示。並且，在經過習知HDR影像處理技術所產生的HDR影像中，主體亮度可能會隨著影像的疊合而出現對比度下降的情況，從而可能造成主體立體感下降以及不自然的亮度變化。

習知一種高HDR影像合成演算法，其可利用機器學習暨影像合成模型，直接接收複數不同曝光度的原始影像後，依據網路參數合成一參考高動態範圍影像。但此前案無法達成改善HDR影像中主體的影像品質之功效。

習知一種操作裝置以擷取HDR影像的方法，其可在接受HDR命令之前，以正常曝光的方式攝取多張照片，並在HDR命令之後取得過度曝光和不足曝光的照片，再將正常曝光、過度曝光和不足曝光的照片進行對齊(align)。然而，此前案同樣無法達成改善HDR影像中主體的影像品質之功效。

習知一種針對皮膚切片的影像技術，其可先取非HDR照片，再取相同位置的HDR照片。然而，此前案同樣無法達成改善HDR影像中主體的影像品質之功效。

習知一種局部HDR的實現方法及系統，其可由用戶手動選擇局部曝光的區域，並針對特定區域調整曝光值。然而，由於此前案調整曝光值的機制高度關聯於用戶的手動操作內容，因此同樣無法有效地達成改善HDR影像中主體的影像品質之功效。

有鑑於此，本發明提出一種影像處理方法及影像處理裝置，其可用以解決上述技術問題。

本發明提供一種影像處理方法，包括：取得一特定場景的一第一影像，並從第一影像中擷取一第一主體；基於第一主體決定一第一亮度值；以第一亮度值作為一包圍式曝光機制的一基準值，並執行包圍式曝光機制以對特定場景拍攝多張第二影像；將前述第二影像合成為一第一高動態範圍影像；從第一高動態範圍影像中擷取一第二主體，其中第二主體具有一第二亮度值；當第二亮度值低於第一亮度值達一預設門限值時，優化第二主體；將優化後的第二主體與第一高動態範圍影像合成為一第二高動態範圍影像。

本發明提供一種影像處理裝置，包括儲存電路、影像擷取電路及處理器。儲存電路儲存多個模組。處理器耦接儲存電路及影像擷取電路，存取前述模組以執行下列步驟：控制影像擷取電路取得一特定場景的一第一影像，並從第一影像中擷取一第一主體；基於第一主體決定一第一亮度值；以第一亮度值作為一包圍式曝光機制的一基準值，並控制影像擷取電路執行包圍式曝光機制以對特定場景拍攝多張第二影像；將前述第二影像合成為一第一高動態範圍影像；從第一高動態範圍影像中擷取一第二主體，其中第二主體具有一第二亮度值；當第二亮度值低於第一亮度值達一預設門限值時，優化第二主體；將優化後的第二主體與第一高動態範圍影像合成為一第二高動態範圍影像。

基於上述，本發明提出一種影像處理方法及影像處理裝置，其可適應性地針對HDR影像中的主體進行優化，從而令所產生的HDR影像中的主體具更佳的立體感及更為自然的亮度變化。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參照圖2，其是依據本發明之一實施例繪示的影像處理裝置功能方塊圖。在本實施例中，影像處理裝置200包括儲存電路212、影像擷取電路214及處理器216。

在不同的實施例中，影像處理裝置200可以是手機、智慧型手機、個人電腦（personal computer，PC）、筆記型電腦（notebook PC）、網本型電腦（netbook PC）、平板電腦（tablet PC）、數位相機或是其他類似的智慧型裝置，但可不限於此。

儲存電路212可為任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置，而可用以儲存電腦可讀寫軟體、影像、程式模組及其他資訊。

影像擷取電路214可以是任何具有電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭，或紅外線鏡頭的攝影機，亦可以是可取得深度資訊的影像擷取設備，例如是深度攝影機（depth camera）或立體攝影機等。

處理器216耦接於儲存電路212及影像擷取電路214，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路（Application Specific Integrated Circuit，ASIC）、場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

請參照圖3及圖4，其中圖3是本發明實施例的影像處理方法的流程圖，而圖4是依據本發明之一實施例繪示的使用圖3方法進行主體優化的應用情境。圖3的方法可由圖2的影像處理裝置200執行，以下即搭配圖2所示的各個元件及圖4所示情境來說明圖3各步驟的細節。

在步驟S311中，處理器216控制影像擷取電路214取得特定場景的第一影像411，並從第一影像411中擷取第一主體411a（例如，人體）。

在一實施例中，處理器216可將第一影像411輸入一人工智慧模組，以基於此人工智慧模組擷取第一主體411a。前述人工智慧模組例如可先基於一定數量的訓練資料（例如，訓練影像）訓練出一個人工智慧模型。在不同的實施例中，可由人工或是其他方式在前述訓練影像中標記出設計者所欲考慮的主體態樣（例如人體、動物、植物等），藉以讓前述人工智慧模型在被訓練的過程中，可基於訓練影像中被標記出的主體態樣而了解具備何種特徵（例如顏色、形狀等）的物件、區域可被稱為是影像中的主體部分。在完成上述訓練過程後，當人工智慧模型接收到一張未知影像時，即可藉由分析此未知影像中各物件、區域的特徵來找出哪些物件、區域可能對應於此未知影像的主體（例如人體），但本發明可不限於此。因此，在一實施例中，在上述人工智慧模組接收到第一影像411之後，可透過前述人工智慧模型辨識第一影像411中的第一主體411a。

在另一實施例中，處理器216亦可產生第一影像411的深度圖，並分析此深度圖以在其中找出第一主體411a。舉例而言，當影像擷取電路214被實現為深度攝影機（例如飛行時間（time-of-flight，TOF）攝影機）、立體攝影機、雙鏡頭攝影機、紅外線深度感測模組或其他可取得影像深度圖的裝置時，處理器216即可相應地控制影像擷取電路214產生第一影像411的深度圖。之後，處理器216可從此深度圖中找出與影像處理裝置200距離較近（即，深度較淺）的物件區域。接著，處理器216可將此物件區域標示為如圖4所示的主體區域411b，即對應於第一主體411a的區域，但可不限於此。

在步驟S312中，處理器216可基於第一主體411a決定第一亮度值。在一實施例中，處理器216可取得第一主體411a所包括的多個像素以及各像素的亮度值。接著，處理器216可計算各像素亮度值的亮度平均值，並以此亮度平均值作為上述第一亮度值。換言之，上述第一亮度值即為第一主體411a的平均亮度值，但本發明可不限於此。在其他實施例中，若第一影像411中存在多個主體時，處理器411亦可將這些主體的平均亮度值作為上述第一亮度值，或是在各主體的平均亮度值中取最高者作為上述第一亮度值。

在其他實施例中，上述第一亮度值亦可由人工智慧模組決定。具體而言，人工智慧模組可利用一分類模組來為第一影像411決定其所屬的影像分類，再透過一排名模組基於上述分類的結果及第一訓練資料（包括特徵及顏色）進行排名（ranking）。之後，可再基於排名的結果及第二訓練資料（例如包括網路投票的結果、視野（field of view，FOV））來哪個數值更適合作為第一影像411所對應的第一亮度值，但可不限於此。

在步驟S313中，處理器216可以第一亮度值作為包圍式曝光（bracketing）機制的基準值，並控制影像擷取電路214執行包圍式曝光機制以對特定場景拍攝多張第二影像412。在一實施例中，處理器216可以第一亮度值作為包圍式曝光機制中的0曝光值（exposure value，EV）（即，0 EV）。之後，處理器216可基於-N曝光值至+N曝光值拍攝特定場景，以產生第二影像412，其中N為正整數。舉例而言，假設N為2，則處理器216可基於-2EV、-1EV、0EV（其對應於上述第一亮度值，即第一主體411a的平均亮度值）、1EV及2EV等曝光值各拍攝一張影像，以作為第二影像412。應了解的是，圖4所示的第二影像412僅用以舉例，並非用以限定本發明可能的實施方式。

在步驟S314中，處理器216可將第二影像412合成為第一HDR影像（未繪示）。在本實施例中，處理器216可基於已知的HDR影像處理技術而將第二影像412疊合成為上述第一HDR影像，其細節於此不再贅述。

在步驟S315中，處理器216可從第一HDR影像中擷取第二主體（未繪示）。在一實施例中，處理器216可將第一HDR影像輸入至先前提及的人工智慧模組，以透過其中的人工智慧模型來辨識第一HDR影像中的第二主體。在另一實施例中，處理器216亦可基於先前教示的方式而從對應於第一HDR影像的深度圖中辨識出對應於上述第二主體的主體區域，從而在第一HDR影像中定義出第二主體，其細節於此不再贅述。

由於第一HDR影像與第一影像411實質上係對應於同一個特定場景，因此經由人工智慧模組所找出的第二主體與先前找出的第一主體411a應大致對應至同一個主體（即，圖4所示的人體）。

然而，如先前所提及的，第一HDR影像中的第二主體可能會因影像的疊合而出現對比度下降的情況，從而可能造成第二主體立體感下降以及不自然的亮度變化。因此，本發明可透過以下機制來判斷第二主體的第二亮度值（例如，第二主體的區域內像素的亮度平均值）是否與第一主體411a的第一亮度值差距過大，進而作為是否優化第二主體的依據。

具體而言，在步驟S316中，處理器216可判斷第二亮度值是否低於第一亮度值達預設門限值。在不同的實施例中，設計者可依需求而將上述預設門限值設定為所需的數值（例如10%、20%、30%等，但可不限於此）。

若第二亮度值低於第一亮度值達預設門限值（例如，10%），即代表第一HDR影像中的第二主體可能已出現對比度下降、立體感下降等不佳的影像品質，故處理器216可接續執行步驟S317以優化第二主體。

在一實施例中，處理器216可將第二主體的第二亮度值調整為第一主體411a的第一亮度值以優化第二主體，從而令第二主體能夠變得較明亮。在其他實施例中，處理器216亦可依設計者設定的任意比例值（例如10%、20%、30%等，但可不限於此）來調整第二主體的第二亮度值，以藉由定量地提升第二主體亮度的方式來優化第二主體，但可不限於此。

在優化第二主體之後，處理器216可接續執行步驟S318以將優化後的第二主體413a與第一HDR影像合成為第二HDR影像413。在一實施例中，處理器216可將優化後的第二主體413a疊合於第一HDR影像上的第二主體，以產生第二HDR影像413。亦即，影像處理裝置200可將第二HDR影像413作為最終輸出的影像，以供使用者觀看。

由圖4所示的第二HDR影像413可看出，第二HDR影像413除了可清晰呈現亮部及暗部細節之外，優化後的第二主體413a還可因具有較佳的明亮度而進一步提升第二HDR影像413的影像品質。

另一方面，若第二亮度值在步驟S316中被判定為未低於第一亮度值達預設門限值，即代表第一HDR影像中的第二主體可能並未出現對比度下降或立體感下降等問題，故處理器216可接續執行步驟S319以輸出第一HDR影像。換言之，若第二主體的亮度未明顯下降，則處理器216可不需優化第二主體，而直接以第一HDR影像作為最終輸出的影像。

綜上所述，本發明提出一種影像處理方法及影像處理裝置，其可基於人工智慧模組或是深度圖而從第一影像中找出第一主體，並以第一主體的平均亮度值作為包圍式曝光機制的基準值。接著，在基於包圍式曝光機制產生第一HDR影像之後，本發明可在第一HDR影像中的第二主體的亮度值與第一主體的亮度值之間差距過大時，針對第二主體進行優化，並據以產生第二HDR影像。藉此，第二HDR影像的影像品質除了可提供清晰的亮部及暗部細節之外，其中的第二主體還可因被優化而呈現更佳的立體感及更為自然的亮度變化。

此外，由於本發明可透過人工智慧來自動辨識上述第一主體及第二主體，因而除了可使得運作的過程更有效率之外，還可保證所輸出的HDR影像具有一定的影像品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：電子裝置 200：影像處理裝置 212：儲存電路 214：影像擷取電路 216：處理器 411：第一影像 411a：第一主體 411b：主體區域 412：第二影像 413：第二HDR影像 413b：優化後的第二主體 S311~S319：步驟

圖1A係繪示背景過度曝光的示意圖。圖1B係繪示主體過暗的示意圖。圖1C係光暈現象的示意圖。圖2是依據本發明之一實施例繪示的影像處理裝置功能方塊圖。圖3是本發明實施例的影像處理方法的流程圖。圖4是依據本發明之一實施例繪示的使用圖3方法進行主體優化的應用情境。

S311~S319：步驟

Claims

一種影像處理方法，包括：取得一特定場景的一第一影像，並從該第一影像中擷取一第一主體；基於該第一主體決定一第一亮度值；以該第一亮度值作為一包圍式曝光機制的一基準值，並執行該包圍式曝光機制以對該特定場景拍攝多張第二影像；將該些第二影像合成為一第一高動態範圍影像；從該第一高動態範圍影像中擷取一第二主體，其中該第二主體具有一第二亮度值；當該第二亮度值低於該第一亮度值達一預設門限值時，優化該第二主體；將優化後的該第二主體與該第一高動態範圍影像合成為一第二高動態範圍影像。
如申請專利範圍第1項所述的方法，其中從該第一影像中擷取該第一主體的步驟包括：將該第一影像輸入一人工智慧模組，以基於該人工智慧模組擷取該第一主體。
如申請專利範圍第1項所述的方法，其中從該第一影像中擷取該第一主體的步驟包括：取得該第一影像的一深度圖，並分析該深度圖以在該深度圖中找出該第一主體。
如申請專利範圍第1項所述的方法，其中基於該第一主體決定該第一亮度值的步驟包括：取得該第一主體所包括的多個像素以及各該像素的亮度值；以及計算各該像素的該亮度值的一亮度平均值，並以該亮度平均值作為該第一亮度值。
如申請專利範圍第1項所述的方法，其中以該第一亮度值作為該包圍式曝光機制的該基準值，並執行該包圍式曝光機制以對該特定場景拍攝該些第二影像的步驟包括：以該第一亮度值作為該包圍式曝光機制中的0曝光值；基於-N曝光值至+N曝光值拍攝該特定場景，以產生該些第二影像，其中N為正整數。
如申請專利範圍第1項所述的方法，其中從該第一高動態範圍影像中擷取該第二主體的步驟包括：將該第一高動態範圍影像輸入一人工智慧模組，以基於該人工智慧模組擷取該第二主體。
如申請專利範圍第1項所述的方法，其中從該第一高動態範圍影像中擷取該第二主體的步驟包括：產生該第一高動態範圍影像的一深度圖，並分析該深度圖以在該深度圖中找出該第二主體。
如申請專利範圍第1項所述的方法，其中當該第二亮度值未低於該第一亮度值達該預設門限值時，輸出該第一高動態範圍影像。
如申請專利範圍第1項所述的方法，其中優化該第二主體的步驟包括：將該第二主體的該第二亮度值調整為該第一主體的該第一亮度值。
如申請專利範圍第1項所述的方法，其中將優化後的該第二主體與該第一高動態範圍影像合成為該第二高動態範圍影像的步驟包括：將優化後的該第二主體疊合於該第一高動態範圍影像上的該第二主體，以產生該第二高動態範圍影像。
一種影像處理裝置，包括：一儲存電路，儲存多個模組；一影像擷取電路；一處理器，耦接該儲存電路及該影像擷取電路，存取該些模組以執行下列步驟：控制該影像擷取電路取得一特定場景的一第一影像，並從該第一影像中擷取一第一主體；基於該第一主體決定一第一亮度值；以該第一亮度值作為一包圍式曝光機制的一基準值，並控制該影像擷取電路執行該包圍式曝光機制以對該特定場景拍攝多張第二影像；將該些第二影像合成為一第一高動態範圍影像；從該第一高動態範圍影像中擷取一第二主體，其中該第二主體具有一第二亮度值；當該第二亮度值低於該第一亮度值達一預設門限值時，優化該第二主體；將優化後的該第二主體與該第一高動態範圍影像合成為一第二高動態範圍影像。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：將該第一影像輸入一人工智慧模組，以基於該人工智慧模組擷取該第一主體。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：取得該第一影像的一深度圖，並分析該深度圖以在該深度圖中找出該第一主體。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：取得該第一主體所包括的多個像素以及各該像素的亮度值；以及計算各該像素的該亮度值的一亮度平均值，並以該亮度平均值作為該第一亮度值。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：以該第一亮度值作為該包圍式曝光機制中的0曝光值；基於-N曝光值至+N曝光值拍攝該特定場景，以產生該些第二影像，其中N為正整數。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：將該第一高動態範圍影像輸入一人工智慧模組，以基於該人工智慧模組擷取該第二主體。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：產生該第一高動態範圍影像的一深度圖，並分析該深度圖以在該深度圖中找出該第二主體。
如申請專利範圍第11項所述的影像處理裝置，其中當該第二亮度值未低於該第一亮度值達該預設門限值時，該處理器經配置以輸出該第一高動態範圍影像。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：將該第二主體的該第二亮度值調整為該第一主體的該第一亮度值。
如申請專利範圍第11項所述的影像處理裝置，其中該處理器經配置以：將優化後的該第二主體疊合於該第一高動態範圍影像上的該第二主體，以產生該第二高動態範圍影像。