TWI730467B - 影像轉換方法及影像轉換網路 - Google Patents

影像轉換方法及影像轉換網路 Download PDF

Info

Publication number
TWI730467B
TWI730467B TW108138116A TW108138116A TWI730467B TW I730467 B TWI730467 B TW I730467B TW 108138116 A TW108138116 A TW 108138116A TW 108138116 A TW108138116 A TW 108138116A TW I730467 B TWI730467 B TW I730467B
Authority
TW
Taiwan
Prior art keywords
image
focus
value
conversion
loss function
Prior art date
Application number
TW108138116A
Other languages
English (en)
Other versions
TW202117668A (zh
Inventor
廖惇利
李家昶
丁文宏
陳柏戎
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108138116A priority Critical patent/TWI730467B/zh
Priority to CN201911272396.4A priority patent/CN112700365A/zh
Priority to US16/808,345 priority patent/US11238624B2/en
Publication of TW202117668A publication Critical patent/TW202117668A/zh
Application granted granted Critical
Publication of TWI730467B publication Critical patent/TWI730467B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本揭露提出一種影像轉換方法，適用於包括影像生成器、轉換鑑別器及焦點鑑別器之影像轉換網路，該方法包括該影像生成器依據未轉換影像及該未轉換影像的焦點資訊產生轉換影像；該轉換鑑別器對該轉換影像運算產生轉換鑑別值；該影像生成器依據該轉換鑑別值運算第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器之參數；該焦點鑑別器依據未轉換影像、轉換影像及該焦點資訊執行運算以產生焦點鑑別值；及該影像生成器依據該焦點鑑別值運算第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器。

Description

影像轉換方法及影像轉換網路
本揭露是關於一種影像轉換方法及影像轉換網路。
行動裝置及社群平台的普及與蓬勃發展的趨勢下，用戶對於拍照品質及影像效果需求更趨多元，並且對於影像品質要求也相對嚴格，因此目前行動裝置拍照影像功能為符合市場期待，已朝向專業單眼效果開發。
提升行動裝置拍照影像效果的設計，大致可分為硬體及軟體兩種技術方案；硬體方面方案，例如採用高階感光元件或納入多鏡頭等，增加硬體易有成本負擔且在體積考量之下多受限制。軟體方案是利用軟體影像處理或學習演算法進行後製，以達到特殊的影像風格，目前軟體方案中以轉換目標物體之影像轉換技術為例，會有目標區域誤判、轉換前後色調不一致及目標物體顏色改變的情況，預期的特殊效果雖可達到，但顏色及色調上還是存在失真的疑慮。
本揭露提供一影像轉換方法及影像轉換網路。
在一示範的實施例中，依據本揭露係之一種影像轉換方法，適用於一影像轉換網路，且該影像轉換網路連接一第一資料庫，並包括一影像生成器、一轉換鑑別器，及一焦點鑑別器，且該第一資料庫儲存數筆未轉換影像，該影像轉換方法包括：該影像生成器依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊執行運算以產生一轉換影像；該轉換鑑別器對該轉換影像執行運算以產生一轉換鑑別值；該影像生成器依據該轉換鑑別值運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器之參數；該焦點鑑別器依據該些未轉換影像中之一、該轉換影像及該焦點資訊執行運算以產生至少一焦點鑑別值；及該影像生成器依據該至少一焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器之參數。
在一示範的實施例中，依據本揭露之一種影像轉換網路，連接儲存數筆未轉換影像的一第一資料庫，該影像轉換網路包括：一影像生成器，經配置以執行運算，並依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊產生一轉換影像；一轉換鑑別器，訊號連接該影像生成器，並經配置以執行運算，且依據該轉換影像產生一轉換鑑別值；及一焦點鑑別器訊號連接該影像生成器，並經配置以依據該些未轉換影像中之一、該轉換影像及該至少一焦點資訊執行運算以產生至少一焦點鑑別 值，其中，影像生成器經配置還可執行：依據該轉換鑑別值運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器之參數，及依據該至少一焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器之參數。
基於上述，本揭露實施例提出的影像轉換方法及影像轉換網路中，該影像生成器、該轉換鑑別器及該焦點鑑別器運用未轉換影像、焦點資訊及轉換影像共同執行機器學習，以更新該影像生成器之參數，提高該影像生成器影像轉換的效能。
為讓本揭露的上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
1:影像轉換網路
11:影像生成器
12:轉換鑑別器
13:焦點鑑別器
2:第一資料庫
3:第二資料庫
S1、S8:步驟
S21、S22、S31~S33、S41~S43、S51、S52、S71、S72:步驟
S331~S337:步驟
圖1是依據本揭露之一實施例繪示之一影像轉換網路及一第一資料庫的方塊圖。
圖2是依據本揭露之一實施例繪示之影像轉換方法的流程圖。
圖3是依據本揭露之另一實施例繪示之影像轉換網路、一第一資料庫及一第二資料庫的方塊圖。
圖4是依據本揭露之另一實施例繪示之影像轉換方法的流程圖。
圖5是依據本揭露之另一實施例繪示之影像轉換方法之部分步驟的流程圖。
圖6是依據本揭露之另一實施例繪示之影像轉換方法之部分步驟的流程圖。
圖7是依據本揭露之另一實施例繪示之影像轉換方法之部分步驟的流程圖。
圖8是依據本揭露之另一實施例繪示之影像轉換方法之部分步驟的流程圖。
圖9是依據本揭露之另一實施例繪示之影像轉換方法的流程圖。
在本案說明書之圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施方式中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依據本揭露之一實施例之一影像轉換網路11及一第一資料庫2的方塊圖。該第一資料庫2儲存數筆未轉換影像，每一未轉換影像具有至少一焦點資訊。
所述影像轉換網路1連接該第一資料庫2，並且可存取該第一資料庫2。該影像轉換網路1可執行一影像轉換方法，並且包括一影像生成器11(Generator)、訊號連接該影像生成器11的一轉換鑑別器12(Discriminator)，及訊號連接該影像生成器11的一焦 點鑑別器13(Discriminator)。該影像生成器11可執行影像轉換，並可與該轉換鑑別器12及該焦點鑑別器13共同執行類似生成對抗網路(Generative Adversarial Network,GAN)學習以更新參數。
進一步參照圖2，其是本揭露之影像轉換方法的一實施例的流程圖。所述影像轉換網路1執行的該影像轉換方法在執行前，該影像生成器11、該轉換鑑別器12及該焦點鑑別器13各自被預設了參數，也就是先執行初始化參數設定，而該影像轉換方法是利用學習運算更新該影像生成器11、該轉換鑑別器12及該焦點鑑別器13之參數，以優化該影像轉換網路1的轉換效能。
本實施例的影像轉換方法之步驟說明如下：執行步驟S1，該影像生成器11經配置以依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊執行運算以產生一轉換影像，其中該些未轉換影像中之一以I A 表示，並且所述未轉換影像I A 經該影像生成器11執行轉換而產生的該轉換影像，其以數學式表示為G(I A )。本實施例的影像生成器11由該第一資料庫2中選取一筆未轉換影像，即未轉換影像I A ，後，依據選取的該未轉換影像I A 及其焦點資訊，對選取的該未轉換影像I A 執行影像轉換以產生該轉換影像G(I A )。在本實施例中，該未轉換影像I A 是具有一筆焦點資訊，然而也可以是多筆，不以本實施例為限；補充說明的是，本實施例的影像生成器11是對影像進行淺景深處理與轉換，然而並不以此為限，也可以是其他影像效果轉換，例如影像亮度轉換、色彩優化等效果。
在取得該轉換影像G(I A )後，執行步驟S21，該轉換鑑別器12對該轉換影像G(I A )執行運算以產生一轉換鑑別值，並且該轉換鑑別值以數學式表示為D(G(I A ))。本實施例的轉換鑑別器12是用以鑑別輸入的影像間的相似或差異，並且該轉換鑑別值是表示影像間的相似程度或差異程度的資訊，具體而言，該轉換鑑別值可以是介於0至1之間的數值，該轉換鑑別值越大則表示越相似，然而並不以此為限，可依運算需求調整數值對應之定義。
接著執行步驟S22，該影像生成器11依據該轉換鑑別值D(G(I A ))運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器11之參數。該影像生成器11即是依據該轉換鑑別器12的鑑別結果，且基於一第一生成損失函數來計算該第一生成損失函數值，並進一步基於該第一生成損失函數值來調整與更新參數。該第一生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0008-25
 其中，L(G)表示該第一生成損失函數，
Figure 108138116-A0305-02-0008-2
為期望值，I A 為未轉換影像，G(I A )為轉換影像，p A 為第一資料庫2之機率分布，而I A ~p A 是表示從第一資料庫2中隨機選取的未轉換影像I A ，D(G(I A ))為轉換鑑別值。本實施例的第一生成損失函數值可以是介於0至1之間的數值，並且該第一生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
執行步驟S31，該焦點鑑別器13依據該些未轉換影像中 之一、該影像生成器11產生之轉換影像及該焦點資訊執行運算以產生焦點鑑別值。本實施例的步驟S31的轉換影像是將該第一資料庫2中選擇的未轉換影像I A ，經由影像生成器11運算所產生，也就是由參數更新後的影像生成器11所產生。而本實施例的焦點鑑別器13是用以鑑別輸入的影像間相似或差異，並且該焦點鑑別值是表示影像間的相似程度或差異程度的資訊，具體而言，該焦點鑑別值可以是介於0至1之間的數值，並且該焦點鑑別值越大則表示越相似，然而並不以此為限，可依運算需求調整數值對應之定義。
接著，執行步驟S32，該影像生成器11依據產生的焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器11之參數。該影像生成器11即是依據該焦點鑑別器13的鑑別結果，且基於一第二生成損失函數來計算該第二生成損失函數值，並進一步基於該第二生成損失函數值來調整與更新該影像生成器11之參數。本實施例的第二生成損失函數值可以是介於0至1之間的數值，並且該第二生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
本實施例的步驟S21、S22及步驟S31、S32中，該影像生成器11是依據不同的損失函數值進行參數更新，步驟S21、S22及步驟S31、S32兩者之間執行順序上是可互換的，即也可以是先依序執行步驟S31、S32後再依序執行步驟S21、S22，不以本實 施例之執行順序為限。
執行步驟S71，判斷該第一生成損失函數值及該第二生成損失函數值是否皆小於或等於一預設的門檻值，並且在判斷該第一生成損失函數值及該第二生成損失函數值中之任一者大於該預設的門檻值的情況下，繼續重複進行前述步驟S1、S21、S22、S31、S32及S71，對該影像生成器11執行學習及更新。
另一方面，在判斷該第一生成損失函數值及該第二生成損失函數值皆小於或等於預設的門檻值的情況下，該影像生成器11完成學習，並執行步驟S8，該影像生成器11接收一測試影像及對應的至少一測試焦點資訊，並依據更新後的參數及該至少一測試焦點資訊對該測試影像執行影像轉換，產生一轉換測試影像。進一步說明的是，本實施例步驟S8中的影像生成器11即是利用其最後一次執行更新的參數，來對該測試影像執行影像轉換。換言之，本實施例的影像轉換方法是利用最小化該第一、第二損失生成函數值的過程，來學習及優化該影像轉換網路1。本實施例的每一測試影像的測試焦點資訊數量是一個，然而也可以是多個，不以本實施例為限。
在其他實施方式中，步驟S71判斷該影像生成器11是否完成學習及更新的判斷條件，也可以是判斷該第一生成損失函數值及該第二生成損失函數值是否皆收斂，來決定該影像生成器11是否完成學習及更新，也就是在該第一、第二生成損失函數值皆收斂的情況下判斷該影像生成器11完成學習，不以本實施例的門 檻值的判斷條件為限。
進一步說明的是，所述影像生成器11可以整合在行動裝置(圖未示)中，並且該測試影像及該測試焦點資訊可以是經由該行動裝置及其鏡頭(圖未示)取得，其中該測試影像的測試焦點資訊可以是由使用者在拍攝時決定，例如拍攝時點擊行動裝置之螢幕進行對焦的資訊。而在本實施例中，該影像生成器11即是對該行動裝置取得的影像進行影像轉換，產生具有淺景深效果的該轉換測試影像，但並不以淺景深效果為限，也可以是其他影像效果轉換，例如影像亮度轉換、色彩優化等效果。
本實施例的影像轉換方法中，該影像生成器11是運用該轉換鑑別器12的轉換鑑別值，運算第一生成損失函數值以更新參數，另一方面，也運用焦點資訊及該焦點鑑別器13的焦點鑑別值，運算該第二生成損失函數值以更新參數，即本實施例的影像生成器11之參數經過至少兩階段的學習運算後完成。
圖3是依據本揭露之另一實施例之一影像轉換網路1、一第一資料庫2及一第二資料庫3的方塊圖。該第一資料庫2儲存數筆未轉換影像，每一未轉換影像具至少一焦點資訊。該第二資料庫3儲存數筆轉換模板影像。本實施例的每一未轉換影像的焦點資訊數量為一，然而也可以是多筆焦點資訊，不以本實施例為限。
所述影像轉換網路1連接該第一資料庫2及第二資料庫3，並且可存取該第一資料庫2及第二資料庫3。該影像轉換網路1 可執行一影像轉換方法，並且包括一影像生成器11(Generator)、訊號連接該影像生成器11的一轉換鑑別器12(Discriminator)，及訊號連接該影像生成器11的一焦點鑑別器13(Discriminator)。該影像生成器11可執行影像轉換，並可與該轉換鑑別器12及該焦點鑑別器13共同執行類似生成對抗網路(Generative Adversarial Network,GAN)學習運算以更新參數。
圖4、5、6是本揭露之影像轉換方法的另一實施例的流程圖，其適用於圖3所示之影像轉換網路1、該第一資料庫2及第二資料庫3，而所述影像轉換網路1執行的該影像轉換方法在執行前，該影像生成器11、該轉換鑑別器12及該焦點鑑別器13各自被預設了參數，也就是先執行初始化參數設定，而該影像轉換方法是利用學習運算的更新該影像生成器11、該轉換鑑別器12及該焦點鑑別器13，以優化該影像轉換網路1的轉換效能。
參照圖3、4，本實施例的影像轉換方法的步驟說明如下：執行步驟S1，該影像生成器11經配置以依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊執行運算以產生一轉換影像。本實施例的影像生成器11由該第一資料庫2中選取一筆未轉換影像後，依據選取的該未轉換影像及其焦點資訊，對選取的該未轉換影像執行影像轉換以產生該轉換影像。在本實施例中，選取的該未轉換影像的焦點資訊數量為一，但也可以是多筆焦點資訊；補充說明的是，本實施例的影像生成器11是對影像進行淺景深處理與轉換，然而並不以此為限，也可以是其他影像效 果轉換，例如影像亮度轉換、色彩優化等效果。
執行步驟S21，該轉換鑑別器12對該轉換影像執行運算以產生一轉換鑑別值。本實施例的轉換鑑別器12是用以鑑別輸入的影像間相似或差異，並且該轉換鑑別值是表示影像間的相似程度或差異程度的資訊，具體而言，該轉換鑑別值可以是介於0至1之間的數值，該轉換鑑別值越大則表示越相似，然而並不以此為限，可依運算需求調整數值對應之定義。
再執行步驟S22，該影像生成器11依據該轉換鑑別值運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器11之參數。換言之，該影像生成器11即是依據該轉換鑑別器12的鑑別結果，且基於一第一生成損失函數來計算該第一生成損失函數值，再基於該第一生成損失函數值來調整與更新參數。該第一生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0013-4
 其中，L(G)表示該第一生成損失函數，
Figure 108138116-A0305-02-0013-5
為期望值，I A 為未轉換影像，p A 為第一資料庫2之機率分布，而I A ~p A 是表示從第一資料庫2中隨機選取的未轉換影像I A ，G(I A )為轉換影像，D(G(I A ))為轉換鑑別值。本實施例的第一生成損失函數值可以是介於0至1之間的數值，並且該第一生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
執行步驟S41，該轉換鑑別器12依據該些轉換樣板影像 中之一運算另一轉換鑑別值。在步驟S41中，該轉換鑑別器12是從該第二資料庫3中隨機選出一筆轉換樣板影像，其以I B 表示，並對選擇的轉換樣板影像I B 進行運算以取得該另一轉換鑑別值，其以D(I B )表示。此外，在該影像生成器11之參數於步驟S22中已被更新的情況下，再次執行步驟S1及S21，也就是先更新對應於該未轉換影像I A 之該轉換影像G(I A )，並且依據更新後的轉換影像G(I A )，再次執行步驟S21以更新該轉換鑑別值D(G(I A ))。
接著執行步驟S42，該轉換鑑別器12依據該些轉換鑑別值D(I B )、D(G(I A ))運算一轉換鑑別損失函數值，並依據該轉換鑑別損失函數值更新該轉換鑑別器12之參數，其中該轉換鑑別損失函數值是基於一轉換鑑別損失函數來計算，而所述轉換鑑別損失函數可以數學式表示為
Figure 108138116-A0305-02-0014-6
 其中，L(D)表示該轉換鑑別損失函數，
Figure 108138116-A0305-02-0014-7
為期望值，I A 為未轉換影像，p A 為第一資料庫2之機率分布，I A ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A ，G(I A )為轉換影像，I B 為轉換樣板影像，p B 為第二資料庫3之機率分布，I B ~p B 是用以表示從第二資料庫3中隨機選取的轉換樣板影像I B ，而D(G(I A ))及D(I B )為轉換鑑別值。本實施例步驟S42中的轉換鑑別器12是將依據轉換影像與轉換樣板影像運算所得的該些轉換鑑別值代入轉換鑑別損失函數，也就是上述數學式，以計算出該轉換鑑別損失函數值，再據以更新該轉換鑑別器12之參數。本實施例的轉換鑑別損失函數值可以 是介於0至1之間的數值，並且該轉換鑑別損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
執行步驟S51，該焦點鑑別器13依據該些未轉換影像中之二個運算一焦點鑑別損失函數值。在步驟S51中，該焦點鑑別器13是從該第一資料庫2中隨機選出二筆未轉換影像，並對選擇的未轉換影像進行運算，本實施例的焦點鑑別器13是用以鑑別輸入的影像間的相似或差異，並且該焦點鑑別值是表示影像間的相似程度或差異程度的資訊，具體而言，該焦點鑑別值介於0至1之間的數值，該焦點鑑別值越大則表示越相似，然而並不以此為限，可依運算需求調整數值對應之定義。
為清楚地說明，在步驟S51中被選出的二筆未轉換影像分別以未轉換影像I A 、未轉換影像I A' 來表示。本實施例的步驟S51，該焦點鑑別器13是依據未轉換影像I A 及未轉換影像I A' 運算一焦點鑑別值，其以數學式表示為D s (I A ,I A' )，並且依據該未轉換影像I A 運算另一焦點鑑別值，其以數學式表示為D s (I A ,I A )，再依據該未轉換影像I A' 運算另一焦點鑑別值，其以數學式表示為D s (I A' ,I A' )。
在取得焦點鑑別值D s (I A ,I A' )、D s (I A ,I A )及D s (I A' ,I A' )後，該焦點鑑別器13基於一焦點鑑別損失函數，並依據焦點鑑別值D s (I A ,I A' )、D s (I A ,I A )及D s (I A' ,I A' )運算該焦點鑑別損失函數值，而所述焦點鑑別損失函數可以數學式表示為
Figure 108138116-A0305-02-0016-8
 其中，L(D s )表示該焦點鑑別損失函數，
Figure 108138116-A0305-02-0016-9
為期望值，I A 、I A' 為未轉換影像，p A 為第一資料庫2之機率分布，而I A ,I A' ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A 、I A' ，D s (I A ,I A' )、D s (I A ,I A )、D s (I A' ,I A' )為焦點鑑別值。
再執行步驟S52，該焦點鑑別器13依據該焦點鑑別損失函數值更新該焦點鑑別器13之參數。本實施例的焦點鑑別損失函數值可以是介於0至1之間的數值，並且該焦點鑑別損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
接著執行步驟S33，該焦點鑑別器13依據該轉換影像、該些未轉換影像中之一及該至少一焦點資訊執行運算以產生數筆焦點鑑別值。每一未轉換影像的焦點資訊數量可以為一或多個，而本實施例是以一個焦點資訊為例來說明。所述該些未轉換影像中之一可以是步驟S1中選擇的該未轉換影像I A ，而該些焦點鑑別值則包括一第一焦點鑑別值及至少一第二焦點鑑別值。圖5、6是依據本揭露之影像轉換方法之步驟S33之流程圖。
進一步參照圖5，本實施例之步驟S33的細節說明如下：執行步驟S331，該焦點鑑別器13依據該些未轉換影像中之一，即選擇的該未轉換影像I A ，以及經該影像生成器11轉換而成的該轉換影像G(I A )執行運算以產生該第一焦點鑑別值，其可以數學式表 示為D s (I A ,G(I A ))；以及執行步驟S332，該焦點鑑別器13依據該些未轉換影像中之一，即選擇的該未轉換影像I A ，以及該至少一焦點資訊執行運算以產生該至少一第二焦點鑑別值，本實施例的焦點資訊之數量為一，而該第二焦點鑑別值之數量亦是一，然不以此為限。所述步驟S332的細節如圖6所示，將在下一段落中詳細說明。
進一步參照圖6，為清楚地說明，對應該未轉換影像I A 之焦點資訊以(x,y)表示，而本實施例步驟S332之細節說明如下：執行步驟S333，該焦點鑑別器13依據該至少一焦點資訊，即焦點資訊(x,y)，以及該些未轉換影像中之一(即未轉換影像I A )，產生一未轉換子影像；並依據該至少一焦點資訊，即焦點資訊(x,y)，以及該轉換影像G(I A )產生至少一轉換子影像。在本實施例中，該焦點資訊數量為一，因此該轉換子影像數量也是一，然而不以本實施例為限，其數量也可以大於一。另一方面，本實施例的焦點鑑別器13是取該未轉換影像I A 中焦點資訊(x,y)對應的區塊做為該未轉換子影像，其可以數學式表示為S(I A ,x,y)，並且取該轉換影像G(I A )中焦點資訊(x,y)對應的區塊做為該轉換子影像，其可以數學式表示為S(G(I A ),x,y)。
再執行步驟S334，該焦點鑑別器13依據該未轉換子影像S(I A ,x,y)及該至少一轉換子影像，即轉換子影像S(G(I A ),x,y)，執行運算以產生該至少一第二焦點鑑別值，本實施例的第二焦點鑑別值數量為一，其可以數學式可表示為D s (S(I A ,x,y),S(G(I A ),x,y))。
在取得第一、第二焦點鑑別值後，執行步驟S32，該影像生成器11依據該些焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器11之參數。該影像生成器11即是依據該焦點鑑別器13的鑑別結果，也就是該第一焦點鑑別值D s (I A ,G(I A ))及該第二焦點鑑別值D s (S(I A ,x,y),S(G(I A ),x,y))，且基於一第二生成損失函數來計算該第二生成損失函數值，再依據該第二生成損失函數值來調整與更新參數。該第二生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0018-10
 其中，L(G s )表示該第二生成損失函數，
Figure 108138116-A0305-02-0018-11
為期望值，I A 為未轉換影像，G(I A )為轉換影像，p A 為第一資料庫2之機率分布，而I A ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A ，(x,y)為焦點資訊，S(I A ,x,y)表示未轉換子影像，S(G(I A ),x,y)表示轉換子影像，D s (I A ,G(I A ))為第一焦點鑑別值，D s (S(I A ,x,y),S(G(I A ),x,y))為第二焦點鑑別值。本實施例的第二生成損失函數值可以是介於0至1之間的數值，並且該第二生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
執行步驟S72，判斷該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值是否皆小於或等於一預設的門檻值，並且在判斷該第一生成損失函 數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值中之任一者大於該預設的門檻值的情況下，繼續重複進行前述步驟S1、S21、S22、S41、S42、S51、S52、S33、S32及S72，對該影像生成器11、該轉換鑑別器12及該焦點鑑別器13執行學習及更新。
另一方面，在判斷該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值皆已小於或等於預設的門檻值的情況下，判斷該影像生成器11完成學習；並執行步驟S8，該影像生成器11接收一測試影像及對應的至少一測試焦點資訊，並依據更新後的參數及該至少一測試焦點資訊對該測試影像執行影像轉換，產生一轉換測試影像。進一步說明的是，本實施例步驟S8中的影像生成器11即是利用其最後一次更新的參數，來對該測試影像執行影像轉換。換言之，本實施例的影像轉換方法是利用最小化該第一、第二損失生成函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值的過程，來學習及優化該影像轉換網路1。本實施例的每一測試影像的測試焦點資訊數量是一個，然而也可以是多個，不以本實施例為限。
在其他實施方式中，步驟S72判斷該影像生成器11、該轉換鑑別器12及該焦點鑑別器13是否完成學習及更新的判斷條件，也可以是依據該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值分別是否皆收斂，來決定該影像生成器11是否完成學習及更新，也就是該第 一、第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值皆收斂的情況下，判斷該影像生成器11完成學習，因此不以本實施例的門檻值的判斷條件為限。
值得注意的是，本實施例的步驟S21、S22及步驟S41、S42之間的執行順序可互換，也就是在其他實施方式中，在執行S1之後可依序執行步驟S41、S42，並在執行步驟S42後，依序執行步驟S21、S22，因此步驟執行順序不以本實施例為限。
進一步說明的是，所述影像生成器11可以整合在行動裝置中，並且該測試影像及對應的測試焦點資訊可以是經由該行動裝置的鏡頭取得，其中該測試影像的測試焦點資訊可以是在使用者拍攝時決定，例如使用者拍攝時點擊行動裝置之螢幕進行對焦的資訊。而在本實施例中，該影像生成器11即是對該行動裝置取得的影像進行影像轉換，產生具有淺景深效果的該轉換測試影像，但並不以淺景深效果為限，也可以是其他影像效果轉換，例如影像亮度轉換、色彩優化等效果。
本實施例的影像轉換方法中，該影像生成器11是運用該轉換鑑別器12的轉換鑑別值，運算該第一生成損失函數值以更新參數，並運算該轉換損失函數值來據以更新該轉換鑑別器12；另一方面，依據該焦點損失函數值來更新該焦點鑑別器13，並且該焦點鑑別器13運用焦點資訊計算焦點鑑別值，及運算該第二生成損失函數值以更新該影像生成器11之參數，也就是本實施例的影像生成器11是與轉換鑑別器12及該焦點鑑別器13相互對抗學習， 該影像生成器11之參數經過至少兩階段的學習運算後完成。
參照圖4、7及8，其是本揭露之影像轉換方法的另一實施例的流程圖，本實施例之影像轉換方法與圖4、5、6所示之實施例類似，同樣適用於圖3所示之連接第一資料庫2及第二資料庫3之影像轉換網路1，而本實施例之影像轉換方法與圖4、5、6之實施例差別在於：本實施例的未轉換影像具有數個焦點資訊，在此以兩個焦點資訊為例說明，本實施例的未轉換影像的焦點資訊包括一第一焦點資訊(x 1 ,y 1)及一第二焦點資訊(x 2 ,y 2)。
本實施例與圖4、5、6所示之實施例之執行步驟上差異說明如下：圖7為本實施例的步驟S33之細節流程圖，進一步參照圖7，本實施例的步驟S33是執行步驟S331，該焦點鑑別器13依據該些未轉換影像中之一(即未轉換影像I A )及該轉換影像G(I A )執行運算以產生該第一焦點鑑別值；以及執行步驟S335，該焦點鑑別器13依據該些未轉換影像中之一(即未轉換影像I A )、該第一焦點資訊及該第二焦點資訊執行運算以產生數個第二焦點鑑別值。
圖8是本實施例步驟S335之細節流程圖，參照圖8，本實施例的步驟S335細節步驟如下：執行步驟S336，該焦點鑑別器13依據該第一焦點資訊(x 1 ,y 1)及該些未轉換影像中之一，即該未轉換影像I A ，產生一第一未轉換子影像，並依據該第二焦點資訊(x 2 ,y 2)及未轉換影像I A 產生一第二未轉換子影像，再依據該第一焦點資訊(x 1 ,y 1)及該轉換影像G(I A )產生一第一轉換子影像，並依據該 第二焦點資訊(x 2 ,y 2)及該轉換影像G(I A )產生一第二轉換子影像。在本實施例中，該焦點鑑別器13是取該未轉換影像I A 中第一焦點資訊(x 1 ,y 1)、第二焦點資訊(x 2 ,y 2)分別對應的區塊做為該第一未轉換子影像及該第二未轉換子影像，其個別可表示為S(I A ,x 1 ,y 1)、S(I A ,x 2 ,y 2)，並且取該轉換影像G(I A )中該第一焦點資訊(x 1 ,y 1)及該第二焦點資訊(x 2 ,y 2)分別對應的區塊做為該第一轉換子影像及該第二轉換子影像，其個別可表示為S(G(I A ),x 1 ,y 1)、S(G(I A ),x 2 ,y 2)。
再執行步驟S337，該焦點鑑別器13依據該第一未轉換子影像S(I A ,x 1 ,y 1)、該第二未轉換子影像S(I A ,x 2 ,y 2)、該第一轉換子影像S(G(I A ),x 1 ,y 1)及該第二轉換子影像S(G(I A ),x 2 ,y 2)執行運算以產生兩筆第二焦點鑑別值，其個別可表示為D s (S(I A ,x 1 ,y 1),S(G(I A ),x 1 ,y 1))及D s (S(I A ,x 2 ,y 2),S(G(I A ),x 2 ,y 2))。
在取得第一、第二焦點鑑別值之後，執行步驟S32，該影像生成器11依據該第一焦點鑑別值及該些第二焦點鑑別值，運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器11之參數，而本實施例的第二生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0022-13
 其中，L(G s )表示該第二生成損失函數，
Figure 108138116-A0305-02-0022-14
為期望值，I A 為未轉換影像，G(I A )為轉換影像，p A 為第一資料庫2之機率分布，I A ~p A 表示 未轉換影像I A 是從第一資料庫2中隨機選取，(x 1 ,y 1)、(x 2 ,y 2)為焦點資訊，S(I A ,x 1 ,y 1)、S(I A ,x 2 ,y 2)為未轉換子影像，S(G(I A ),x 1 ,y 1)、S(G(I A ),x 2 ,y 2)是轉換子影像，而D s (I A ,G(I A ))為第一焦點鑑別值，D s (S(I A ,x 1 ,y 1),S(G(I A ),x 1 ,y 1))、D s (S(I A ,x 2 ,y 2),S(G(I A ),x 2 ,y 2))是第二焦點鑑別值。
本實施例的第二生成損失函數值可以是介於0至1之間的數值，並且該第二生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
在執行S337後，與前一實施例相同地，執行步驟S32以更新該影像生成器11之參數，並在步驟S72判斷完成學習後，執行步驟S8，該影像生成器11接收一測試影像及對應於該測試影像的至少一測試焦點資訊，並且該影像生成器11依據更新後的參數及該至少一測試焦點資訊，對該測試影像執行轉換以產生一轉換測試影像。進一步說明的是，本實施例步驟S8中的影像生成器11即是利用其最後一次更新的參數，來對該測試影像執行影像轉換。值得一提的是，本實施例的每一測試影像具有兩筆測試焦點資訊，但不以此為限，該些測試焦點資訊的數量也可以是大於二。
參照圖5、6、9，其是本揭露之影像轉換方法的另一實施例的流程圖。本實施例的影像轉換方法適用於圖3所示之影像轉換網路1、第一資料庫2及第二資料庫3。該第一資料庫2儲存數筆未轉換影像，每一未轉換影像具至少一焦點資訊。該第二資料 庫3儲存數筆轉換模板影像。在本實施例中，每一未轉換影像的焦點資訊數量為一，然而也可以是多筆焦點資訊，不以本實施例為限。
進一步參照圖3，所述影像轉換網路1執行的該影像轉換方法在執行前，該影像生成器11、該轉換鑑別器12及該焦點鑑別器13各自被預設了參數，也就是先執行初始化參數設定，而該影像轉換方法是利用學習運算的更新該影像生成器11、該轉換鑑別器12及該焦點鑑別器13，以優化該影像轉換網路1的轉換效能。
本實施例的影像轉換方法的步驟說明如下：執行步驟S1，該影像生成器11經配置以依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊執行運算以產生一轉換影像。所述影像生成器11由該第一資料庫2中選取一筆未轉換影像後，依據選取的該未轉換影像及其焦點資訊，對選取的該未轉換影像執行影像轉換以產生該轉換影像。在本實施例中，該影像生成器11是對影像進行淺景深處理與轉換，然而並不以此為限，也可以是其他影像效果轉換，例如影像亮度轉換、色彩優化等效果。
在取得該轉換影像後，執行步驟S51，該焦點鑑別器13依據該些未轉換影像中之二個運算一焦點鑑別損失函數值。在步驟S51中，該焦點鑑別器13是從該第一資料庫2中隨機選出二筆未轉換影像，並對選擇的影像進行運算，本實施例的焦點鑑別器13是用以鑑別輸入的影像間的相似或差異，並且該焦點鑑別值是表示影像間的相似程度或差異程度的資訊，具體而言，該焦點鑑 別值介於0至1之間的數值，該焦點鑑別值越大則表示越相似，然而並不以此為限，可依運算需求調整數值對應之定義。
為清楚地說明，在步驟S51中被選出的二筆未轉換影像分別以未轉換影像I A 、未轉換影像I A' 來表示。本實施例的步驟S51中，該焦點鑑別器13是依據未轉換影像I A 及未轉換影像I A' 運算一焦點鑑別值，其以數學式表示為D s (I A ,I A' )，並且依據該未轉換影像I A 運算另一焦點鑑別值，其以數學式表示為D s (I A ,I A )，再依據該未轉換影像I A' 運算另一焦點鑑別值，其以數學式表示為D s (I A' ,I A' )。
在取得該些焦點鑑別值D s (I A ,I A' )、D s (I A ,I A )及D s (I A' ,I A' )後，該焦點鑑別器13基於一焦點鑑別損失函數，並依據該些焦點鑑別值D s (I A ,I A' )、D s (I A ,I A )及D s (I A' ,I A' )運算該焦點鑑別損失函數值，而所述焦點鑑別損失函數可以數學式表示為
Figure 108138116-A0305-02-0025-15
 其中，L(D s )表示該焦點鑑別損失函數，
Figure 108138116-A0305-02-0025-16
為期望值，I A 、I A' 為未轉換影像，p A 為第一資料庫2之機率分布，而I A ,I A' ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A 、I A' ，D s (I A ,I A' )、D s (I A ,I A )、D s (I A' ,I A' )為焦點鑑別值。再執行步驟S52，該焦點鑑別器13依據該焦點鑑別損失函數值更新該焦點鑑別器13之參數。本實施例的焦點鑑別損失函數值可以是介於0至1之間的數值，並且該焦點鑑別損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
接著執行步驟S33，該焦點鑑別器13依據該轉換影像、該些未轉換影像中之一及該至少一焦點資訊執行運算以產生數筆焦點鑑別值。該些未轉換影像中之一可以是步驟S1中選擇的該未轉換影像I A ，而該些焦點鑑別值則包括一第一焦點鑑別值及至少一第二焦點鑑別值。圖5、6是依據本揭露之影像轉換方法之步驟S33之流程圖。進一步參照圖5，本實施例之步驟S33的細節說明如下：執行步驟S331，該焦點鑑別器13依據該些未轉換影像中之一，即未轉換影像I A ，以及經該影像生成器11轉換而成的該轉換影像G(I A )執行運算以產生該第一焦點鑑別值，其可以數學式表示為D s (I A ,G(I A ))；以及執行步驟S332，該焦點鑑別器13依據該些未轉換影像中之一，即未轉換影像I A ，以及該至少一焦點資訊執行運算以產生該至少一第二焦點鑑別值，本實施例的焦點資訊數量為一，然不以此為限。所述步驟S332的細節如圖6所示，將在下一段落中詳細說明。
進一步參照圖6，為清楚地說明，對應該未轉換影像I A 之焦點資訊以(x,y)表示，而本實施例步驟S332之細節說明如下：執行步驟S333，該焦點鑑別器13依據該至少一焦點資訊，即焦點資訊(x,y)，以及該些未轉換影像中之一(即未轉換影像I A )產生至少一未轉換子影像，並依據該至少一焦點資訊，即焦點資訊(x,y)，以及該轉換影像G(I A )產生至少一轉換子影像。在本實施例中，該焦點資訊數量為一，因此該轉換子影像及該未轉換子影像的數量也是一，然而不以本實施例為限，其數量也可以大於一。另一方面， 本實施例的焦點鑑別器13是取該未轉換影像中焦點資訊(x,y)對應的區塊做為該未轉換子影像，其可以數學式表示為S(I A ,x,y)，並且取該轉換影像中焦點資訊(x,y)對應的區塊做為該轉換子影像，其可以數學式表示為S(G(I A ),x,y)。再執行步驟S334，該焦點鑑別器13依據(I A ,x,y)及該至少一轉換子影像S(G(I A ),x,y)，執行運算以產生該至少一第二焦點鑑別值，本實施例的第二焦點鑑別值數量為一，其以數學式可表示為D s (S(I A ,x,y),S(G(I A ),x,y))。
在取得第一、第二焦點鑑別值後，執行步驟S32，該影像生成器11依據焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器11之參數。該影像生成器11即是依據該焦點鑑別器13的鑑別結果，也就是該第一焦點鑑別值D s (I A ,G(I A ))及該第二焦點鑑別值D s (S(I A ,x,y),S(G(I A ),x,y))，且基於一第二生成損失函數來計算該第二生成損失函數值，再依據該第二生成損失函數值來調整與更新參數。該第二生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0027-17
 其中，L(G s )表示該第二生成損失函數，
Figure 108138116-A0305-02-0027-18
為期望值，I A 為未轉換影像，G(I A )為轉換影像，p A 為第一資料庫2之機率分布，而I A ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A ，(x,y)為焦點資訊，S(I A ,x,y)表示未轉換子影像，S(G(I A ),x,y)表示轉換子影像，D s (I A ,G(I A ))為第一焦點鑑別值，D s (S(I A ,x,y),S(G(I A ),x,y))為第二焦 點鑑別值。本實施例的第二生成損失函數值可以是介於0至1之間的數值，並且該第二生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
接著執行步驟S43，該轉換鑑別器12依據該些轉換樣板影像中之一運算一轉換鑑別值，並依據該轉換影像運算另一轉換鑑別值。在步驟S43中，該轉換鑑別器12是從該第二資料庫3中隨機選出一筆轉換樣板影像，其以I B 表示，並對選擇的轉換樣板影像I B 進行運算以取得該轉換鑑別值，以D(I B )表示。此外，因該影像生成器11之參數在步驟S32中已被更新過，因此再次執行步驟S1，也就是先更新對應於該未轉換影像I A 之該轉換影像G(I A )後，再依據更新後的轉換影像G(I A )運算該另一轉換鑑別值，其可以D(G(I A ))表示。
接著執行步驟S42，該轉換鑑別器12依據該些轉換鑑別值D(I B )、D(G(I A ))運算一轉換鑑別損失函數值，並依據該轉換鑑別損失函數值更新該轉換鑑別器12之參數，其中該轉換鑑別損失函數值是基於一轉換鑑別損失函數來計算，而所述轉換鑑別損失函數可以數學式表示為
Figure 108138116-A0305-02-0028-19
 其中，L(D)表示該轉換鑑別損失函數，
Figure 108138116-A0305-02-0028-20
為期望值，I A 為未轉換影像，p A 為第一資料庫2之機率分布，I A ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A ，G(I A )為轉換影像，I B 為轉換樣板 影像，p B 為第二資料庫3之機率分布，I B ~p B 是用以表示從第二資料庫3中隨機選取的轉換樣板影像I B ，而D(G(I A ))及D(I B )為轉換鑑別值。
本實施例的轉換鑑別損失函數值可以是介於0至1之間的數值，並且該轉換鑑別損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。本實施例步驟S42中的轉換鑑別器12即是將依據該轉換影像與該轉換樣板影像運算所得的該些轉換鑑別值代入該轉換鑑別損失函數，也就是上述數學式，以計算該轉換鑑別損失函數值，再據以更新該轉換鑑別器12之參數。
執行步驟S21，該轉換鑑別器12對該轉換影像執行運算以產生轉換鑑別值。因該轉換鑑別器12之參數在步驟S42中已更新，本實施例的步驟S21的轉換鑑別器12是對該轉換影像G(I A )執行運算，並將運算結果更新對應的轉換鑑別值D(G(I A ))。本實施例的轉換鑑別器12是用以鑑別輸入的影像間相似或差異，並且該轉換鑑別值是表示影像間的相似程度或差異程度的資訊，具體而言，該轉換鑑別值可以是介於0至1之間的數值，該轉換鑑別值越大則表示越相似，然而並不以此為限，可依運算需求調整數值對應之定義。
再執行步驟S22，該影像生成器11依據該轉換鑑別值運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器11之參數。換言之，該影像生成器11即是依據該轉 換鑑別器12的鑑別結果，且基於一第一生成損失函數來計算該第一生成損失函數值，並依據該第一生成損失函數值來調整與更新參數。該第一生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0030-21
 其中，L(G)表示該第一生成損失函數，
Figure 108138116-A0305-02-0030-22
為期望值，I A 為未轉換影像，p A 為第一資料庫2之機率分布，而I A ~p A 是用以表示從第一資料庫2中隨機選取的未轉換影像I A ，G(I A )為轉換影像，D(G(I A ))為轉換鑑別值。本實施例的第一生成損失函數值可以是介於0至1之間的數值，並且該第一生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
執行步驟S72，判斷該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值是否皆小於或等於一預設的門檻值，並且在判斷該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值中之任一者大於該預設的門檻值的情況下，繼續重複進行前述步驟S1、S51、S52、S33、S32、S43、S42、S21、S22及S72，對該影像生成器11、該轉換鑑別器12及該焦點鑑別器13執行學習及更新。
另一方面，在判斷該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值皆已小於或等於預設的門檻值的情況下，判斷該影像生成器11完成 學習，並執行步驟S8，該影像生成器11接收一測試影像及對應的至少一測試焦點資訊，並該影像生成器11依據更新後的參數及該至少一焦點測試資訊對該測試影像執行影像轉換，產生一轉換測試影像。進一步說明的是，本實施例步驟S8中的影像生成器11即是利用其最後一次更新的參數，來對該測試影像執行影像轉換。換言之，本實施例的影像轉換方法是利用最小化該第一、第二損失生成函數值、轉換鑑別損失函數值及焦點鑑別損失函數值的過程，來學習及優化該影像轉換網路1。本實施例的每一測試影像的測試焦點資訊數量是一個，然而也可以是多個，不以本實施例為限。
在其他實施方式中，步驟S72判斷該影像生成器11、該轉換鑑別器12及該焦點鑑別器13是否完成學習及更新的判斷條件，也可以是依據該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值分別是否皆收斂，來決定該影像生成器11是否完成學習及更新，也就是在該第一、第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值皆收斂的情況下，判斷該影像生成器11完成學習，因此不以本實施例的門檻值的判斷條件為限。
值得注意的是，本實施例的步驟S51、S52及步驟S33、S32之間的執行順序可互換，也就是在其他實施方式中，在執行S1之後可依序執行步驟S33、S32，並在執行步驟S32後，依序執行步驟S51、S52，步驟執行順序不以本實施例為限。
進一步說明的是，所述影像生成器11可以整合在行動裝置中，並且該測試影像及對應的測試焦點資訊可以是經由該行動裝置的鏡頭取得，其中該測試影像的測試焦點資訊可以是在使用者拍攝時決定，例如使用者拍攝時點擊行動裝置之螢幕進行對焦的資訊。而在本實施例中，該影像生成器11即是對該行動裝置取得的影像進行影像轉換，產生具有淺景深效果的該轉換測試影像，但並不以淺景深效果為限，也可以是其他影像效果轉換，例如影像亮度轉換、色彩優化等效果。
本實施例的影像轉換方法中，該影像生成器11是運用該轉換鑑別器12的轉換鑑別值，運算第一生成損失函數值以更新參數，並運算轉換損失函數值來據以更新該轉換鑑別器12；另一方面，依據焦點損失函數值來更新該焦點鑑別器13，並該焦點鑑別器13運用焦點資訊計算焦點鑑別值，及運算該第二生成損失函數值以更新該影像生成器11之參數，也就是本實施例的影像生成器11是與轉換鑑別器12及該焦點鑑別器13相互對抗學習，該影像生成器11之參數經過至少兩階段的學習運算後完成。
參照圖7、8、9，其是本揭露之影像轉換方法的另一實施例的流程圖，本實施例之影像轉換方法與圖5、6、9之實施例類似，同樣適用於圖3所示之連接第一資料庫2及第二資料庫3之影像轉換網路1，而本實施例之影像轉換方法與圖5、6、9之實施例差別在於：每一未轉換影像具有數個焦點資訊，在此以兩個焦點資訊為例說明，本實施例的未轉換影像的焦點資訊包括一第一 焦點資訊(x1,y1)及一第二焦點資訊(x2,y2)。
本實施例與圖5、6、9所示之實施例之執行步驟上差異說明如下：圖7為本實施例的步驟S33之細節流程圖，進一步參照圖7，本實施例的步驟S33是執行步驟S331，該焦點鑑別器13依據該些未轉換影像中之一(即未轉換影像I A )及該轉換影像執行運算以產生該第一焦點鑑別值；以及執行步驟S335，該焦點鑑別器13依據該些未轉換影像中之一(即未轉換影像I A )、該第一焦點資訊及該第二焦點資訊執行運算以產生數個第二焦點鑑別值。
圖8是本實施例步驟S335之細節流程圖，參照圖8，本實施例的步驟S335細節步驟如下：執行步驟S336，該焦點鑑別器13依據該第一焦點資訊(x 1 ,y 1)及該些未轉換影像中之一，即未轉換影像I A ，產生一第一未轉換子影像，並依據該第二焦點資訊(x 2 ,y 2)及未轉換影像產生一第二未轉換子影像，再依據該第一焦點資訊(x 1 ,y 1)及該轉換影像產生一第一轉換子影像，並依據該第二焦點資訊(x 2 ,y 2)及該轉換影像產生一第二轉換子影像。在本實施例中，該焦點鑑別器13是取該未轉換影像I A 中第一焦點資訊(x 1 ,y 1)、第二焦點資訊(x 2 ,y 2)分別對應的區塊做為該第一未轉換子影像及該第二未轉換子影像，其個別可表示為S(I A ,x 1 ,y 1)、S(I A ,x 2 ,y 2)；並且取該轉換影像G(I A )中該第一焦點資訊(x 1 ,y 1)及該第二焦點資訊(x 2 ,y 2)分別對應的區塊做為該第一轉換子影像及該第二轉換子影像，其個別可表示為S(G(I A ),x 1 ,y 1)、S(G(I A ),x 2 ,y 2)。
再執行步驟S337，該焦點鑑別器13依據該第一未轉換子 影像S(I A ,x 1 ,y 1)、該第二未轉換子影像S(I A ,x 2 ,y 2)、該第一轉換子影像S(G(I A ),x 1 ,y 1)及該第二轉換子影像S(G(I A ),x 2 ,y 2)執行運算以產生兩筆第二焦點鑑別值，其個別可表示為D s (S(I A ,x 1 ,y 1),S(G(I A ),x 1 ,y 1))及D s (S(I A ,x 2 ,y 2),S(G(I A ),x 2 ,y 2))。
在取得第一、第二焦點鑑別值之後，執行步驟S32，該影像生成器11依據該第一焦點鑑別值及該些第二焦點鑑別值，運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器11之參數，而本實施例的第二生成損失函數可以數學式表示為
Figure 108138116-A0305-02-0034-23
 其中，L(G s )表示該第二生成損失函數，
Figure 108138116-A0305-02-0034-24
為期望值，I A 為未轉換影像，G(I A )為轉換影像，p A 為第一資料庫2之機率分布，I A ~p A 是用以表示未轉換影像I A 是從第一資料庫2中隨機選取，(x 1 ,y 1)、(x 2 ,y 2)為焦點資訊，S(I A ,x 1 ,y 1)、S(I A ,x 2 ,y 2)為未轉換子影像，S(G(I A ),x 1 ,y 1)、S(G(I A ),x 2 ,y 2)表示轉換子影像，而D s (I A ,G(I A ))為第一焦點鑑別值，D s (S(I A ,x 1 ,y 1),S(G(I A ),x 1 ,y 1))、D s (S(I A ,x 2 ,y 2),S(G(I A ),x 2 ,y 2))是第二焦點鑑別值。本實施例的第二生成損失函數值可以是介於0至1之間的數值，並且該第二生成損失函數值越低表示該影像轉換網路1越接近理想狀況，然而並不以此為限，可依運算需求調整數值對應之定義。
值得一提的是，與前一實施例類似地，步驟S8中，該影像生成器11接收一測試影像及對應於該測試影像的至少一測試焦點資訊，並且該影像生成器11依據更新後的參數及該至少一測試焦點資訊，對該測試影像執行轉換以產生一轉換測試影像。然而，本實施例中每一測試影像的測試焦點資訊數量為二，但不以此為限，該些測試焦點資訊的數量也可以是大於二。進一步說明的是，本實施例步驟S8中的影像生成器11即是利用其最後一次更新的參數，來對該測試影像執行影像轉換。
需要注意的是，本揭露的影像轉換網路1可以是類似生成對抗網路(Generative Adversarial Network,GAN)的多個軟體或韌體程式，也可以是電路模組。此外，在本揭露中的影像轉換方法可以是電腦程式的形式，其經由處理器與記憶體共同執行此影像轉換方法，並且本揭露之影像轉換方法的步驟，除了明確說明之順序外，可依據實作上需要調整，可同時執行或部分同時執行。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故發明的保護範圍當視後附的申請專利範圍所界定者為準。
1:影像轉換網路
11:影像生成器
12:轉換鑑別器
13:焦點鑑別器
2:第一資料庫

Claims (17)

  1. 一種影像轉換方法，適用於一影像轉換網路，且該影像轉換網路連接一第一資料庫，並包括一影像生成器、一轉換鑑別器，及一焦點鑑別器，且該第一資料庫儲存數筆未轉換影像，該影像轉換方法包括：該影像生成器依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊執行運算以產生一轉換影像；該轉換鑑別器對該轉換影像執行運算以產生一轉換鑑別值；該影像生成器依據該轉換鑑別值運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器之參數；該焦點鑑別器依據該些未轉換影像中之一、該轉換影像及該至少一焦點資訊執行運算以產生至少一焦點鑑別值；及該影像生成器依據該至少一焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器之參數。
  2. 如申請專利範圍第1項所述的影像轉換方法，其中，該影像轉換網路還連接儲存數筆轉換樣板影像的一第二資料庫，並且該影像轉換方法還包括：該轉換鑑別器依據該些轉換樣板影像中之一運算另一轉換鑑別值；及該轉換鑑別器依據該些轉換鑑別值，運算一轉換鑑別損失函數值，並依據該轉換鑑別損失函數值更新該轉換鑑別器之參數。
  3. 如申請專利範圍第1項所述的影像轉換方法，還包括：該焦點鑑別器依據該些未轉換影像中之二個運算一焦點鑑別損失函數值；及該焦點鑑別器依據該焦點鑑別損失函數值更新該焦點鑑別器之參數。
  4. 如申請專利範圍第1項所述的影像轉換方法，還包括：該影像生成器接收一測試影像及至少一測試焦點資訊；及該影像生成器依據更新後的參數及該至少一測試焦點資訊，對該測試影像執行轉換以產生一轉換測試影像。
  5. 如申請專利範圍第1項所述的影像轉換方法，其中，該焦點鑑別器依據該些未轉換影像中之一、該轉換影像及該至少一焦點資訊執行運算以產生該至少一焦點鑑別值包括：該焦點鑑別器依據該些未轉換影像中之一及該轉換影像執行運算以產生一第一焦點鑑別值；及該焦點鑑別器依據該些未轉換影像中之一及該至少一焦點資訊執行運算以產生至少一第二焦點鑑別值，其中，該影像生成器是依據該第一焦點鑑別值及該至少一第二焦點鑑別值運算該第二生成損失函數值。
  6. 如申請專利範圍第5項所述的影像轉換方法，其中，該焦點鑑別器依據該些未轉換影像中之一及該至少一焦點資訊執行運算以產生該至少一第二焦點鑑別值包括： 該焦點鑑別器依據該至少一焦點資訊及該些未轉換影像中之一產生至少一未轉換子影像；該焦點鑑別器依據該至少一焦點資訊及該轉換影像產生至少一轉換子影像；及該焦點鑑別器依據該至少一未轉換子影像及該至少一轉換子影像執行運算以產生該至少一第二焦點鑑別值。
  7. 如申請專利範圍第1項所述的影像轉換方法，其中，該轉換鑑別值及該至少一焦點鑑別值是影像差異程度資訊或相似程度資訊。
  8. 如申請專利範圍第1項所述的影像轉換方法，還包括判斷該第一生成損失函數值及該第二生成損失函數值是否皆小於或等於一預設的門檻值，在該第一生成損失函數值及該第二生成損失函數值中之任一者大於該預設的門檻值的情況下，再次執行申請專利範圍第1項之步驟。
  9. 如申請專利範圍第2項所述的影像轉換方法，還包括：該焦點鑑別器依據該些未轉換影像中之二個運算一焦點鑑別損失函數值；及該焦點鑑別器依據該焦點鑑別損失函數值更新該焦點鑑別器之參數。
  10. 如申請專利範圍第9項所述的影像轉換方法，還包括判斷該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值是否皆小於或等於一預設的 門檻值，在該第一生成損失函數值、該第二生成損失函數值、該轉換鑑別損失函數值及該焦點鑑別損失函數值中之任一者大於該預設的門檻值的情況下，再次執行申請專利範圍第9項之步驟。
  11. 一種影像轉換網路，連接儲存數筆未轉換影像的一第一資料庫，該影像轉換網路包括：一影像生成器，經配置以執行運算，並依據該些未轉換影像中之一及該些未轉換影像中之一的至少一焦點資訊產生一轉換影像；一轉換鑑別器，訊號連接該影像生成器，並經配置以執行運算，且依據該轉換影像產生一轉換鑑別值；及一焦點鑑別器訊號連接該影像生成器，並經配置以依據該些未轉換影像中之一、該轉換影像及該至少一焦點資訊執行運算以產生至少一焦點鑑別值，其中，影像生成器經配置還可執行：依據該轉換鑑別值運算一第一生成損失函數值，且依據該第一生成損失函數值更新該影像生成器之參數，及依據該至少一焦點鑑別值運算一第二生成損失函數值，且依據該第二生成損失函數值更新該影像生成器之參數。
  12. 如申請專利範圍第11項所述的影像轉換網路，還可連接儲存數筆轉換樣板影像的一第二資料庫，其中，該影像轉換網路的該轉換鑑別器經配置還可執行：依據該些轉換樣板影像中之一運算另一轉換鑑別值；及 依據該些轉換鑑別值，運算一轉換鑑別損失函數值，並依據該轉換鑑別損失函數值更新該轉換鑑別器之參數。
  13. 如申請專利範圍第11項所述的影像轉換網路，其中該焦點鑑別器經配置還可執行：依據該些未轉換影像中之二個運算一焦點鑑別損失函數值；及依據該焦點鑑別損失函數值更新該焦點鑑別器之參數。
  14. 如申請專利範圍第11項所述的影像轉換網路，其中該焦點鑑別器經配置還可執行：依據該些未轉換影像中之一及該轉換影像執行運算以產生一第一焦點鑑別值；及依據該些未轉換影像中之一及該至少一焦點資訊執行運算以產生至少一第二焦點鑑別值，其中，該影像生成器是依據該第一焦點鑑別值及該至少一第二焦點鑑別值運算該第二生成損失函數值。
  15. 如申請專利範圍第14項所述的影像轉換網路，其中該焦點鑑別器經配至還可執行：依據該至少一焦點資訊及該些未轉換影像中之一產生至少一未轉換子影像；依據該至少一焦點資訊及該轉換影像產生至少一轉換子影像；及 依據該至少一未轉換子影像及該至少一轉換子影像執行運算以產生該至少一第二焦點鑑別值。
  16. 如申請專利範圍第11項所述的影像轉換網路，其中該轉換鑑別值及該至少一焦點鑑別值是影像間的差異程度資訊或相似程度資訊。
  17. 如申請專利範圍第11項所述的影像轉換網路，其中該影像生成器經配置還執行：接收一測試影像及至少一測試焦點資訊；及依據該該影像生成器更新後的參數及該至少一測試焦點資訊，對該測試影像執行轉換以產生一轉換測試影像。
TW108138116A 2019-10-22 2019-10-22 影像轉換方法及影像轉換網路 TWI730467B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108138116A TWI730467B (zh) 2019-10-22 2019-10-22 影像轉換方法及影像轉換網路
CN201911272396.4A CN112700365A (zh) 2019-10-22 2019-12-12 图像转换方法及图像转换网络
US16/808,345 US11238624B2 (en) 2019-10-22 2020-03-03 Image transform method and image transform network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108138116A TWI730467B (zh) 2019-10-22 2019-10-22 影像轉換方法及影像轉換網路

Publications (2)

Publication Number Publication Date
TW202117668A TW202117668A (zh) 2021-05-01
TWI730467B true TWI730467B (zh) 2021-06-11

Family

ID=75491234

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108138116A TWI730467B (zh) 2019-10-22 2019-10-22 影像轉換方法及影像轉換網路

Country Status (3)

Country Link
US (1) US11238624B2 (zh)
CN (1) CN112700365A (zh)
TW (1) TWI730467B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823355B2 (en) * 2021-02-02 2023-11-21 Nvidia Corporation Depth based image sharpening

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像***及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI532009B (zh) 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
JP4988057B1 (ja) * 2011-10-11 2012-08-01 アキュートロジック株式会社 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
US20140267618A1 (en) 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery
KR102049839B1 (ko) * 2013-03-26 2019-11-28 삼성전자주식회사 영상 처리 장치 및 방법
KR102049080B1 (ko) 2013-03-28 2020-01-08 삼성전자주식회사 영상 처리 장치 및 방법
JPWO2015186439A1 (ja) * 2014-06-03 2017-04-20 株式会社日立製作所 画像処理装置及び立体視表示方法
US10284835B2 (en) 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
TWI555378B (zh) 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
KR102443214B1 (ko) 2016-01-08 2022-09-15 삼성전자 주식회사 영상처리장치 및 그 제어방법
US10319076B2 (en) 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US10104292B2 (en) 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
CN106408643A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于图像空间的图像景深模拟方法
US11024009B2 (en) 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US10127659B2 (en) 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US11593632B2 (en) 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding
US10380983B2 (en) 2016-12-30 2019-08-13 Google Llc Machine learning to generate music from text
JP2018139071A (ja) 2017-02-24 2018-09-06 株式会社リコー 生成モデル学習方法、生成モデル学習装置およびプログラム
US20180247201A1 (en) 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
US10474880B2 (en) 2017-03-15 2019-11-12 Nec Corporation Face recognition using larger pose face frontalization
US10268913B2 (en) 2017-04-03 2019-04-23 General Electric Company Equipment damage prediction system using neural networks
US10482609B2 (en) 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
US10475174B2 (en) 2017-04-06 2019-11-12 General Electric Company Visual anomaly detection system
US10474929B2 (en) 2017-04-25 2019-11-12 Nec Corporation Cyclic generative adversarial network for unsupervised cross-domain image generation
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN107705242B (zh) * 2017-07-20 2021-12-17 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
US10440276B2 (en) * 2017-11-02 2019-10-08 Adobe Inc. Generating image previews based on capture information
CN108171649B (zh) * 2017-12-08 2021-08-17 广东工业大学 一种保持焦点信息的图像风格化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像***及存储介质

Also Published As

Publication number Publication date
CN112700365A (zh) 2021-04-23
US11238624B2 (en) 2022-02-01
US20210118195A1 (en) 2021-04-22
TW202117668A (zh) 2021-05-01

Similar Documents

Publication Publication Date Title
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
RU2603357C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
JP2011209815A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10027878B2 (en) Detection of object in digital image
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP7207846B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN103167240A (zh) 图像拾取装置及其控制方法
JP2018026115A (ja) 火炎検出方法、火炎検出装置及び電子機器
TWI730467B (zh) 影像轉換方法及影像轉換網路
CN103136745A (zh) 利用散焦碉堡图像执行深度估计的***及方法
WO2019188573A1 (ja) 演算装置、演算方法およびプログラム
JP2015162817A (ja) 画像処理装置およびその制御方法
US11790550B2 (en) Learnable cost volume for determining pixel correspondence
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20230196739A1 (en) Machine learning device and far-infrared image capturing device
JP2021018477A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023017091A (ja) 推定装置、推定方法及びプログラム
JP2016162421A (ja) 情報処理装置、情報処理方法、およびプログラム
KR102101481B1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2023106119A1 (ja) 制御装置、制御方法、情報処理装置、生成方法、およびプログラム
JP2024038523A (ja) 画像処理方法、学習済みモデルの製造方法、プログラム、および、画像処理装置
JP5526588B2 (ja) 被写体追跡プログラムおよび被写体追跡装置
JP7129229B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体