TWI788171B - 影像處理裝置以及超解析處理方法 - Google Patents
影像處理裝置以及超解析處理方法 Download PDFInfo
- Publication number
- TWI788171B TWI788171B TW110149687A TW110149687A TWI788171B TW I788171 B TWI788171 B TW I788171B TW 110149687 A TW110149687 A TW 110149687A TW 110149687 A TW110149687 A TW 110149687A TW I788171 B TWI788171 B TW I788171B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- super
- attention
- resolution image
- resolution
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 101100339481 Cochliobolus miyabeanus HOG1 gene Proteins 0.000 description 8
- 101150009928 SRM1 gene Proteins 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
一種影像處理裝置，包括影像擷取電路以及處理器。影像擷取電路用以擷取高解析影像。處理器連接影像擷取電路，並執行超解析模型以及注意力模型，其中處理器用以進行下列操作：對高解析影像執行下採樣處理以產生低解析影像；利用超解析模型對低解析影像進行超解析處理以產生超解析影像；將注意力模型套用至高解析影像以及超解析影像產生注意力加權高解析影像以及注意力加權超解析影像，並依據注意力加權高解析影像以及注意力加權超解析影像計算第一損失；以及依據第一損失更新該超解析模型。
Description
本揭示有關於一種影像處理技術，且特別是有關於影像處理裝置以及超解析處理方法。
就目前影像處理技術而言，常常對影像執行超解析（Super Resolution）處理，以進行各種下游任務。例如，提升醫學影像清晰度、生物辨識成效，或是增進自駕車影像分割效果等。因此，處理後的超解析影像內容是否能精確呈現「下游任務所需要的關鍵細節」成為目前超解析處理的關鍵議題。
本揭示的一態樣揭露一種影像處理裝置，包括影像擷取電路以及處理器。影像擷取電路用以擷取高解析影像。處理器連接影像擷取電路，並執行超解析模型以及注意力模型，其中處理器用以進行下列操作：對高解析影像執行下採樣處理以產生低解析影像；利用超解析模型對低解析影像進行超解析處理以產生超解析影像；將注意力模型套用至高解析影像以及超解析影像產生注意力加權高解析影像以及注意力加權超解析影像，並依據注意力加權高解析影像以及注意力加權超解析影像計算第一損失；以及依據第一損失更新該超解析模型。
本揭示的另一態樣揭露一種超解析處理方法，包括：擷取高解析影像，並對高解析影像執行下採樣處理以產生低解析影像；利用超解析模型對低解析影像進行超解析處理以產生超解析影像；將注意力模型套用至高解析影像以及超解析影像產生注意力加權高解析影像以及注意力加權超解析影像，並依據注意力加權高解析影像以及注意力加權超解析影像計算第一損失；以及依據第一損失更新超解析模型。
參照第1圖，第1圖是本揭示的影像處理裝置100的方塊圖。於一實施例中，影像處理裝置100包括影像擷取電路110以及處理器120。影像擷取電路110用以擷取高解析（High Resolution）影像HR。處理器120連接影像擷取電路110。
在一些實施例中，影像處理裝置100可由電腦、伺服器或處理中心建立。在一些實施例中，影像擷取電路110可以是用以擷取影像的攝影機或可以連續拍照之照相機。例如，數位單眼相機（Digital Single-Lens Reflex Camera，DSLR）、數位攝影機（Digital Video Camera，DVC）或近紅外線相機（Near-infrared Camera，NIRC）等。在一些實施例中，處理器120可由處理單元、中央處理單元或計算單元實現。
在一些實施例中，影像處理裝置100並不限於包括影像擷取電路110以及處理器120，影像處理裝置100可以進一步包括操作以及應用中所需的其他元件，舉例來說，影像處理裝置100可更包括輸出介面(例如，用於顯示資訊的顯示面板)、輸入介面(例如，觸控面板、鍵盤、麥克風、掃描器或快閃記憶體讀取器)以及通訊電路(例如，WiFi通訊模型、藍芽通訊模型、無線電信網路通訊模型等)。
如第1圖所示，處理器120基於相應的軟體或韌體指令程序以執行超解析模型SM1以及注意力模型AM。
在一些實施例中，處理器120更可基於相應的軟體或韌體指令程序以執行下採樣（Down Sampling）模型DS，並可利用下採樣模型DS對高解析影像HR執行下採樣處理以產生低解析（Low Resolution）影像，其中低解析影像LR的解析度低於高解析影像HR的解析度。
在一些實施例中，超解析模型SM1可用以對低解析影像LR進行超解析處理以產生超解析（Super Resolution）影像SR，其中超解析影像SR1的解析度等於高解析影像HR的解析度。值得注意的是，超解析模型SM1可以是任意可執行超解析處理的模型，並沒有特別的限制。例如，超解析模型SM1可以是超解析生成對抗網路（Super-Resolution Generative Adversarial Network，SRGAN）、深度遞迴卷積網路（Deep Recursive Convolutional Network，DRCN）或超解析卷積神經網路（Super-Resolution Convolution Neural Network，SRCNN）等。
在一些實施例中，注意力模型AM可用以對超解析影像SR1以及高解析影像HR進行影像濾波處理。接著，對經處理後的超解析影像SR1以及高解析影像HR進行距離函數運算以產生第一損失loss1，以依據第一損失loss1對超解析模型SM1進行更新，詳細作法將在後續段落詳細說明。
在一些實施例中，超解析模型SM1在產生超解析影像SR1的過程中可產生第二損失loss2，並可依據上述第一損失loss1以及第二損失loss2對超解析模型SM1進行更新，詳細作法將在後續段落詳細說明。
參照第2圖，第2圖是本揭示的超解析處理方法的流程圖。第2圖所示實施例的方法適用於第1圖的影像處理裝置100，但不以此為限。為方便及清楚說明起見，下述同時參照第1圖以及第2圖，以影像處理裝置100中各元件之間的作動關係來說明第2圖所示超解析處理方法的詳細步驟。
在一實施例中，超解析處理方法包括步驟S210~S240。首先，於步驟S210中，擷取高解析影像HR，並對高解析影像HR執行下採樣處理以產生低解析影像LR。
再者，於步驟S220中，利用超解析模型SM1對低解析影像LR進行超解析處理以產生超解析影像SR1。
在一些實施例中，超解析模型SM1的參數以及超參數的初始值可以是依據過往訓練經驗當中取得的平均值或是人工給定的預設值。
再者，於步驟S230中，將注意力模型AM套用至高解析影像HR以及超解析影像SR1產生注意力加權高解析影像以及注意力加權超解析影像，並依據注意力加權高解析影像以及注意力加權超解析影像計算第一損失loss1。
在一些實施例中，可將注意力模型AM套用至高解析影像HR以及超解析影像SR1進行影像濾波處理以產生注意力加權高解析影像以及注意力加權超解析影像，其中影像濾波處理為元素操作（Element-Wise Operation）的乘法運算、元素操作的加法運算、元素操作的減法運算或其組合。
在一些實施例中，注意力模型AM可包括與至少一影像遮罩對應的遮罩處理模型。藉此，可利用遮罩處理模型分別對高解析影像HR以及超解析影像SR1進行影像濾波處理以產生注意力加權高解析影像以及注意力加權超解析影像。
在一些實施例中，至少一影像遮罩可對應於至少一影像興趣區。藉此，可依據至少一影像興趣區分別對高解析影像HR以及超解析影像SR1進行元素操作的乘法運算以產生注意力加權高解析影像以及注意力加權超解析影像，其中注意力加權高解析影像以及注意力加權超解析影像分別對應於高解析影像HR以及超解析影像SR1。
在一些實施例中，至少一影像遮罩可對應於至少一權重集。藉此，可依據至少一權重集分別對高解析影像HR以及超解析影像SR1進行元素操作的乘法運算以產生注意力加權高解析影像以及注意力加權超解析影像，其中注意力加權高解析影像以及注意力加權超解析影像分別對應於高解析影像HR以及超解析影像SR1。
在一些實施例中，上述影像興趣區以及與其對應的權重集可在各種使用情境中依據高解析影像HR來設定。舉例而言，在進行虹膜辨識的使用情境中，可對高解析影像HR執行任意影像特徵擷取運算（例如，卷積神經網路）從高解析影像HR擷取具有特徵的區域，以產生一個二元遮罩（Binary Mask），或者是將具有特徵的區域設置不同程度的權重值，形成語意興趣區遮罩（Semantic ROI Mask），其中語意興趣區遮罩可以是三自由度遮罩（3 DOF Mask）或多自由度遮罩（Multiple DOF Mask）等。
在一些實施例中，可利用二元遮罩或語意興趣區遮罩中的權重值分別與高解析影像HR中的對應像素值進行乘法運算以產生注意力加權高解析影像，並可利用二元遮罩或語意興趣區遮罩中的權重值分別與超解析影像SR1中的對應像素值進行乘法運算以產生注意力加權超解析影像。
在一些實施例中，可依據注意力加權高解析影像以及注意力加權超解析影像執行距離函數運算以產生第一損失loss1，其中該距離函數運算為L1距離（L1 loss）運算、L2距離（L2 loss）運算、Charbonnier距離運算或其組合。
再者，於步驟S240中，依據第一損失loss1更新超解析模型SM1。在一些實施例中，可依據第一損失loss1更新超解析模型SM1的參數以產生更新後的超解析模型。
在一些實施例中，可利用超解析模型SM1依據高解析影像HR以及超解析影像SR1計算第二損失loss2。接著，可依據第一損失loss1以及第二損失loss2計算總和損失，並依據總和損失對超解析模型SM1進行反向傳播（Back Propagation）運算以產生更新後的超解析模型。
藉由上述步驟，影像處理裝置100可在訓練階段中依據由注意力模型AM所產生的第一損失loss1以及超解析模型SM1所產生的第二損失loss2對超解析模型SM1進行更新。藉此，將可精準呈現下游任務所需要的關鍵細節（即，對高解析影像HR中的興趣區會有更強的超像素處理的效果）。
同時參照第3圖以及第4圖，第3圖是依據本揭示一些實施例的影像處理裝置100的方塊圖，且第4圖是依據本揭示一些實施例的超解析處理方法的流程圖，其中第4圖的超解析處理方法適用於第3圖的影像處理裝置100，但不以此為限。以影像處理裝置100中各元件之間的作動關係來說明第4圖所示超解析處理方法的詳細步驟。值得注意的是，第3圖與第1圖之間的差異僅在於，影像處理裝置100中的處理器120可執行更新後的超解析模型SM2。因此，針對其餘相似元件不再進一步贅述。
首先，於步驟S410中，擷取低解析影像LR2。再者，於步驟S420中，利用更新後的超解析模型SM2對低解析影像LR2進行超解析處理以產生超解析影像SR2。進一步而言，在模型訓練完成後，可進一步藉由影像擷取電路110擷取低解析影像LR2以藉由處理器120利用更新後的超解析模型SM2進行超解析處理，進而產生超解析影像SR2，其中超解析影像SR2的解析度高於低解析影像LR2的解析度。
藉由上述步驟，影像處理裝置100可在使用階段中直接利用更新後的超解析模型SM2進行超解析處理以獲得所需要的超解析影像SR2。
以下將提出具體的超解析模型SM1以及注意力模型AM的例子。參照第5圖，第5圖是依據本揭示一些實施例的超解析模型SM1的示意圖。如第5圖所示，超解析模型SM1可以是一個SRGAN，其包括生成器(Generator)模型GM以及判別器(Discriminator)模型DM，其中判別器模型DM可包括分類器(Classifier)模型(未繪示)以及特徵萃取器(Feature Extractor)模型(未繪示)。
首先，生成器模型GM可用以依據低解析影像LR產生超解析影像SR1，以將超解析影像SR1傳送至判別器模型DM以及注意力模型AM。接著，判別器模型DM中的分類器模型以及特徵萃取器模型可依據超解析影像SR1以及高解析影像HR分別計算出兩個損失值，且判別器模型DM可依據這兩個損失值以及分別與兩個損失值對應的兩個權重值計算出第二損失loss2。注意力模型AM可依據超解析影像SR1產生第一損失loss1。接著，生成器模型GM可將第一損失loss1乘以第一權重值，並可將第二損失loss2乘以第二權重值，進而將所獲得的兩個乘積相加以產生總和損失。值得注意的是，上述分別與兩個損失值對應的兩個權重值、第一權重值以及第二權重值也可以是依據過往訓練經驗當中取得的平均值或是人工給定的預設值。最後，生成器模型GM可依據總和損失更新超解析模型SM1的參數以及超參數以產生更新後的超解析模型。
參照第6圖，第6圖是依據本揭示一些實施例的注意力模型AM的示意圖。如第6圖所示，注意力模型AM可包括遮罩處理模型MM以及損失模型LM。
首先，遮罩處理模型MM可對預先設定的遮罩影像以及超解析影像SR1進行元素操作的乘法運算以產生注意力加權高解析影像，並可對遮罩影像以及高解析影像HR進行元素操作的乘法運算以產生注意力加權超解析影像，進而將注意力加權高解析影像以及注意力加權超解析影像
傳送至損失模型LM。接著，損失模型LM可對注意力加權高解析影像以及注意力加權超解析影像進行影像的元素與元素間的L1距離運算，以產生第一損失loss1。
進一步而言，以下提出各種使用情境中的執行注意力模型AM的例子。參照第7圖，第7圖是依據本揭示一些實施例的執行注意力模型的示意圖。如第7圖所示，在虹膜辨識的使用情境中，遮罩處理模型MM可對高解析影像HR設定一個二元遮罩BRM1，其中二元遮罩BRM1中的白色區域的權重值的數值被設定為1(即，與視網膜對應的影像興趣區)，二元遮罩BRM1中的黑色區域的權重值的數值被設定為0(即，非影像興趣區)。
接著，遮罩處理模型MM可將超解析影像SR1中的像素的像素值依序與二元遮罩BRM1中的權重值進行乘法運算以產生注意力加權超解析影像RWI1，並可將高解析影像HR中的像素的像素值依序與二元遮罩BRM1中的權重值進行乘法運算以產生注意力加權高解析影像RWI2。最後，損失模型LM可接收注意力加權超解析影像RWI1以及注意力加權高解析影像RWI2，並可對注意力加權超解析影像RWI1的像素的像素值依序與注意力加權高解析影像RWI2的像素的像素值相減，並將所獲得的差值取絕對值，最後加總起來以產生第一損失loss1(即，L1距離運算)。
參照第8圖，第8圖是依據本揭示另一些實施例的執行注意力模型的示意圖。如第8圖所示，在人臉辨識的使用情境中，遮罩處理模型MM可對高解析影像HR設定一個二元遮罩BRM2，其中二元遮罩BRM2中的白色區域的像素的權重值被設定為1（即，與臉孔特徵對應的影像興趣區），二元遮罩BRM2中的黑色區域的像素的權重值被設定為0（即，非影像興趣區）。
接著，遮罩處理模型MM可將超解析影像SR1中的像素的像素值依序與二元遮罩BRM2中的權重值進行乘法運算以產生注意力加權超解析影像RWI1，並可將高解析影像HR中的像素的像素值依序與二元遮罩BRM2中的權重值進行乘法運算以產生注意力加權高解析影像RWI2。最後，損失模型LM可接收注意力加權超解析影像RWI1以及注意力加權高解析影像RWI2，並可對注意力加權超解析影像RWI1的像素的像素值依序與注意力加權高解析影像RWI2的像素的像素值相減，並將所獲得的差值取絕對值，最後加總起以產生第一損失loss1（即，L1距離運算）。
參照第9圖，第9圖是依據本揭示另一些實施例的執行注意力模型的示意圖。如第9圖所示，在醫療影像辨識的使用情境中，遮罩處理模型MM可對高解析影像HR設定一個語意興趣區遮罩SRM1（三個自由度的遮罩），其中語意興趣區遮罩SRM1中的白色區域的像素被設定為最高的權重值（即，與腫瘤組織對應的影像興趣區），語意興趣區遮罩SRM1中的灰色區域的像素被設定為次高的權重值（即，與腦組織對應的較次要的影像興趣區），以及語意興趣區遮罩SRM1中的黑色區域的像素被設定為最低的權重值（即，非影像興趣區）。
舉例而言，在語意興趣區遮罩SRM1中，與腫瘤組織對應的影像興趣區的像素具有較高的灰階值，與腦組織對應的較次要的影像興趣區的像素具有次高的灰階值，以及非影像興趣區的像素具有最低的灰階值，其中這些灰階值分別等於權重集中的權重值。
接著，遮罩處理模型MM可將超解析影像SR1中的像素的像素值依序與語意興趣區遮罩SRM1中的權重值進行乘法運算以產生注意力加權超解析影像RWI1，並可將高解析影像HR中的像素的像素值依序與語意興趣區遮罩SRM1中的權重值進行乘法運算以產生注意力加權高解析影像RWI2。
接著，損失模型LM可接收注意力加權超解析影像RWI1以及注意力加權高解析影像RWI2，並可對注意力加權超解析影像RWI1的像素的像素值依序與注意力加權高解析影像RWI2的像素的像素值相減，並將所獲得的差值取絕對值，進而加總起來以產生一個差值總和（即，L1距離運算）。接著，損失模型LM可進一步對注意力加權超解析影像RWI1以及注意力加權高解析影像RWI2進行歐式距離運算以產生一個歐式距離值（即，L2距離運算）。最後，損失模型LM可依據L1距離值以及L2距離值對應的兩個預設的權重值，對L1距離值以及L2距離值進行加權運算以產生第一損失loss1。
參照第10圖，第10圖是依據本揭示另一些實施例的執行注意力模型的示意圖。如第10圖所示，在自駕車影像分割的使用情境中，遮罩處理模型MM可對高解析影像HR設定一個語意興趣區遮罩SRM2(多個自由度的遮罩)，其中語意興趣區遮罩SRM2中的區域R1~R5分別具有不同的數值，不同的數值對應於一個權重集中的不同的權重值，以及單一權重值對應於高解析影像HR中的相同類型的物件。舉例而言，區域R1中的像素具有相同的灰階值，且此灰階值等於與樹木物件對應的權重值。在另一個例子中，區域R1中的像素具有相同的RGB數值，且此RGB數值等於與樹木物件對應的權重值。
接著，遮罩處理模型MM可將超解析影像SR1中的像素的數值依序與語意興趣區遮罩SRM2中的像素的數值進行乘法運算以產生注意力加權超解析影像RWI1，並可將高解析影像HR中的像素的像素值依序與語意興趣區遮罩SRM2中的權重值進行乘法運算以產生注意力加權高解析影像RWI2。
接著，損失模型LM可接收注意力加權超解析影像RWI1以及注意力加權高解析影像RWI2，並可對注意力加權超解析影像RWI1的像素的像素值依序與注意力加權高解析影像RWI2的像素的像素值相減，並將所獲得的差值加總起來以產生第一損失loss1(即，L1距離運算)。
綜上所述，本揭示實施例影像處理裝置以及超解析處理方法可利用與影像遮罩相關的注意力模型產生一個第一損失以更新超解析模型，進而提升超像素處理的效果。此外，更可利用注意力模型中的影像興趣區或權重集對高解析影像中的興趣區進行增強，進而提升高解析影像中的興趣區的超像素處理的效果。
雖然本揭示的特定實施例已經揭露有關上述實施例，此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本揭示的原理及精神背離。因此，本揭示的保護範圍由所附申請專利範圍確定。
100:影像處理裝置
110:影像擷取電路
120:處理器
HR:高解析影像
LR1、LR2:低解析影像
SR1、SR2:超解析影像
DS:下採樣模型
SM1:超解析模型
AM:注意力模型
loss1:第一損失
loss2:第二損失
S210~S240、S410~S420:步驟
SM2:更新後的超解析模型
GM:生成器模型
DM:判別器模型
MM:遮罩處理模型
LM:損失模型
BRM1、BRM2:二元遮罩
RWI1:注意力加權超解析影像
RWI2:注意力加權高解析影像
SRM1、SRM2:語意興趣區遮罩
R1~R5:區域
第1圖是本揭示的影像處理裝置的方塊圖。
第2圖是本揭示的超解析處理方法的流程圖。
第3圖是依據本揭示一些實施例的影像處理裝置的方塊圖。
第4圖是依據本揭示一些實施例的超解析處理方法的流程圖。
第5圖是依據本揭示一些實施例的超解析模型的示意圖。
第6圖是依據本揭示一些實施例的注意力模型的示意圖。
第7圖是依據本揭示一些實施例的執行注意力模型的示意圖。
第8圖是依據本揭示另一些實施例的執行注意力模型的示意圖。
第9圖是依據本揭示另一些實施例的執行注意力模型的示意圖。
第10圖是依據本揭示另一些實施例的執行注意力模型的示意圖。
100:影像處理裝置
110:影像擷取電路
120:處理器
HR:高解析影像
LR1:低解析影像
SR1:超解析影像
DS:下採樣模型
SM1:超解析模型
AM:注意力模型
loss1:第一損失
loss2:第二損失
Claims (12)
- 一種影像處理裝置，包括：一影像擷取電路，用以擷取一高解析影像；一處理器，連接該影像擷取電路，並執行一超解析模型以及一注意力模型，其中該處理器用以進行下列操作：對該高解析影像執行下採樣處理以產生一低解析影像；利用該超解析模型對該低解析影像進行超解析處理以產生一超解析影像；將該注意力模型套用至該高解析影像以及該超解析影像產生一注意力加權高解析影像以及一注意力加權超解析影像，並依據該注意力加權高解析影像以及該注意力加權超解析影像計算一第一損失；以及依據該第一損失更新該超解析模型。
- 如請求項1所述之影像處理裝置，其中該處理器更用以進行下列操作：將該注意力模型套用至該高解析影像以及該超解析影像進行影像濾波處理以產生該注意力加權高解析影像以及該注意力加權超解析影像，其中該影像濾波處理為元素操作的乘法運算、元素操作的加法運算、元素操作的減法運算或其組合。
- 如請求項1所述之影像處理裝置，其中該注 意力模型包括與至少一影像遮罩對應的一遮罩處理模型，且該處理器更用以進行下列操作：利用該遮罩處理模型分別對該高解析影像以及該超解析影像進行影像濾波處理以產生該注意力加權高解析影像以及該注意力加權超解析影像。
- 如請求項3所述之影像處理裝置，其中該至少一影像遮罩對應於至少一影像興趣區，且該處理器更用以進行下列操作：依據該至少一影像興趣區分別對該高解析影像以及該超解析影像進行元素操作的乘法運算以產生該注意力加權高解析影像以及該注意力加權超解析影像，其中該注意力加權高解析影像以及該注意力加權超解析影像分別對應於該高解析影像以及該超解析影像；以及依據該注意力加權高解析影像以及該注意力加權超解析影像執行距離函數運算以產生該第一損失，其中該距離函數運算為L1距離運算、L2距離運算、Charbonnier距離運算或其組合。
- 如請求項3所述之影像處理裝置，其中該至少一影像遮罩對應於至少一權重集，且該處理器更用以進行下列操作：依據該至少一權重集分別對該高解析影像以及該超解析影像進行元素操作的乘法運算以產生該注意力加權高解析 影像以及該注意力加權超解析影像，其中該注意力加權高解析影像以及該注意力加權超解析影像分別對應於該高解析影像以及該超解析影像；以及依據該注意力加權高解析影像以及該注意力加權超解析影像執行距離函數運算以產生該第一損失，其中該距離函數運算為L1距離運算、L2距離運算、Charbonnier距離運算或其組合。
- 如請求項1所述之影像處理裝置，其中該處理器更用以進行下列操作：利用該超解析模型依據該高解析影像以及該超解析影像計算一第二損失；以及依據該第一損失以及該第二損失計算一總和損失，並依據該總和損失對該超解析模型進行反向傳播運算以產生更新後的該超解析模型。
- 一種超解析處理方法，包括：藉由一影像擷取電路擷取一高解析影像，並對該高解析影像執行下採樣處理以產生一低解析影像；藉由一處理器利用一超解析模型對該低解析影像進行超解析處理以產生一超解析影像；藉由該處理器將一注意力模型套用至該高解析影像以及該超解析影像產生一注意力加權高解析影像以及一注意力加權超解析影像，並藉由該處理器依據該注意力加權高解 析影像以及該注意力加權超解析影像計算一第一損失；以及藉由該處理器依據該第一損失更新該超解析模型。
- 如請求項7所述之超解析處理方法，其中將該注意力模型套用至該高解析影像以及該超解析影像產生該注意力加權高解析影像以及該注意力加權超解析影像的步驟包括：藉由該處理器將該注意力模型套用至該高解析影像以及該超解析影像進行影像濾波處理以產生該注意力加權高解析影像以及該注意力加權超解析影像，其中該影像濾波處理為元素操作的乘法運算、元素操作的加法運算、元素操作的減法運算或其組合。
- 如請求項7所述之超解析處理方法，其中該注意力模型包括與至少一影像遮罩對應的一遮罩處理模型，將該注意力模型套用至該高解析影像以及該超解析影像產生該注意力加權高解析影像以及該注意力加權超解析影像的步驟包括：藉由該處理器利用該遮罩處理模型分別對該高解析影像以及該超解析影像進行影像濾波處理以產生該注意力加權高解析影像以及該注意力加權超解析影像。
- 如請求項9所述之超解析處理方法，其中該 至少一影像遮罩對應於至少一影像興趣區，其中將該注意力模型套用至該高解析影像以及該超解析影像產生該注意力加權高解析影像以及該注意力加權超解析影像的步驟包括：藉由該處理器依據該至少一影像興趣區分別對該高解析影像以及該超解析影像進行元素操作的乘法運算以產生該注意力加權高解析影像以及該注意力加權超解析影像，其中該注意力加權高解析影像以及該注意力加權超解析影像分別對應於該高解析影像以及該超解析影像，其中藉由該處理器依據該注意力加權高解析影像以及該注意力加權超解析影像計算該第一損失的步驟包括：藉由該處理器依據該注意力加權高解析影像以及該注意力加權超解析影像執行距離函數運算以產生該第一損失，其中該距離函數運算為L1距離運算、L2距離運算、Charbonnier距離運算或其組合。
- 如請求項9所述之超解析處理方法，其中該至少一影像遮罩對應於至少一權重集，其中將該注意力模型套用至該高解析影像以及該超解析影像產生該注意力加權高解析影像以及該注意力加權超解析影像的步驟包括：藉由該處理器依據該至少一權重集分別對該高解析影像以及該超解析影像進行元素操作的乘法運算以產生該注意力加權高解析影像以及該注意力加權超解析影像，其中該注意力加權高解析影像以及該注意力加權超解析影像分別 對應於該高解析影像以及該超解析影像，其中藉由該處理器依據該注意力加權高解析影像以及該注意力加權超解析影像計算該第一損失的步驟包括：藉由該處理器依據該注意力加權高解析影像以及該注意力加權超解析影像執行距離函數運算以產生該第一損失，其中該距離函數運算為L1距離運算、L2距離運算、Charbonnier距離運算或其組合。
- 如請求項7所述之超解析處理方法，其中依據該第一損失更新該超解析模型的步驟包括：藉由該處理器利用該超解析模型依據該高解析影像以及該超解析影像計算一第二損失；以及藉由該處理器依據該第一損失以及該第二損失計算一總和損失，並藉由該處理器依據該總和損失對該超解析模型進行反向傳播運算以產生更新後的該超解析模型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163239423P | 2021-09-01 | 2021-09-01 | |
| US63/239,423 | 2021-09-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI788171B true TWI788171B (zh) | 2022-12-21 |
| TW202312091A TW202312091A (zh) | 2023-03-16 |
Family
ID=80878354
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110149688A TWI788172B (zh) | 2021-09-01 | 2021-12-30 | 影像處理裝置以及方法 |
| TW110149687A TWI788171B (zh) | 2021-09-01 | 2021-12-30 | 影像處理裝置以及超解析處理方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110149688A TWI788172B (zh) | 2021-09-01 | 2021-12-30 | 影像處理裝置以及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20230063201A1 (zh) |
| CN (2) | CN114283066A (zh) |
| TW (2) | TWI788172B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117877034B (zh) * | 2024-01-08 | 2024-07-02 | 耕宇牧星(北京)空间科技有限公司 | 一种基于动态卷积增强的遥感图像实例分割方法及模型 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101815157A (zh) * | 2009-02-24 | 2010-08-25 | 虹软(杭州)科技有限公司 | 图像及视频的放大方法与相关的图像处理装置 |
| TW201933276A (zh) * | 2018-01-29 | 2019-08-16 | 國立清華大學 | 影像補全方法 |
| TWI669750B (zh) * | 2016-12-16 | 2019-08-21 | 荷蘭商Ａｓｍｌ荷蘭公司 | 用於影像分析之方法及設備 |
| CN112712526A (zh) * | 2020-12-31 | 2021-04-27 | 杭州电子科技大学 | 基于非对称卷积神经网络双通道的视网膜血管分割方法 |
| CN112966594A (zh) * | 2021-03-03 | 2021-06-15 | 北京鼎翰科技有限公司 | 一种环境感知方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI718750B (zh) * | 2019-11-07 | 2021-02-11 | 國立中央大學 | 來源分離方法、裝置及非暫態電腦可讀取媒體 |
| CN111047515B (zh) * | 2019-12-29 | 2024-01-09 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN112991173B (zh) * | 2021-03-12 | 2024-04-16 | 西安电子科技大学 | 基于双通道特征迁移网络的单帧图像超分辨率重建方法 |
-
2021
- 2021-12-30 TW TW110149688A patent/TWI788172B/zh active
- 2021-12-30 CN CN202111646609.2A patent/CN114283066A/zh active Pending
- 2021-12-30 CN CN202111650266.7A patent/CN114331845A/zh active Pending
- 2021-12-30 TW TW110149687A patent/TWI788171B/zh active
-
2022
- 2022-09-01 US US17/823,960 patent/US20230063201A1/en active Pending
- 2022-09-01 US US17/823,963 patent/US20230060988A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101815157A (zh) * | 2009-02-24 | 2010-08-25 | 虹软(杭州)科技有限公司 | 图像及视频的放大方法与相关的图像处理装置 |
| TWI669750B (zh) * | 2016-12-16 | 2019-08-21 | 荷蘭商Ａｓｍｌ荷蘭公司 | 用於影像分析之方法及設備 |
| TW201933276A (zh) * | 2018-01-29 | 2019-08-16 | 國立清華大學 | 影像補全方法 |
| CN112712526A (zh) * | 2020-12-31 | 2021-04-27 | 杭州电子科技大学 | 基于非对称卷积神经网络双通道的视网膜血管分割方法 |
| CN112966594A (zh) * | 2021-03-03 | 2021-06-15 | 北京鼎翰科技有限公司 | 一种环境感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114331845A (zh) | 2022-04-12 |
| TW202312089A (zh) | 2023-03-16 |
| CN114283066A (zh) | 2022-04-05 |
| TW202312091A (zh) | 2023-03-16 |
| US20230060988A1 (en) | 2023-03-02 |
| TWI788172B (zh) | 2022-12-21 |
| US20230063201A1 (en) | 2023-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zeng et al. | Learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time | |
| Li et al. | Low-light image and video enhancement using deep learning: A survey | |
| WO2020192483A1 (zh) | 图像显示方法和设备 | |
| US10846836B2 (en) | View synthesis using deep convolutional neural networks | |
| US20220222786A1 (en) | Image processing method, smart device, and computer readable storage medium | |
| EP3716198A1 (en) | Image reconstruction method and device | |
| US7542600B2 (en) | Video image quality | |
| TW202134997A (zh) | 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備 | |
| CN108898567A (zh) | 图像降噪方法、装置及*** | |
| CN110827200A (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| CN109919874B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN113688907B (zh) | 模型训练、视频处理方法，装置，设备以及存储介质 | |
| EP3707895B1 (en) | Static video recognition | |
| CN112598587B (zh) | 一种联合人脸去口罩和超分辨率的图像处理***和方法 | |
| WO2023030139A1 (zh) | 图像融合方法、电子设备和存储介质 | |
| JP7100306B2 (ja) | ユーザ指定初期化点に基づくオブジェクトトラッキング | |
| TWI817896B (zh) | 機器學習方法以及裝置 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN116309983B (zh) | 虚拟人物模型的训练方法、生成方法、装置和电子设备 | |
| TWI788171B (zh) | 影像處理裝置以及超解析處理方法 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN110958363A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| CN110856014B (zh) | 动态图像生成方法、装置、电子设备及存储介质 |