TWI704524B - 圖像打光方法和裝置 - Google Patents

圖像打光方法和裝置 Download PDF

Info

Publication number
TWI704524B
TWI704524B TW108126231A TW108126231A TWI704524B TW I704524 B TWI704524 B TW I704524B TW 108126231 A TW108126231 A TW 108126231A TW 108126231 A TW108126231 A TW 108126231A TW I704524 B TWI704524 B TW I704524B
Authority
TW
Taiwan
Prior art keywords
image
initial
feature information
portrait
initial image
Prior art date
Application number
TW108126231A
Other languages
English (en)
Other versions
TW202008313A (zh
Inventor
蘇錦海
韓松芳
嚴瓊
王昊然
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202008313A publication Critical patent/TW202008313A/zh
Application granted granted Critical
Publication of TWI704524B publication Critical patent/TWI704524B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明實施例提供一種圖像打光方法和裝置，該方法包括：確定初始圖像的打光操作類型對應的卷積神經網路；通過卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊；通過卷積神經網路，基於局部特徵資訊和全域特徵資訊，獲取初始圖像的融合特徵資訊；通過卷積神經網路，基於初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖；基於融合特徵資訊、最大池化結果圖和最小池化結果圖，獲取初始圖像的雙邊網格矩陣；根據雙邊網格矩陣對初始圖像進行仿射變換得到目標圖像，目標圖像為對初始圖像按照打光操作類型打光後的圖像。本發明實施例提供的圖像打光方法效果更好。

Description

圖像打光方法和裝置
本發明涉及影像處理技術，尤其涉及一種圖像打光方法和裝置。
隨著終端設備(如手機、平板、手環等)的攝像頭像素不斷提升，越來越多的用戶開始頻繁使用終端設備進行人像拍攝並進行人像拍攝後的圖像美化以獲取理想的人像拍攝效果。理想的人像拍攝需要專業的布光，對人臉施加適量的光照以達到較好的拍照效果，而大多數實際拍攝場景下很難達到理想的布光環境，因此實際拍攝得到的圖像中的人像通常存在面部陰暗、缺乏立體感、面部光線不均勻等問題。
為解決上述問題，常見解決方案為根據人像照片對人像進行3D建模，調整人像上的光照，對圖像進行渲染，獲取打光後的圖像。現有打光方式在人臉識別、基於圖像的渲染、以及電影後期製作等領域都有著非常廣泛的應用。
但是，人像建模受人臉識別影響較大，在人臉識別不準確時，建模誤差也較大。故現有的圖像打光方案複雜、效率較低。
本發明實施例提供一種圖像打光方法和裝置。
第一方面，本發明實施例提供一種圖像打光方法，包括：確定初始圖像的打光操作類型對應的卷積神經網路；通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊；通過所述卷積神經網路，基於所述局部特徵資訊和所述全域特徵資訊，獲取所述初始圖像的融合特徵資訊；通過所述卷積神經網路，基於所述初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖；基於所述融合特徵資訊、所述最大池化結果圖和所述最小池化結果圖，獲取所述初始圖像的雙邊網格矩陣；根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，所述目標圖像為對所述初始圖像按照所述打光操作類型打光後的圖像。
通過採用深度學習的卷積神經網路技術，以及具體通過採用卷積神經網路對初始圖像進行特徵提取，並根據初始圖像的最大池化結果圖和最小池化結果圖獲取初始 圖像的自我調整的雙邊網格矩陣，根據雙邊網格矩陣獲取初始圖像的目標圖像，使得圖像打光效果更自然。
結合本發明任一實施例，可選的，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，包括：根據所述雙邊網格矩陣、所述最大池化結果圖和所述最小池化結果圖，對所述初始圖像的亮度分量圖進行切片處理，獲取仿射變換矩陣；根據所述仿射變換矩陣對所述初始圖像進行仿射變換得到所述目標圖像。
通過對初始圖像的亮度分量圖進行切片處理，可簡化圖像打光演算法，提高圖像打光速度，降低圖像打算演算法對硬體設備的性能要求，使得圖像打光方法可部署在終端設備中。
結合本發明任一實施例，可選的，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，包括：根據所述雙邊網格矩陣、所述最大池化結果圖和所述最小池化結果圖，對所述初始圖像的亮度分量圖進行切片處理，得到殘差矩陣；根據所述殘差矩陣和所述初始圖像得到所述目標圖像。
結合本發明任一實施例，可選的，所述根據所述殘差矩陣和所述初始圖像得到所述目標圖像，包括： 將所述殘差矩陣和所述初始圖像的亮度分量圖的相同位置處的像素點的取值相加，獲取所述目標圖像。
結合本發明任一實施例，可選的，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊，包括：將所述初始圖像和所述初始圖像的人臉掩模圖輸入至所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊。
通過輸入初始圖像和初始圖像的人臉掩模圖，可使圖像打光後人臉五官更為立體，臉部細節更豐富。
結合本發明任一實施例，可選的，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊，包括：將所述初始圖像輸入至所述卷積神經網路的低層級特徵提取層，獲取所述初始圖像的低層級特徵資訊；將所述初始圖像的低層級特徵資訊輸入至所述卷積神經網路的局部特徵提取層，獲取所述初始圖像的局部特徵資訊；將所述初始圖像的低層級特徵資訊輸入至所述卷積神經網路的全域特徵提取層，獲取所述初始圖像的全域特徵資訊。
結合本發明任一實施例，可選的，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊之前，所述方法還包括： 根據所述初始圖像的人臉掩模圖對所述初始圖像的亮度分量圖進行人臉修正，得到修正後的圖像；所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊，包括：通過所述卷積神經網路，基於修正後的圖像，獲取所述初始圖像的局部特徵資訊和全域特徵資訊。
通過根據人臉掩模圖對初始圖像進行修正，可使圖像打光後人臉五官更為立體，臉部細節更豐富。
結合本發明任一實施例，可選的，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊之前，所述方法還包括：對所述初始圖像進行縮小處理。
結合本發明任一實施例，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像之後，所述方法還包括：對所述目標圖像進行放大處理，獲取與所述初始圖像尺寸相同的目標圖像。
縮小後的圖像具有更小的資料量，提高了圖像打光的處理速度。
結合本發明任一實施例，可選的，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像之後，所述方法還包括： 獲取所述目標圖像的人像分割圖，根據所述目標圖像對所述人像分割圖進行快速導向濾波，獲取初始權重圖；根據所述初始圖像的人臉掩模圖獲取初始聚光燈光效權重圖；根據所述初始聚光燈光效權重圖和所述初始權重圖，獲取人像聚光燈光效權重圖；根據所述人像聚光燈光效權重圖和所述目標圖像，獲取增加聚光燈光效的圖像。
結合本發明任一實施例，可選的，所述根據所述人像聚光燈光效權重圖和所述目標圖像獲取增加聚光燈光效的圖像，包括：根據所述人像聚光燈光效權重圖W和所述目標圖像I in ，採用如下公式獲取增加聚光燈光效的圖像I out ；I out [i,j,1]=I in [i,j,1]×W[i,j] I out [i,j,2]=(I in [i,j,2]-0.5)×min(1,W[i,j]×1.5)+0.5 I out [i,j,3]=(I in [i,j,3]-0.5)×min(1,W[i,j]×1.5)+0.5
其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為所述目標圖像的總行數，M為所述目標圖像的總列數。
結合本發明任一實施例，可選的，所述獲取所述目標圖像的人像分割圖，包括：對所述目標圖像進行人像分割，獲取人像前景圖；對所述目標圖像進行關鍵點提取，獲取人像面部圖；根據所述人像前景圖和所述人像面部圖獲取人像分割圖。
結合本發明任一實施例，可選的，所述根據所述人像前景圖和所述人像面部圖獲取人像分割圖，包括： 遍歷所述人像前景圖S w 中的所有像素點，對於所述人像前景圖S w 中的任一像素點S w (i,j)，若所述人像面部圖S f 中相同位置處的像素點S f (i,j)屬於人像部分，則判斷所述像素點S w (i,j)和所述像素點S f (i,j)的取值是否均為1；若否，則將所述人像前景圖S w 中的像素點S w (i,j)的取值修改為0；得到所述人像分割圖；其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為所述目標圖像的總行數，M為所述目標圖像的總列數。
結合本發明任一實施例，可選的，所述人臉掩模圖還包括人臉的鼻影資訊、鼻翼資訊、鼻頭資訊、腮部資訊、太陽穴資訊、膚色類型資訊中的至少一項。
結合本發明任一實施例，可選的，所述打光操作類型包括輪廓光、攝影室光、舞臺光、單色光、雙色光或多色光。
本發明實施例第二方面還提供一種圖像打光裝置，包括：卷積神經網路獲取模組，用於確定初始圖像的打光操作類型對應的卷積神經網路；特徵資訊獲取模組，用於通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊；融合特徵資訊獲取模組，用於通過所述卷積神經網路，基於所述局部特徵資訊和所述全域特徵資訊，獲取所述初始圖像的融合特徵資訊； 池化結果圖獲取模組，用於通過所述卷積神經網路，基於所述初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖；雙邊網格矩陣獲取模組，用於基於所述融合特徵資訊、所述最大池化結果圖和所述最小池化結果圖，獲取所述初始圖像的雙邊網格矩陣；目標圖像獲取模組，用於根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，所述目標圖像為對所述初始圖像按照所述打光操作類型打光後的圖像。
結合本發明任一實施例，可選的，所述目標圖像獲取模組，具體用於，根據所述雙邊網格矩陣、所述最大池化結果圖和所述最小池化結果圖，對所述初始圖像的亮度分量圖進行切片處理，獲取仿射變換矩陣；根據所述仿射變換矩陣對所述初始圖像進行仿射變換得到所述目標圖像。
結合本發明任一實施例，可選的，所述目標圖像獲取模組，具體用於，根據所述雙邊網格矩陣、所述最大池化結果圖和所述最小池化結果圖，對所述初始圖像的亮度分量圖進行切片處理，得到殘差矩陣；根據所述殘差矩陣和所述初始圖像得到所述目標圖像。
結合本發明任一實施例，可選的，所述目標圖像獲取模組，具體用於， 將所述殘差矩陣和所述初始圖像的亮度分量圖的相同位置處的像素點的取值相加，獲取所述目標圖像。
結合本發明任一實施例，可選的，所述特徵資訊獲取模組，具體用於，將所述初始圖像和所述初始圖像的人臉掩模圖輸入至所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊。
結合本發明任一實施例，可選的，所述特徵資訊獲取模組，包括：低層級特徵資訊獲取單元，用於將所述初始圖像輸入至所述卷積神經網路的低層級特徵提取層，獲取所述初始圖像的低層級特徵資訊；局部特徵資訊獲取單元，用於將所述初始圖像的低層級特徵資訊輸入至所述卷積神經網路的局部特徵提取層，獲取所述初始圖像的局部特徵資訊；全域特徵資訊獲取單元，用於將所述初始圖像的低層級特徵資訊輸入至所述卷積神經網路的全域特徵提取層，獲取所述初始圖像的全域特徵資訊。
結合本發明任一實施例，可選的，所述圖像打光裝置還包括：修正模組，用於根據所述初始圖像的人臉掩模圖對所述初始圖像的亮度分量圖進行人臉修正，得到修正後的圖像； 所述特徵資訊獲取模組，具體用於通過所述卷積神經網路，基於修正後的圖像，獲取所述初始圖像的局部特徵資訊和全域特徵資訊。
結合本發明任一實施例，可選的，所述圖像打光裝置還包括：縮小模組，用於對所述初始圖像進行縮小處理。
結合本發明任一實施例，可選的，所述圖像打光裝置還包括：放大模組，用於對所述打光後的圖像進行放大處理，獲取與所述初始圖像尺寸相同的目標圖像。
結合本發明任一實施例，可選的，所述圖像打光裝置還包括：人像分割圖獲取模組，用於獲取所述目標圖像的人像分割圖；初始權重圖獲取模組，用於根據所述目標圖像對所述人像分割圖進行快速導向濾波，獲取初始權重圖；初始聚光燈光效權重圖獲取模組，用於根據所述初始圖像的人臉掩模圖獲取初始聚光燈光效權重圖；人像聚光燈光效權重圖獲取模組，用於根據所述初始聚光燈光效權重圖和所述初始權重圖，獲取人像聚光燈光效權重圖；聚光燈光效打光模組，用於根據所述人像聚光燈光效權重圖和所述目標圖像，獲取增加聚光燈光效的圖像。
結合本發明任一實施例，可選的，所述聚光燈光效打光模組具體用於，根據所述人像聚光燈光效權重圖W和所述目標圖像I in ，採用如下公式獲取增加聚光燈光效的圖像I out ；I out [i,j,1]=I in [i,j,1]×W[i,j] I out [i,j,2]=(I in [i,j,2]-0.5)×min(1,W[i,j]×1.5)+0.5 I out [i,j,3]=(I in [i,j,3]-0.5)×min(1,W[i,j]×1.5)+0.5
其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為所述目標圖像的總行數，M為所述目標圖像的總列數。
結合本發明任一實施例，可選的，所述人像分割圖獲取模組包括：人像前景圖獲取單元，用於對所述目標圖像進行人像分割，獲取人像前景圖；人像面部圖獲取單元，用於對所述目標圖像進行關鍵點提取，獲取人像面部圖；人像分割圖獲取單元，用於根據所述人像前景圖和所述人像面部圖獲取人像分割圖。
結合本發明任一實施例，可選的，所述人像分割圖獲取單元具體用於，遍歷所述人像前景圖S w 中的所有像素點，對於所述人像前景圖S w 中的任一像素點S w (i,j)，若所述人像面部圖S f 中相同位置處的像素點S f (i,j)屬於人像部分，則判斷所述像素點S w (i,j)和所述像素點S f (i,j)的取值是否均為1；若否，則將所述人像前景圖S w 中的像素點S w (i,j)的取值修改為0； 得到所述人像分割圖；其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為所述目標圖像的總行數，M為所述打光後的圖像的總列數。
結合本發明任一實施例，可選的，所述人臉掩模圖還包括人臉的鼻影資訊、鼻翼資訊、鼻頭資訊、腮部資訊、太陽穴資訊、膚色類型資訊中的至少一項。
結合本發明任一實施例，可選的，所述打光操作類型包括輪廓光、攝影室光、舞臺光、單色光、雙色光或多色光。
本發明實施例協力廠商面還提供一種電子設備，包括：記憶體，用於儲存程式指令；處理器，用於調用並執行所述記憶體中的程式指令，執行上述第一方面中任一實施例的方法步驟。
本發明實施例第四方面還提供一種可讀儲存介質，所述可讀儲存介質中儲存有電腦程式，所述電腦程式用於執行上述第一中任一實施例的方法步驟。
本實施例提供的圖像打光方法和裝置，通過採用深度學習的卷積神經網路技術，以及具體通過採用卷積神經網路對初始圖像進行特徵提取，並根據初始圖像的最大池化結果圖和最小池化結果圖獲取初始圖像的自我調整的雙邊網格矩陣，根據雙邊網格矩陣獲取初始圖像的目標圖像，使得圖像打光效果更自然。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。
11‧‧‧人像前景圖獲取單元
12‧‧‧人像面部圖獲取單元
13‧‧‧人像分割圖獲取單元
601‧‧‧卷積神經網路獲取模組
602‧‧‧特徵資訊獲取模組
603‧‧‧融合特徵資訊獲取模組
604‧‧‧池化結果圖獲取模組
605‧‧‧雙邊網格矩陣獲取模組
606‧‧‧目標圖像獲取模組
607‧‧‧縮小模組
608‧‧‧放大模組
6021‧‧‧低層級特徵資訊獲取單元
6022‧‧‧局部特徵資訊獲取單元
6023‧‧‧全域特徵資訊獲取單元
901‧‧‧人像分割圖獲取模組
902‧‧‧初始權重圖獲取模組
903‧‧‧初始聚光燈光效權重圖獲取模組
904‧‧‧人像聚光燈光效權重圖獲取模組
905‧‧‧聚光燈光效打光模組
1101‧‧‧記憶體
1102‧‧‧處理器
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1為本發明實施例一提供的圖像打光方法的流程示意圖；圖2為本發明實施例提供的圖像打光效果示意圖；圖3為本發明實施例提供的人臉掩模圖示意圖；圖4為本發明實施例二提供的圖像打光方法的流程示意圖；圖5為本發明實施例二提供的圖像打光方法中的影像處理的流程示意圖；圖6為本發明實施例一提供的圖像打光裝置的結構示意圖； 圖7為本發明實施例二提供的圖像打光裝置的結構示意圖；圖8為本發明實施例三提供的圖像打光裝置的結構示意圖；圖9為本發明實施例四提供的圖像打光裝置的結構示意圖；圖10為本發明實施例五提供的圖像打光裝置的結構示意圖；圖11為本發明實施例一提供的電子設備的結構示意圖。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
用戶通常使用可擕式終端設備(如手機、平板、手環等)的攝像頭進行合影拍照和自拍。隨著可擕式終端設備的攝像頭像素不斷提升，越來越多的用戶開始使用終端設備進行人像拍攝，並對人像拍攝得到的圖像進行美化以得到理想的人像拍攝效果。但是，理想的人像拍攝需要專業的打 光，對人臉施加適量的光照以達到較好的拍照效果，而大多數實際拍攝場景下很難達到理想的打光環境，因此實際拍攝得到的圖像中的人像通常存在面部陰暗、缺乏立體感、面部光線不均勻等問題。
相關技術中，通常根據拍攝完成後得到的人像照片，對人像進行3D建模，調整人像上的光照，對圖像進行渲染，獲取打光後的圖像。但是，人像建模受人臉識別影響較大，在人臉識別不準確時，建模誤差也較大。故現有的圖像打光方案複雜、效率較低。
本發明實施例為解決上述問題，提供一種圖像打光方法和裝置，打光效果較好。
下面結合具體實施例對本發明提供的技術方案進行示例性說明。
圖1為本發明實施例一提供的圖像打光方法的流程示意圖，該方法可以應用於任意攜帶有攝像頭的終端設備中，還可應用於電腦、伺服器中，該方法的執行主體可以為具有攝像頭的終端設備，如手機等。如圖1所示，圖像打光方法，包括：
S101、確定初始圖像的打光操作類型對應的卷積神經網路。
S102、通過卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊。
示例性的，初始圖像可以為通過攝像頭拍攝獲得的圖像。
S103、通過卷積神經網路，基於局部特徵資訊和全域特徵資訊，獲取所述初始圖像的融合特徵資訊。
S104、通過卷積神經網路，基於初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖。
示例性的，S104在S105之前執行，與S101-S103沒有嚴格的先後執行關係。
S105、基於融合特徵資訊、最大池化結果圖和最小池化結果圖，獲取初始圖像的雙邊網格矩陣。
示例性的，本發明實施例將初始圖像輸入至經過訓練的卷積神經網路，得到初始圖像的雙邊網格矩陣。
示例性的，在執行本發明實施例提供的圖像打光方法前，本發明實施例還包括採用標籤圖像對卷積神經網路進行訓練，得到經過訓練的卷積神經網路。標籤圖像包括原始人像圖像和打光後的人像圖像。採用標籤圖像訓練得到的卷積神經網路可以實現對任意人像圖像的打光。
可選的，針對人像圖像的打光類型包括輪廓光、攝影室光、舞臺光、單色光、雙色光或多色光等。圖2為本發明實施例提供的圖像打光效果示意圖。經過輪廓光光效處理後的人像圖像相比未打光的人像圖像，人臉五官更為立體。經過攝影室光光效處理後的人像圖像相比未打光的人像圖像，人臉面部光線更加飽滿均勻。對應不同的打光類型，具有不同的標籤圖像，採用不同的標籤圖像對卷積神經網路進行訓練，得到不同打光類型對應的卷積神經網路。當想要對初始圖像進行輪廓光類型的打光時，則對應的採用輪 廓光類型對應的卷積神經網路。當想要對初始圖像進行攝影室光類型的打光時，則對應的採用攝影室光類型對應的卷積神經網路。可選的，針對人像圖像的打光類型還可包括其他類型。
可選的，還可將初始圖像和初始圖像的人臉掩模圖同時輸入至卷積神經網路。
示例性的，人臉掩模圖可以為通過採用人臉識別演算法對初始圖像進行人臉識別得到，可以為終端設備如手機自帶的人臉框架圖。圖3為本發明實施例提供的人臉掩模圖示意圖。人臉掩模圖中通常包含人臉的眉毛、眼睛、鼻子、嘴巴和臉部輪廓等資訊，如圖3左側所示。通過將人臉掩模圖和初始圖像同時輸入至卷積神經網路，可進一步提高針對人臉的打光效果。
可選的，本發明各實施例中的人臉掩模圖還包括人臉的鼻影資訊、鼻翼資訊、鼻頭資訊、腮部資訊、太陽穴資訊、膚色類型資訊中的至少一項。包含上述資訊的人臉掩模圖稱為人臉細節掩模圖，如圖3右側所示。通過獲取資訊更詳盡的人臉掩模圖，可使得人臉打光效果針對不同膚色用戶效果更好。
在一種可能的實施例中，在執行S102中的將初始圖像輸入至卷積神經網路的特徵提取層之前，可先根據初始圖像的人臉細節掩模圖對初始圖像的亮度分量圖進行人臉修正，得到修正後的圖像。然後將修正後的圖像，或者，修正後的圖像和人臉掩模圖同時輸入至卷積神經網路。
示例性的，對於任意打光類型的卷積神經網路，本實施例中的卷積神經網路包括特徵提取層、融合層和池化層。
具體的，特徵提取層用於對輸入卷積神經網路的圖像進行卷積，提取圖像的低層級特徵和高層級特徵。低層級特徵通常為圖像中的邊緣、曲線等特徵，高層級特徵對應的通常為圖像中的圖形、文字等特徵。
可選的，在本實施例的基礎上，對卷積神經網路的特徵提取層進行詳細說明。示例性的，特徵提取層具體包括低層級特徵提取層和高層級特徵提取層。高層級特徵提取層具體包括局部特徵提取層和全域特徵提取層。對應的，上述步驟S102中的通過卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊，具體包括：
S11、將初始圖像輸入至卷積神經網路的低層級特徵提取層，獲取初始圖像的低層級特徵資訊。
示例性的，首先將初始圖像輸入至卷積神經網路的低層級特徵提取層，從而獲取圖像的低層級特徵資訊。示例性的，低層級特徵提取層包括8個卷積層，通過低層級特徵提取層之後得到的低層級特徵資訊為特徵矩陣，特徵矩陣的尺寸大小為64x64，通道數為coeff*gd*(2n_conv)。其中，coeff為預設參數，示例性的可以為1，gd為雙邊網格深度，示例性的可以為8，n_conv為卷積層數量，示例性的可以為8。對應的，通道數示例性的可以為1*8*28=512。
可選的，本申請各實施例中卷積神經網路的輸入大小，卷積層數量，雙邊網格大小及深度均可根據卷積神經網路的性能和效果要求而自由調整。
示例性的，卷積神經網路的輸入，即初始圖像，的大小可以在64x64-512x512之間，低層級特徵提取卷積層數量不小於log2(in_hw/g_hw)。其中，in_hw為卷積神經網路的輸入圖像的邊長，如512，g_hw為初始圖像經過卷積神經網路獲取的雙邊網格的邊長，如32。通過控制卷積神經網路輸入圖像的尺寸可調整雙邊網格大小。可選的，雙邊網格深度通常在1-128間浮動。
S12、將初始圖像的低層級特徵資訊輸入到卷積神經網路的局部特徵提取層，獲取初始圖像的局部特徵資訊。
S13、將初始圖像的低層級特徵資訊輸入到卷積神經網路的全域特徵提取層，獲取初始圖像的全域特徵資訊。
示例性的，在提取了初始圖像的低層級特徵資訊後，將初始圖像的低層級特徵資訊輸入到卷積神經網路的高層級特徵提取層中。具體的，將初始圖像的低層級特徵資訊同時輸入到卷積神經網路的局部特徵提取層和全域特徵提取層，以獲取初始圖像的局部特徵資訊和全域特徵資訊。示例性的，通過提取初始圖像的全域特徵有助於提升初始圖像的整體打光效果，提取到的局部特徵有助於提升初始圖像中的人臉局部細節。
示例性的，在提取初始圖像的局部特徵資訊和全域特徵資訊之後，將初始圖像的局部特徵資訊和全域特徵資訊輸入到卷積神經網路的融合層，以獲取初始圖像的雙邊網格矩陣。具體的，雙邊網格矩陣是對圖像進行空間域(space)和值域(range)兩個維度的採樣。在雙邊網格矩陣中，每個網格裡提供一個圖像變換運算元，它的原理是在空間域與值域相近的區域內，相似輸入圖像的亮度經運算元變換後也應該是相似的，因此在每個網格裡的操作運算元可以看成是輸入/輸出的近似曲線，也即一個仿射模型。網格用於對圖像的顏色進行變換，具體每個網格具有不同的功能，例如，用於讓圖像的藍色更藍，使得天空效果更好；用於讓草地顏色更綠等。示例性的，雙邊網格可包含16x16個網格，每個網格可包含8個通道，圖像的灰度值可以為0-255，每個通道示例性的可包含32個色階，例如一個通道中網格的灰度值範圍是0-31，另一個通道中網格的灰度值範圍是32-63。考慮到圖像的顏色取值範圍可能比較集中，例如人臉的色度範圍並不會均勻分佈在0-255，本實施例中對每個通道的色階範圍進行重新限定。
示例性的，在獲取初始圖像的雙邊網格矩陣時，參考初始圖像的最大池化結果圖和最小池化結果圖。其中，最大池化結果圖用於指示各採樣區域內的最大值，最小池化結果圖用於指示各採樣區域內的最小值。根據初始圖像的最大池化結果圖和最小池化結果圖獲取到的雙邊網格矩 陣中每個網格的8個通道的色階範圍可自我調整的反映初始圖像中的值域範圍，進而提高圖像打光效果。
示例性的，將初始圖像的亮度分量圖輸入至卷積神經網路的池化層，對亮度分量圖同時進行最大池化和最小池化，獲取獲取初始圖像的最大池化結果圖和最小池化結果圖。
可選的，為減少卷積神經網路的計算資料量，可在將初始圖像輸入至卷積神經網路之前，首先採用拉普拉斯金字塔演算法對初始圖像進行縮小處理。縮小後的圖像具有更小的資料量，提高了圖像打光的處理速度。
S106、根據雙邊網格矩陣對初始圖像進行仿射變換得到目標圖像。
其中，目標圖像為對初始圖像按照打光操作類型打光後的圖像。
可選的，在一種可能的實現方式中，根據雙邊網格矩陣對初始圖像進行仿射變換得到目標圖像，具體包括：
S21、根據雙邊網格矩陣、最大池化結果圖和最小池化結果圖，對初始圖像的亮度分量圖進行切片處理，獲取仿射變換矩陣。
示例性的，在獲取了初始圖像的額雙邊網格矩陣後，將初始圖像的亮度分量圖作為參考圖(guide)，對亮度分量圖的像素進行空域和值域的採樣，然後找到其在網 格中的位置，對雙邊網格進行差值，得到仿射變換矩陣，反射變換矩陣包含8個通道。
可選的，還可採用對初始圖像進行非線性仿射變換，以及卷積得到的單通道圖作為guide。
S22、根據仿射變換矩陣對初始圖像進行仿射變換，獲取目標圖像。
示例性的，在獲取了仿射變換矩陣後，根據仿射變換矩陣對初始圖像進行仿射變換，即可獲取目標圖像。
可選的，在另一種可能的實現方式中，卷積神經網路的深度、寬度和卷積層數量均小於上述實施例中的卷積神經網路的深度、寬度和卷積層數量。初始圖像的雙邊網格矩陣的大小示例性的可以為16x16，深度為4。
此時，將初始圖像輸入至卷積神經網路，具體可以為： 將初始圖像的亮度分量圖輸入至卷積神經網路。
通過僅將初始圖像的亮度分量圖輸入至卷積神經網路中，提高了卷積神經網路的特徵提取速度。
對應的，根據雙邊網格矩陣對初始圖像進行仿射變換得到目標圖像，具體包括：
S31、根據雙邊網格矩陣、最大池化結果圖和最小池化結果圖，對初始圖像的亮度分量圖進行切片處理，得到殘差矩陣。
初始圖像的殘差矩陣為單通道。
S32、根據殘差矩陣和初始圖像得到目標圖像。
可選的，根據殘差矩陣和初始圖像，獲取目標圖像，具體包括：將殘差矩陣和初始圖像的亮度分量圖的相同位置處的像素點的取值相加，獲取目標圖像。
在此種實現方式中，圖像打光演算法簡單，計算量低，可在對圖像進行拍攝的同時，實現對圖像的即時打光，從而方便使用者通過顯示幕即時查看圖像打光效果。
可選的，若在將初始圖像輸入至卷積神經網路之前，首先採用拉普拉斯金字塔演算法對初始圖像進行縮小處理。則對應的，獲取的目標圖像為縮小後的打光後的圖像，本發明實施例提供的圖像打光方法還應包括：採用拉普拉斯金字塔演算法對目標圖像進行放大處理，獲取與初始圖像尺寸相同的打光後的圖像。
本發明實施例提供圖像打光方法，包括確定初始圖像的打光操作類型對應的卷積神經網路；通過卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊；通過卷積神經網路，基於局部特徵資訊和全域特徵資訊，獲取初始圖像的融合特徵資訊；通過卷積神經網路，基於初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖；基於融合特徵資訊、最大池化結果圖和最小池化結果圖，獲取初始圖像的雙邊網格矩陣；根據雙邊網格矩陣對初始圖像進行仿射變換得到目標圖像，目標圖像為對初始圖像按照打光操作類型打光後的圖像。本實施例提供的圖像打光方法，通過採用深度學習的卷積神經網路技術，以及具體通過採用卷 積神經網路對初始圖像進行特徵提取，並根據初始圖像的最大池化結果圖和最小池化結果圖獲取初始圖像的自我調整的雙邊網格矩陣，根據雙邊網格矩陣獲取初始圖像的目標圖像，使得圖像打光效果更自然。
進一步地，在上述實施例的基礎上，本發明實施例還提供一種圖像打光方法。圖4為本發明實施例二提供的圖像打光方法的流程示意圖。本實施例給出了一種對初始圖像增加聚光燈光效的圖像打光方法(即圖2所示光效圖中的舞臺光)。具體如圖4所示，本實施例提供的圖像打光方法，針對初始圖像，在執行了如圖1所示的實施例中的S101至S106之後，獲取的目標圖像，圖像打光方法還包括：
S401、獲取目標圖像的人像分割圖，根據目標圖像對人像分割圖進行快速導向濾波，獲取初始權重圖；根據初始圖像的人臉掩模圖獲取初始聚光燈光效權重圖。
示例性的，其中打光操作類型包括輪廓光、攝影室光、單色光、雙色光或多色光。
可選的，本發明實施例另一方面還可提供一種圖像打光方法，針對任意的人像圖，執行圖4所示圖像打光方法，從而可獲取增加聚光燈光效的打光圖。
示例性的，在獲取了初始圖像的目標圖像後，對打光後的圖像進行人像分割，獲取人像分割圖。示例性的，可以採用具有輪廓光或攝影室光的打光後的圖像。目標圖像中的人像細節更豐富，特徵更明顯，相比原始的初始圖像更容易進行人像分割。
可選的，獲取目標圖像的人像分割圖，具體包括：
S41、對目標圖像進行人像分割，獲取人像前景圖。
示例性的，圖5為本發明實施例二提供的圖像打光方法中的影像處理的流程示意圖，如圖5所示，對於打光後的圖像S，採用人像分割技術，獲取打光後的圖像S的人像前景圖S w ，人像前景圖S w 中屬於人體的部分取值為第一數值，不屬於人體，例如背景的部分取值為第二數值。可選的，第一數值可以為1，第二數值可以為0。
可選的，還可基於目標圖像或者初始圖像的深度資訊，獲取人像前景圖。可選的，還可基於目標圖像或者初始圖像的深度資訊，採用人像分割演算法獲取人像前景圖。
S42、對目標圖像採用關鍵點提取技術獲取人像面部圖。
示例性的，考慮到現有人像分割技術可能存在的人臉分割不準確的問題，採用關鍵點提取技術獲取目標圖像S的人像面部圖。可選的，人像面部圖可以為圖1所示實施例中的人臉掩模圖S f 。人臉面部圖S f 中屬於人臉的部分取值為第三數值，不屬於人臉的部分取值為第四數值。可選的，第三數值可以為1，第四數值可以為0。
可選的，S41和S42可以同時執行，也可以先後執行，並沒有嚴格的時序關係。
S43、根據人像前景圖和人像面部圖獲取人像分割圖。
示例性的，在獲取到人像前景圖S w 和人像面部圖S f 後，根據人像前景圖S w 和人像面部圖S f 獲取人像分割圖。
示例性的，考慮到人像前景圖S w 中人臉範圍不夠準確以及人像面部圖S f 中缺少人體其他部分資訊，可將人像前景圖S w 和人像面部圖S f 結合，獲取準確的人像分割圖。
可選的，獲取人像分割圖的過程具體包括：遍歷人像前景圖S w 中的所有像素點，對於人像前景圖S w 中的任一像素點S w (i,j)，若人像面部圖S f 中相同位置處的像素點S f (i,j)屬於人像部分，則判斷像素點S w (i,j)和像素點S f (i,j)的取值是否均為1；若否，則將人像前景圖S w 中的像素點S w (i,j)的取值修改為0；得到人像分割圖；其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，N為目標圖像的總行數，M為目標圖像的總列數。
示例性的，人像分割圖中取值為1的像素點屬於人體，取值為0的像素點屬於背景區域。
示例性的，當對初始圖像添加聚光燈光效時，需對人體部分打強光，並對背景部分降低亮度。同時，對於人臉部分也許根據人臉的高亮區和陰影區分別增加不同強度光效。
具體的，可根據初始圖像的人臉掩模圖獲取聚光燈光效權重圖W1。示例性的，聚光燈光效權重圖W1中的各像素點的取值的取值範圍為[0，1]，各像素點的取值代表了對初始圖像中相同位置處的像素點的打光強度。示例性的，聚光燈光效權重圖W1通常為一副高斯模糊的實心橢圓圖。
可選的，在獲取目標圖像的人像分割圖之後，採用目標圖像作為引導圖(guide)，對人像分割圖進行快速導向濾波，得到初始權重圖W2，初始權重圖W2的邊緣更加貼合目標圖像中人像的邊緣。
S402、根據初始聚光燈光效權重圖W1和初始權重圖W2，獲取人像聚光燈光效權重圖W。
示例性的，可將初始聚光燈光效權重圖W1和初始權重圖W2中的相同位置處的像素點的取值相乘，得到人像聚光燈光效權重圖中的各像素點的取值。
S403、根據人像聚光燈光效權重圖和目標圖像，獲取增加聚光燈光效的圖像。
示例性的，根據人像聚光燈光效權重圖對目標圖像進行打光，使得目標圖像被添加聚光燈光效，從而得到增加聚光燈光效的圖像。
可選的，增加聚光燈光效的過程具體包括：根據人像聚光燈光效權重圖W和目標圖像I in ，採用如下公式1獲取增加聚光燈光效的圖像I out ； I out [i,j,1]=I in [i,j,1]×W[i,j] I out [i,j,2]=(I in [i,j,2]-0.5)×min(1,W[i,j]×1.5)+0.5 I out [i,j,3]=(I in [i,j,3]-05)×min(1,W[i,j]×1.5)+0.5 公式1
其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為目標圖像的總行數，M為目標圖像的縱列數。
示例性的，對於目標圖像I in ，通常包括三個分量圖像，可分別表示為[：，：，1]，[：，：，2]，[：，：，3]，例如當圖像格式為RGB格式時，圖像I in 的分量圖像[：，：，1]，[：，：，2]，[：，：，3]可分別表示圖像I in 的紅色分量圖，綠色分量圖和藍色分量圖。可選的，圖像I in 的格式還可以為YcbCr等。
本發明實施例提供的圖像打光方法，包括獲取目標圖像的人像分割圖，根據初始圖像的人臉掩模圖獲取初始聚光燈光效權重圖；根據初始聚光燈光效權重圖和人像分割圖，獲取人像聚光燈光效權重圖；根據人像聚光燈光效權重圖和目標圖像，獲取增加聚光燈光效的圖像。通過獲取人像聚光燈光效權重圖，根據人像聚光燈光效權重圖對目標圖像進行打光，獲取增加聚光燈光效的圖像，可提高聚光燈光效的打光效果。
本發明實施例還提供一種圖像打光裝置，用於執行上述圖1至圖5實施例中的圖像打光方法，具有相同或相似的技術特徵和技術效果。
圖6為本發明實施例一提供的圖像打光裝置的結構示意圖。如圖6所示，圖像打光裝置包括： 卷積神經網路獲取模組601，用於確定初始圖像的打光操作類型對應的卷積神經網路；特徵資訊獲取模組602，用於通過卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊；融合特徵資訊獲取模組603，用於通過卷積神經網路，基於局部特徵資訊和全域特徵資訊，獲取初始圖像的融合特徵資訊；池化結果圖獲取模組604，用於通過卷積神經網路，基於初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖；雙邊網格矩陣獲取模組605，用於基於融合特徵資訊、最大池化結果圖和最小池化結果圖，獲取初始圖像的雙邊網格矩陣；目標圖像獲取模組606，用於根據雙邊網格矩陣對初始圖像進行仿射變換得到目標圖像，目標圖像為對初始圖像按照打光操作類型打光後的圖像。
可選的，目標圖像獲取模組606，具體用於，根據雙邊網格矩陣、最大池化結果圖和最小池化結果圖，對初始圖像的亮度分量圖進行切片處理，獲取仿射變換矩陣；根據仿射變換矩陣對初始圖像進行仿射變換得到目標圖像。
可選的，特徵資訊獲取模組602，具體用於， 將初始圖像和初始圖像的人臉掩模圖輸入至卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊。
示例性的，在圖6所示實施例的基礎上，本發明實施例還提供一種圖像打光裝置。圖7為本發明實施例二提供的圖像打光裝置的結構示意圖。如圖7所示，圖像打光裝置中的特徵資訊獲取模組602，包括：低層級特徵資訊獲取單元6021，用於將初始圖像輸入至卷積神經網路的低層級特徵提取層，獲取初始圖像的低層級特徵資訊；局部特徵資訊獲取單元6022，用於將初始圖像的低層級特徵資訊輸入至卷積神經網路的局部特徵提取層，獲取初始圖像的局部特徵資訊；全域特徵資訊獲取單元6023，用於將初始圖像的低層級特徵資訊輸入至卷積神經網路的全域特徵提取層，獲取初始圖像的全域特徵資訊。
示例性的，在圖6或圖7所示實施例的基礎上，本發明實施例還提供一種圖像打光裝置。圖8為本發明實施例三提供的圖像打光裝置的結構示意圖。如圖8所示，圖像打光裝置還包括：修正模組600，用於根據初始圖像的人臉掩模圖對初始圖像的亮度分量圖進行人臉修正，得到修正後的圖像；特徵資訊獲取模組602，具體用於通過卷積神經網路，基於修正後的圖像，獲取初始圖像的局部特徵資訊和全域特徵資訊。
可選的，如圖8所示，圖像打光裝置還包括：縮小模組607，用於對初始圖像進行縮小處理。
可選的，如圖8所示，圖像打光裝置還包括：放大模組608，用於對目標圖像進行放大處理，獲取與初始圖像尺寸相同的目標圖像。
示例性的，在圖6至圖8任一實施例的基礎上，本發明實施例還提供一種圖像打光裝置。圖9為本發明實施例四提供的圖像打光裝置的結構示意圖。如圖9所示，圖像打光裝置還包括：人像分割圖獲取模組901，用於獲取目標圖像的人像分割圖；初始權重圖獲取模組902，用於根據目標圖像對人像分割圖進行快速導向濾波，獲取初始權重圖；初始聚光燈光效權重圖獲取模組903，用於根據初始圖像的人臉掩模圖獲取初始聚光燈光效權重圖；人像聚光燈光效權重圖獲取模組904，用於根據初始聚光燈光效權重圖和初始權重圖，獲取人像聚光燈光效權重圖；聚光燈光效打光模組905，用於根據人像聚光燈光效權重圖和目標圖像，獲取增加聚光燈光效的圖像。
可選的，聚光燈光效打光模組905具體用於，根據人像聚光燈光效權重圖W和目標圖像I in ，採用如下公式獲取增加聚光燈光效的圖像I out ； I out [i,j,1]=I in [i,j,1]×W[i,j] I out [i,j,2]=(I in [i,j,2]-0.5)×min(1,W[i,j]×1.5)+0.5 I out [i,j,3]=(I in [i,j,3]-0.5)×min(1,W[i,j]×1.5)+0.5
其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，N為目標圖像的總行數，M為目標圖像的總列數。
示例性的，在圖9所示實施例的基礎上，本發明實施例還提供一種圖像打光裝置。圖10為本發明實施例五提供的圖像打光裝置的結構示意圖。如圖10所示，圖像打光裝置中的人像分割圖獲取模組901包括：人像前景圖獲取單元11，用於對目標圖像進行人像分割，獲取人像前景圖；人像面部圖獲取單元12，用於對目標圖像進行關鍵點提取，獲取人像面部圖；人像分割圖獲取單元13，用於根據人像前景圖和人像面部圖獲取人像分割圖。
可選的，人像分割圖獲取單元13具體用於，遍歷人像前景圖S w 中的所有像素點，對於人像前景圖S w 中的任一像素點S w (i,j)，若人像面部圖S f 中相同位置處的像素點S f (i,j)屬於人像部分，則判斷像素點S w (i,j)和像素點S f (i,j)的取值是否均為1；若否，則將人像前景圖S w 中的像素點S w (i,j)的取值修改為0；得到人像分割圖；其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，N為目標圖像的總行數，M為目標圖像的總列數。
可選的，人臉掩模圖還包括人臉的鼻影資訊、鼻翼資訊、鼻頭資訊、腮部資訊、太陽穴資訊、膚色類型資訊中的至少一項。
可選的，打光操作類型包括輪廓光、攝影室光、舞臺光、單色光、雙色光或多色光。
可選的，目標圖像獲取模組606，具體用於，根據雙邊網格矩陣、最大池化結果圖和最小池化結果圖，對初始圖像的亮度分量圖進行切片處理，得到殘差矩陣；根據殘差矩陣和初始圖像得到目標圖像。
可選的，目標圖像獲取模組606，具體用於，將殘差矩陣和初始圖像的亮度分量圖的相同位置處的像素點的取值相加，獲取目標圖像。
本發明實施例另一方面還提供一種電子設備，圖11為本發明實施例一提供的電子設備的結構示意圖，如圖11所示，該電子設備包括：記憶體1101，用於儲存程式指令；處理器1102，用於調用並執行記憶體中的程式指令，執行上述圖1至圖5所示實施例中的方法步驟。
本發明實施例另一方面還提供一種可讀儲存介質，可讀儲存介質中儲存有電腦程式，電腦程式用於執行上述圖1至圖5所示實施例中的方法步驟。
本實施例中的裝置與前述實施例中的方法是基於同一發明構思下的兩個方面，在前面已經對方法實施過程作了詳細的描述，所以本領域技術人員可根據前述描述清楚 地瞭解本實施中的系統的結構及實施過程，為了說明書的簡潔，在此就不再贅述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
本發明的說明書和請求項書及上述附圖中的術語“第一”、“第二”、“第三”“第四”等是用於區別類似的物件，而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換，以便這裡描述的實施例能夠以除了在這裡圖示或描述的內容以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
本領域普通技術人員可以理解：實現上述各方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成。前述的程式可以儲存於一電腦可讀取儲存介質中。 該程式在執行時，執行包括上述各方法實施例的步驟；而前述的儲存介質包括：ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。
S101‧‧‧確定初始圖像的打光操作類型對應的卷積神經網路
S102‧‧‧通過卷積神經網路，獲取初始圖像的局部特徵資訊和全域特徵資訊
S103‧‧‧通過卷積神經網路，基於局部特徵資訊和全域特徵資訊，獲取所述初始圖像的融合特徵資訊
S104‧‧‧基於融合特徵資訊、最大池化結果圖和最小池化結果圖，獲取初始圖像的雙邊網格矩陣
S105‧‧‧通過卷積神經網路，基於初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖
S106‧‧‧根據雙邊網格矩陣對初始圖像進行仿射變換得到目 標圖像

Claims (17)

  1. 一種圖像打光方法，包括：確定初始圖像的打光操作類型對應的卷積神經網路；通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊；通過所述卷積神經網路，基於所述局部特徵資訊和所述全域特徵資訊，獲取所述初始圖像的融合特徵資訊；通過所述卷積神經網路，基於所述初始圖像的亮度分量圖，獲取最大池化結果圖和最小池化結果圖；基於所述融合特徵資訊、所述最大池化結果圖和所述最小池化結果圖，獲取所述初始圖像的雙邊網格矩陣；根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，所述目標圖像為對所述初始圖像按照所述打光操作類型打光後的圖像。
  2. 根據請求項1所述的方法，其中，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，包括：根據所述雙邊網格矩陣、所述最大池化結果圖和所述最小池化結果圖，對所述初始圖像的亮度分量圖進行切片處理，獲取仿射變換矩陣；根據所述仿射變換矩陣對所述初始圖像進行仿射變換得到所述目標圖像。
  3. 根據請求項1所述的方法，其中，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像，包括：根據所述雙邊網格矩陣、所述最大池化結果圖和所述最小池化結果圖，對所述初始圖像的亮度分量圖進行切片處理，得到殘差矩陣；根據所述殘差矩陣和所述初始圖像得到所述目標圖像。
  4. 根據請求項3所述的方法，其中，所述根據所述殘差矩陣和所述初始圖像得到所述目標圖像，包括：將所述殘差矩陣和所述初始圖像的亮度分量圖的相同位置處的像素點的取值相加，獲取所述目標圖像。
  5. 根據請求項1-4中任一項所述的方法，其中，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊，包括：將所述初始圖像和所述初始圖像的人臉掩模圖輸入至所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊。
  6. 根據請求項1-4中任一項所述的方法，其中，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊，包括： 將所述初始圖像輸入至所述卷積神經網路的低層級特徵提取層，獲取所述初始圖像的低層級特徵資訊；將所述初始圖像的低層級特徵資訊輸入至所述卷積神經網路的局部特徵提取層，獲取所述初始圖像的局部特徵資訊；將所述初始圖像的低層級特徵資訊輸入至所述卷積神經網路的全域特徵提取層，獲取所述初始圖像的全域特徵資訊。
  7. 根據請求項1-4中任一項所述的方法，其中，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊之前，所述方法還包括：根據所述初始圖像的人臉掩模圖對所述初始圖像的亮度分量圖進行人臉修正，得到修正後的圖像；所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊，包括：通過所述卷積神經網路，基於所述修正後的圖像，獲取所述初始圖像的局部特徵資訊和全域特徵資訊。
  8. 根據請求項1-4中任一項所述的方法，其中，所述通過所述卷積神經網路，獲取所述初始圖像的局部特徵資訊和全域特徵資訊之前，所述方法還包括：對所述初始圖像進行縮小處理。
  9. 根據請求項8所述的方法，其中，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像之後，所述方法還包括：對所述目標圖像進行放大處理，獲取與所述初始圖像尺寸相同的目標圖像。
  10. 根據請求項1-4中任一項所述的方法，其中，所述根據所述雙邊網格矩陣對所述初始圖像進行仿射變換得到目標圖像之後，所述方法還包括：獲取所述目標圖像的人像分割圖，根據所述目標圖像對所述人像分割圖進行快速導向濾波，獲取初始權重圖；根據所述初始圖像的人臉掩模圖獲取初始聚光燈光效權重圖；根據所述初始聚光燈光效權重圖和所述初始權重圖，獲取人像聚光燈光效權重圖；根據所述人像聚光燈光效權重圖和所述目標圖像，獲取增加聚光燈光效的圖像。
  11. 根據請求項10所述的方法，其中，所述根據所述人像聚光燈光效權重圖和所述目標圖像獲取增加聚光燈光效的圖像，包括：根據所述人像聚光燈光效權重圖W和所述目標圖像I in ，採用如下公式獲取增加聚光燈光效的圖像I out ； I out [i,j,1]=I in [i,j,1]×W[i,j] I out [i,j,2]=(I in [i,j,2]-0.5)×min(1,W[i,j]×1.5)+0.5 I out [i,j,3]=(I in [i,j,3]-0.5)×min(1,W[i,j]×1.5)+0.5其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為所述目標圖像的總行數，M為所述目標圖像的總列數。
  12. 根據請求項10所述的方法，其中，所述獲取所述目標圖像的人像分割圖，包括：對所述目標圖像進行人像分割，獲取人像前景圖；對所述目標圖像進行關鍵點提取，獲取人像面部圖；根據所述人像前景圖和所述人像面部圖獲取人像分割圖。
  13. 根據請求項12所述的方法，其中，所述根據所述人像前景圖和所述人像面部圖獲取人像分割圖，包括：遍歷所述人像前景圖S w 中的所有像素點，對於所述人像前景圖S w 中的任一像素點S w (i,j)，若所述人像面部圖S f 中相同位置處的像素點S f (i,j)屬於人像部分，則判斷所述像素點S w (i,j)和所述像素點S f (i,j)的取值是否均為1；若否，則將所述人像前景圖S w 中的像素點S w (i,j)的取值修改為0；得到所述人像分割圖； 其中，i的取值範圍為[0，N-1]，j的取值範圍為[0，M-1]，M和N的取值為大於1的整數，所述N為所述目標圖像的總行數，M為所述目標圖像的總列數。
  14. 根據請求項5所述的方法，其中，所述人臉掩模圖還包括人臉的鼻影資訊、鼻翼資訊、鼻頭資訊、腮部資訊、太陽穴資訊、膚色類型資訊中的至少一項。
  15. 根據請求項1-4中任一項所述的方法，其中，所述打光操作類型包括輪廓光、攝影室光、舞臺光、單色光、雙色光或多色光。
  16. 一種電子設備，包括：記憶體，用於儲存程式指令；處理器，用於調用並執行所述記憶體中的程式指令，執行請求項1-15任一項所述的方法步驟。
  17. 一種可讀儲存介質，所述可讀儲存介質中儲存有電腦程式，所述電腦程式用於執行請求項1-15任一項所述的方法步驟。
TW108126231A 2018-07-27 2019-07-24 圖像打光方法和裝置 TWI704524B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810848283.3 2018-07-27
CN201810848283.3A CN109191558B (zh) 2018-07-27 2018-07-27 图像打光方法和装置

Publications (2)

Publication Number Publication Date
TW202008313A TW202008313A (zh) 2020-02-16
TWI704524B true TWI704524B (zh) 2020-09-11

Family

ID=64937770

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126231A TWI704524B (zh) 2018-07-27 2019-07-24 圖像打光方法和裝置

Country Status (7)

Country Link
US (1) US11455516B2 (zh)
JP (1) JP6905602B2 (zh)
KR (1) KR102290985B1 (zh)
CN (1) CN109191558B (zh)
SG (1) SG11201913819SA (zh)
TW (1) TWI704524B (zh)
WO (1) WO2020019618A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
CN109862268B (zh) * 2019-02-12 2021-06-15 陕西鼎浩文化传播有限公司 一种可感应自动调节亮度的图像处理用打光方法
CN112183551A (zh) * 2019-07-02 2021-01-05 佳能株式会社 光照颜色预测方法、图像处理方法、装置及存储介质
CN111626968B (zh) * 2020-04-29 2022-08-26 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法
US11983846B2 (en) * 2020-05-13 2024-05-14 Qualcomm Incorporated Machine learning based image adjustment
CN111680667B (zh) * 2020-07-13 2022-06-24 北京理工大学重庆创新中心 一种基于深度神经网络的遥感图像地物分类方法
CN112016489B (zh) * 2020-09-02 2022-10-04 重庆邮电大学 一种保留全局信息并增强局部特征的行人再识别方法
CN112766215A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 人脸融合方法、装置、电子设备及存储介质
GB2605156B (en) 2021-03-24 2023-11-08 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605158B (en) 2021-03-24 2023-05-17 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605169B (en) * 2021-03-24 2023-08-02 Sony Interactive Entertainment Inc Image rendering method and apparatus
CN113160358A (zh) * 2021-05-21 2021-07-23 上海随幻智能科技有限公司 一种无绿幕抠图渲染方法
KR20230086233A (ko) * 2021-12-08 2023-06-15 순천대학교 산학협력단 Cmp를 이용한 재구조화된 합성곱 신경망 시스템 및 그 동작 방법
US20230289930A1 (en) * 2022-03-10 2023-09-14 Samsung Electronics Company, Ltd. Systems and Methods for Lightweight Machine Learning for Image Illumination Control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120654B2 (en) * 2005-02-10 2012-02-21 Central Glass Co., Ltd. Device and method for detecting defect on end face of glass sheet
TW201732305A (zh) * 2016-01-11 2017-09-16 克萊譚克公司 以影像為基礎之樣本程序控制
TW201807619A (zh) * 2016-08-26 2018-03-01 原相科技股份有限公司 基於深度學習架構的圖像辨識方法及系統
TWM558943U (zh) * 2017-11-22 2018-04-21 Aiwin Technology Co Ltd 運用深度學習技術之智慧影像資訊及大數據分析系統

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242099A (ja) * 2003-02-06 2004-08-26 Ntt Docomo Inc 色歪み補正方法、色歪み補正装置、携帯端末、プログラム及び記憶媒体
KR100698845B1 (ko) * 2005-12-28 2007-03-22 삼성전자주식회사 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
JP5104282B2 (ja) * 2007-12-18 2012-12-19 日本電気株式会社 画像補正方法および画像補正装置
JP6273750B2 (ja) * 2013-10-04 2018-02-07 富士ゼロックス株式会社 画像処理装置及びプログラム
CN103606134A (zh) * 2013-11-26 2014-02-26 国网上海市电力公司 一种弱光照视频图像的增强方法
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
WO2017079702A1 (en) * 2015-11-05 2017-05-11 Google Inc. Edge-aware bilateral image processing
JP6700840B2 (ja) * 2016-02-18 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
CN106875344B (zh) 2016-12-21 2019-09-17 浙江大华技术股份有限公司 一种视频图像的补光处理方法及装置
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법
CN108181952A (zh) * 2017-12-11 2018-06-19 浙江工业大学 一种基于卷积神经网络的光照度测量及光照度智能控制方法
CN108305236B (zh) * 2018-01-16 2022-02-22 腾讯科技（深圳）有限公司 图像增强处理方法及装置
US10708525B2 (en) * 2018-08-27 2020-07-07 Qualcomm Incorporated Systems and methods for processing low light images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120654B2 (en) * 2005-02-10 2012-02-21 Central Glass Co., Ltd. Device and method for detecting defect on end face of glass sheet
TW201732305A (zh) * 2016-01-11 2017-09-16 克萊譚克公司 以影像為基礎之樣本程序控制
TW201807619A (zh) * 2016-08-26 2018-03-01 原相科技股份有限公司 基於深度學習架構的圖像辨識方法及系統
TWM558943U (zh) * 2017-11-22 2018-04-21 Aiwin Technology Co Ltd 運用深度學習技術之智慧影像資訊及大數據分析系統

Also Published As

Publication number Publication date
US11455516B2 (en) 2022-09-27
US20200143230A1 (en) 2020-05-07
CN109191558B (zh) 2020-12-08
TW202008313A (zh) 2020-02-16
CN109191558A (zh) 2019-01-11
KR102290985B1 (ko) 2021-08-19
JP2020530920A (ja) 2020-10-29
KR20200014842A (ko) 2020-02-11
SG11201913819SA (en) 2020-02-27
JP6905602B2 (ja) 2021-07-21
WO2020019618A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
TWI704524B (zh) 圖像打光方法和裝置
Yang et al. Image correction via deep reciprocating HDR transformation
US10742892B1 (en) Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
US20170359498A1 (en) Methods and systems for generating high dynamic range images
CN103440674B (zh) 一种数字图像蜡笔特效的快速生成方法
CN103067661A (zh) 图像处理方法、装置和拍摄终端
EP2987135A2 (en) Reference image selection for motion ghost filtering
CN103716547A (zh) 一种智能模式的拍照方法
KR20180048627A (ko) 역 톤 매핑을 위한 방법 및 장치
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
CN106165392B (zh) 图像处理装置、摄影装置以及图像处理方法
Kumar et al. An improved Gamma correction model for image dehazing in a multi-exposure fusion framework
JP2001313844A (ja) 局所的な色補正を実行する方法および装置
KR20200043432A (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
CN110706162A (zh) 一种图像处理方法、装置及计算机存储介质
CN110211077A (zh) 一种基于高阶奇异值分解的多曝光图像融合方法
Liba et al. Sky optimization: Semantically aware image processing of skies in low-light photography
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
WO2016026072A1 (en) Method, apparatus and computer program product for generation of extended dynamic range color images
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
CN110084767A (zh) 图像处理方法、装置、终端及存储介质
WO2023273111A1 (zh) 一种图像处理方法、装置、计算机设备和存储介质
EP3062288B1 (en) Method, apparatus and computer program product for reducing chromatic aberrations in deconvolved images
Liu et al. An adaptive tone mapping algorithm based on gaussian filter
CN112714246A (zh) 连拍照片获取方法、智能终端及存储介质