KR20200014842A - 이미지 조명 방법, 장치, 전자 기기 및 저장 매체 - Google Patents
이미지 조명 방법, 장치, 전자 기기 및 저장 매체 Download PDFInfo
- Publication number
- KR20200014842A KR20200014842A KR1020197038766A KR20197038766A KR20200014842A KR 20200014842 A KR20200014842 A KR 20200014842A KR 1020197038766 A KR1020197038766 A KR 1020197038766A KR 20197038766 A KR20197038766 A KR 20197038766A KR 20200014842 A KR20200014842 A KR 20200014842A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- map
- initial
- feature information
- initial image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000005286 illumination Methods 0.000 title claims abstract description 105
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 117
- 239000011159 matrix material Substances 0.000 claims abstract description 93
- 238000011176 pooling Methods 0.000 claims abstract description 73
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 62
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims description 94
- 238000003709 image segmentation Methods 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 230000001815 facial effect Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G06T3/0006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 출원은 이미지 조명 방법, 장치, 전자 기기 및 저장 매체를 개시하며, 상기 방법은, 초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정하는 단계; 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계; 컨볼루션 뉴럴 네트워크에 의해, 국소 특징 정보 및 전역 특징 정보에 기반하여, 초기 이미지의 융합 특징 정보를 획득하는 단계; 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득하는 단계; 융합 특징 정보, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 기반하여, 초기 이미지의 양방향 그리드 매트릭스를 획득하는 단계; 및 양방향 그리드 매트릭스에 따라 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계 - 목표 이미지는 초기 이미지에 대해 조명 동작 타입에 따라 조명한 후의 이미지임 - 을 포함한다.
Description
본 출원은 2018년 7월 27일에 중국 특허청에 제출된, 출원 번호가 CN201810848283.3의 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 전체 내용은 참조로 본 출원에 인용된다.
본 출원은 이미지 처리 기술에 관한 것이며, 특히, 이미지 조명 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
단말 장치（휴대 전화, 태블릿, 팔찌 등）의 카메라 픽셀이 끊임없이 높아짐에 따라, 이상적인 인물 이미지 촬영 효과를 획득하기 위해, 점점 더 많은 사용자는 단말 장치로 인물 이미지 촬영 및 인물 이미지 촬영 후의 이미지 미화를 수행한다. 이상적인 인물 이미지 촬영은 전문적인 조명 배치가 필요하며, 얼굴에 적절한 양의 빛을 적용하여 더 좋은 사진 효과를 얻어야 하지만, 실제 대부분 촬영 정경에서는 이상적인 조명 배치 환경이 이루어지기 어렵기 때문에, 일반적으로 실제 촬영으로부터 얻은 이미지 중의 인물 이미지는 얼굴 부분이 어둡고, 입체 효과가 부족하며, 얼굴 부분의 빛이 고르지 않는 등 문제가 존재한다.
상기 문제점을 해결하기 위해, 관련 기술에서는 인물 이미지 사진에 따라 인물 이미지에 대해 3D 모델링을 수행하여, 인물 이미지 상의 조명을 조정하며, 이미지를 렌더링하여, 조명 후의 이미지를 획득한다.
관련 기술의 조명 방법은 얼굴 인식, 이미지 기반 렌더링, 및 영화 후반 제작 등 분야에서 매우 광범위하게 응용되고 있다. 하지만, 인물 이미지 모델링은 얼굴 인식의 영향을 많이 받아, 얼굴 인식이 불정확할 경우, 모델링 오차도 크기 때문에, 관련 기술에서의 이미지 조명 방식은 복잡하고 효율이 낮다.
이를 감안하여, 본 출원의 실시예는 이미지 조명 방법 및 장치를 제공하려고 한다.
제1 측면에 의하면, 본 출원의 실시예는,
초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크(Convolutional Neural Network)를 결정하는 단계;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 국소 특징 정보 및 상기 전역 특징 정보에 기반하여, 상기 초기 이미지의 융합 특징 정보를 획득하는 단계;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵(Pooling Results Map) 및 최소 풀링 결과 맵을 획득하는 단계;
상기 융합 특징 정보, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 기반하여, 상기 초기 이미지의 양방향 그리드 매트릭스(Bidirectional grid matrix)를 획득하는 단계;
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환(Affine transformation)을 수행하여 목표 이미지를 획득하는 단계, - 상기 목표 이미지는 상기 초기 이미지에 대해 상기 조명 동작 타입에 따라 조명한 후의 이미지임 - 을 포함하는 이미지 조명 방법를 제공한다.
딥 러닝 컨볼루션 뉴럴 네트워크기술를 사용하며, 컨볼루션 뉴럴 네트워크를 사용하여 초기 이미지에 대해 특징 추출을 수행하며, 초기 이미지의 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 자아 적응형 양방향 그리드 매트릭스를 획득하고, 양방향 그리드 매트릭스에 따라, 초기 이미지의 목표 이미지를 획득하여, 이미지 조명 효과를 더욱 자연스럽게 한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계는,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵(Luminance component map)에 대해 슬라이싱 처리를 수행하여, 아핀 변환 매트릭스를 획득하는 단계;
상기 아핀 변환 매트릭스에 따라, 상기 초기 이미지에 대해 아핀 변환을 수행하여 상기 목표 이미지를 얻는 단계를 포함한다.
초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행함으로써, 이미지 조명 알고리즘이 단순화될 수 있으며, 이미지 조명 속도가 개선될 수 있고, 하드웨어 장치에 대한 이미지 조명 알고리즘의 성능 요구가 저하되어, 이미지 조명 방법이 단말 장치에 배치될 수 있도록 한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계는,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 잔차 매트릭스(Residual matrix)를 얻는 단계;
상기 잔차 매트릭스 및 상기 초기 이미지에 따라 상기 목표 이미지를 얻는 단계를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 잔차 매트릭스 및 상기 초기 이미지에 따라 상기 목표 이미지를 얻는 단계는,
상기 잔차 매트릭스 및 상기 초기 이미지의 휘도 컴포넌트 맵의 동일한 위치에서의 픽셀 포인트의 값을 가산하여, 상기 목표 이미지를 획득하는 단계를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
상기 초기 이미지 및 상기 초기 이미지의 얼굴 마스크 맵을 상기 컨볼루션 뉴럴 네트워크에 입력하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계를 포함한다.
초기 이미지 및 초기 이미지의 얼굴 마스크 맵을 입력함으로써, 이미지 조명 후, 얼굴 오관이 더욱 입체적이고, 얼굴 세부 사항이 더욱 풍부해지도록 한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
상기 초기 이미지를 상기 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 상기 초기 이미지의 하위 계층급 특징 정보를 획득하는 단계;
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층에 입력하여, 상기 초기 이미지의 국소 특징 정보를 획득하는 단계;
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 전역 특징 추출 계층에 입력하여, 상기 초기 이미지의 전역 특징 정보를 획득하는 단계를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하기 전에, 상기 방법은 또한,
상기 초기 이미지의 얼굴 마스크 맵에 따라 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 얼굴 보정을 수행하여, 보정 후의 이미지를 얻는 단계를 포함하며;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
상기 컨볼루션 뉴럴 네트워크에 의해, 보정 후의 이미지에 기반하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계를 포함한다.
얼굴 마스크 맵에 따라 초기 이미지에 대해 보정을 수행함으로써, 이미지 조명 후, 얼굴 오관이 더욱 입체적이고, 얼굴 세부 사항이 더욱 풍부해지도록 한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하기 전에, 상기 방법은 또한,
상기 초기 이미지에 대해 축소 처리를 수행하는 단계를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득한 후, 상기 방법은 또한,
상기 목표 이미지에 대해 확대 처리를 수행하여, 상기 초기 이미지와 동일한 사이즈의 목표 이미지를 획득하는 단계를 포함한다.
축소 후의 이미지더 적은 양의 데이터를 가지며, 이미지 조명의 처리 속도를 향상시킨다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득한 후, 상기 방법은 또한,
상기 목표 이미지의 인물 이미지 분할 맵을 획득하며, 상기 목표 이미지에 따라 상기 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵을 획득하고; 상기 초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵((Initial spotlight effect weight map))을 획득하는 단계;
상기 초기 스포트 라이트 발광 효과 가중치 맵 및 상기 초기 가중치 맵에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하는 단계;
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 상기 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득하는 단계를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 상기 목표 이미지에 따라 스포트 라이트 발광 효과가 증가된 이미지를 획득하는 단계는,
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵W 및 상기 목표 이미지
에 따라, 다음 공식을 이용하여 스포트 라이트 발광 효과가 증가된 이미지
를 획득하는 단계를 포함하며;
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수이다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 목표 이미지의 인물 이미지 분할 맵을 획득하는 단계는,
상기 목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하는 단계;
상기 목표 이미지에 대해 키포인트 추출을 수행하여, 인물 이미지 얼굴 맵을 획득하는 단계;
상기 인물 이미지 전경 맵 및 상기 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하는 단계를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 인물 이미지 전경 맵 및 상기 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하는 단계는,
상기 인물 이미지 전경 맵
중의 모든 픽셀 포인트를 순회하고, 상기 인물 이미지 전경 맵
중의 어느 하나의 픽셀 포인트
에 대해, 상기 인물 이미지 얼굴 맵
중의 동일한 위치에서의 픽셀 포인트
가 인물 이미지 부분에 속하면, 상기 픽셀 포인트
및 상기 픽셀 포인트
의 값이 모두 1인지 여부를 판단하며; 1이 아니면, 상기 인물 이미지 전경 맵
중의 픽셀 포인트
의 값이 0으로 수정되는 단계;
상기 인물 이미지 분할 맵을 얻는 단계; 를 포함하며,
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수이다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 얼굴 마스크 맵은 또한, 얼굴의 코 섀도우 정보, 코 윙 정보, 코 팁 정보, 뺨 정보, 템플 정보, 피부색 타입 정보 중 적어도 하나를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 조명 동작 타입은 컨투어 조명, 스튜디오 조명, 무대 조명, 단색광, 2 색광 또는 다색광을 포함한다.
본 출원의 실시예의 제2 측면에서는,
초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정하도록 구성된 컨볼루션 뉴럴 네트워크 획득 모듈;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 특징 정보 획득 모듈;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 국소 특징 정보 및 상기 전역 특징 정보에 기반하여, 상기 초기 이미지의 융합 특징 정보를 획득하도록 구성된 융합 특징 정보 획득 모듈;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득하도록 구성된 풀링 결과 맵 획득 모듈;
상기 융합 특징 정보, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 기반하여, 상기 초기 이미지의 양방향 그리드 매트릭스를 획득하도록 구성된 양방향 그리드 매트릭스 획득 모듈;
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하도록 구성된 목표 이미지 획득 모듈, - 상기 목표 이미지는 상기 초기 이미지에 대해 상기 조명 동작 타입에 따라 조명한 후의 이미지임 - 을 포함하는 이미지 조명 장치를 제공한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 목표 이미지 획득 모듈은 또한,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 아핀 변환 매트릭스를 획득하며;
상기 아핀 변환 매트릭스에 따라, 상기 초기 이미지에 대해 아핀 변환을 수행하여 상기 목표 이미지를 얻도록 구성된다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 목표 이미지 획득 모듈은 또한,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 잔차 매트릭스를 얻으며;
상기 잔차 매트릭스 및 상기 초기 이미지에 따라 상기 목표 이미지를 얻도록 구성된다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 목표 이미지 획득 모듈은 또한,
상기 잔차 매트릭스 및 상기 초기 이미지의 휘도 컴포넌트 맵의 동일한 위치에서의 픽셀 포인트의 값을 가산하여, 상기 목표 이미지를 획득하도록 구성된다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 특징 정보 획득 모듈은 또한,
상기 초기 이미지 및 상기 초기 이미지의 얼굴 마스크 맵을 상기 컨볼루션 뉴럴 네트워크에 입력하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 특징 정보 획득 모듈은,
상기 초기 이미지를 상기 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 상기 초기 이미지의 하위 계층급 특징 정보를 획득하도록 구성된 하위 계층급 특징 정보 획득 유닛;
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층에 입력하여, 상기 초기 이미지의 국소 특징 정보를 획득하도록 구성된 국소 특징 정보 획득 유닛;
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 전역 특징 추출 계층에 입력하여, 상기 초기 이미지의 전역 특징 정보를 획득하도록 구성된 전역 특징 정보 획득 유닛을 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 이미지 조명 장치는 또한,
상기 초기 이미지의 얼굴 마스크 맵에 따라 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 얼굴 보정을 수행하여, 보정 후의 이미지를 얻도록 구성된 보정 모듈;
또한 상기 컨볼루션 뉴럴 네트워크에 의해, 보정 후의 이미지에 기반하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 상기 특징 정보 획득 모듈을 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 이미지 조명 장치는 또한,
상기 초기 이미지에 대해 축소 처리를 수행하도록 구성된 축소 모듈을 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 이미지 조명 장치는 또한,
상기 조명 후의 이미지에 대해 확대 처리를 수행하여, 상기 초기 이미지와 동일한 사이즈의 목표 이미지를 획득하도록 구성된 확대 모듈을 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 이미지 조명 장치는 또한,
상기 목표 이미지의 인물 이미지 분할 맵을 획득하도록 구성된 인물 이미지 분할 맵 획득 모듈;
상기 목표 이미지에 따라 상기 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵을 획득하도록 구성된 초기 가중치 맵 획득 모듈;
상기 초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵을 획득하도록 구성된 초기 스포트 라이트 발광 효과 가중치 맵 획득 모듈;
상기 초기 스포트 라이트 발광 효과 가중치 맵 및 상기 초기 가중치 맵에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하도록 구성된 인물 이미지 스포트 라이트 발광 효과 가중치 맵 획득 모듈;
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 상기 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득하도록 구성된 스포트 라이트 발광 효과 조명 모듈을 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 스포트 라이트 발광 효과 조명 모듈은 또한,
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵W 및 상기 목표 이미지
에 따라, 다음 공식을 이용하여 스포트 라이트 발광 효과가 증가된 이미지
를 획득하도록 구성되며;
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수이다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 인물 이미지 분할 맵 획득 모듈은,
상기 목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하도록 구성된 인물 이미지 전경 맵 획득 유닛;
상기 목표 이미지에 대해 키포인트 추출을 수행하여, 인물 이미지 얼굴 맵을 획득하도록 구성된 인물 이미지 얼굴 맵 획득 유닛;
상기 인물 이미지 전경 맵 및 상기 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하도록 구성된 인물 이미지 분할 맵 획득 유닛을 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 인물 이미지 분할 맵 획득 유닛은 또한,
상기 인물 이미지 전경 맵
중의 모든 픽셀 포인트를 순회하고, 상기 인물 이미지 전경 맵
중의 어느 하나의 픽셀 포인트
에 대해, 상기 인물 이미지 얼굴 맵
중의 동일한 위치에서의 픽셀 포인트
가 인물 이미지 부분에 속하면, 상기 픽셀 포인트
및 상기 픽셀 포인트
의 값이 모두 1인지 여부를 판단하며; 1이 아니면, 상기 인물 이미지 전경 맵
중의 픽셀 포인트
의 값이 0으로 수정되고;
상기 인물 이미지 분할 맵을 얻도록 구성되며;
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 조명 후의 이미지의 총 열 수이다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 얼굴 마스크 맵은 또한, 얼굴의 코 섀도우 정보, 코 윙 정보, 코 팁 정보, 뺨 정보, 템플 정보, 피부색 타입 정보 중 적어도 하나를 포함한다.
본 출원의 임의의 실시예에 결부하여, 상기 방안에 있어서, 상기 조명 동작 타입은 컨투어 조명, 스튜디오 조명, 무대 조명, 단색광, 2 색광 또는 다색광을 포함한다.
본 출원의 실시예의 제3 측면에서는 또한,
프로그램 명령어를 저장하도록 구성된 메모리;
상기 메모리 중의 프로그램 명령어를 호출하고 실행하여, 본 출원의 실시예에 의해 제공된 상기 이미지 조명 방법을 실행하도록 구성된 프로세서를 포함하는 전자 기기를 제공한다.
본 출원의 실시예의 제4 측면에서는 또한, 본 출원의 실시예에 의해 제공된 상기 이미지 조명 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 판독 가능한 저장 매체를 제공한다.
본 실시예에 의해 제공된 이미지 조명 방법, 장치, 전자 기기 및 저장 매체는, 딥 러닝 컨볼루션 뉴럴 네트워크기술을 사용하고, 컨볼루션 뉴럴 네트워크를 사용하여 초기 이미지에 대해 특징 추출을 수행하며, 초기 이미지의 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 자아 적응형 양방향 그리드 매트릭스를 획득하고, 양방향 그리드 매트릭스에 따라, 초기 이미지의 목표 이미지를 획득하여, 이미지 조명 효과를 더욱 자연스럽게 한다.
도 1은 본 출원의 실시예에 의해 제공된 이미지 조명 방법의 흐름 모식도(1)이다.
도 2는 본 출원의 실시예에 의해 제공된 이미지 조명 효과 모식도이다.
도 3은 본 출원의 실시예에 의해 제공된 얼굴 마스크 맵 모식도이다.
도 4는 본 출원의 실시예에 의해 제공된 이미지 조명 방법의 흐름 모식도(2)이다.
도 5는 본 출원의 실시예에 의해 제공된 이미지 조명 방법 중의 이미지 처리의 흐름 모식도이다.
도 6은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다.
도 7은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(2)이다.
도 8은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(3)이다.
도 9는 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(4)이다.
도 10은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(5)이다
도 11은 본 출원의 실시예에 의해 제공된 전자 기기의 구조 모식도이다.
도 2는 본 출원의 실시예에 의해 제공된 이미지 조명 효과 모식도이다.
도 3은 본 출원의 실시예에 의해 제공된 얼굴 마스크 맵 모식도이다.
도 4는 본 출원의 실시예에 의해 제공된 이미지 조명 방법의 흐름 모식도(2)이다.
도 5는 본 출원의 실시예에 의해 제공된 이미지 조명 방법 중의 이미지 처리의 흐름 모식도이다.
도 6은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다.
도 7은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(2)이다.
도 8은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(3)이다.
도 9는 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(4)이다.
도 10은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도(5)이다
도 11은 본 출원의 실시예에 의해 제공된 전자 기기의 구조 모식도이다.
이하, 도면 및 실시예를 참조하여, 본 출원을 더 상세히 설명한다. 이해해야 할 것은, 본 명세서에 설명된 구체적 실시예는 다만 본 출원을 해석하기 위한 것일 뿐, 본 출원을 한정하기 위한 것이 아니다.
일반적으로 사용자는 휴대용 단말 장치（휴대폰, 태블릿, 팔찌 등）의 카메라를 사용하여 단체 촬영 및 셀피(selfie)를 수행한다. 휴대용 단말 장치의 카메라 픽셀이 끊임없이 높아짐에 따라, 점점 더 많은 사용자는 단말 장치를 사용하여 인물 이미지 촬영을 수행하며, 이상적인 인물 이미지 촬영 효과를 얻기 위해 인물 이미지 촬영으로부터 얻은 이미지에 대해 미화를 수행한다. 하지만, 이상적인 인물 이미지 촬영에는 전문적인 조명이 필요하며, 얼굴에 적절한 양의 빛을 적용하여 더 좋은 촬영 효과를 얻어야 하지만, 실제 대부분 촬영 정경에서는 이상적인 조명 환경이 이루어지기 어렵기 때문에, 일반적으로 실제 촬영으로부터 얻어진 이미지 중의 인물 이미지는 얼굴 부분이 어둡고, 입체 효과가 부족하며, 얼굴 부분의 빛이 고르지 않는 등 문제가 존재한다.
관련 기술 중, 일반적으로 촬영 완성 후 얻어진 인물 이미지 사진에 따라, 인물 이미지에 대해 3D 모델링을 수행하여, 인물 이미지 상의 조명을 조정하며, 이미지를 렌더링하여, 조명 후의 이미지를 획득한다. 하지만, 인물 이미지 모델링은 얼굴 인식의 영향을 많이 받으며, 얼굴 인식이 불정확할 경우, 모델링 오차도 크다. 따라서, 관련 기술 중의 이미지 조명 방안은 복잡하고, 효율이 낮다.
본 출원의 실시예는 상기 문제점을 해결하기 위해, 조명 효과가 우수한 이미지 조명 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
도 1은 본 출원의 실시예에 의해 제공된 이미지 조명 방법의 흐름 모식도이며, 상기 방법은 카메라를 구비한 임의의 단말 장치에 적용될 수 있으며, 컴퓨터, 서버에도 적용될 수 있고, 상기 방법의 실행 대상은 카메라를 구비한 핸드폰과 같은 단말 장치일 수 있다. 도 1에 도시된 바와 같이, 이미지 조명 방법은 다음과 같은 단계를 포함한다.
단계 S101에 있어서, 초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정한다.
단계 S102에 있어서, 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득한다.
예시적으로, 초기 이미지는 카메라 촬영을 통해 획득한 이미지일 수 있다.
단계 S103에 있어서, 컨볼루션 뉴럴 네트워크에 의해, 국소 특징 정보 및 전역 특징 정보에 기반하여, 상기 초기 이미지의 융합 특징 정보를 획득한다.
단계 S104에 있어서, 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득한다.
예시적으로, 단계 S104는 단계 S105 전에 실행되며, 단계 S101 내지 단계 S103과는 엄격한 선후 실행 관계가 존재하지 않는다.
단계 S105에 있어서, 융합 특징 정보, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 기반하여, 초기 이미지의 양방향 그리드 매트릭스를 획득한다.
예시적으로, 본 출원의 실시예는 초기 이미지를 훈련된 컨볼루션 뉴럴 네트워크에 입력하여, 초기 이미지의 양방향 그리드 매트릭스를 얻는다.
예시적으로, 본 출원의 실시예에 의해 제공된 이미지 조명 방법을 실행하기 전에, 본 출원의 실시예는 라벨 이미지를 사용하여 컨볼루션 뉴럴 네트워크을 훈련시켜, 훈련된 컨볼루션 뉴럴 네트워크를 얻는 단계를 더 포함한다. 라벨 이미지는 원본 인물 이미지 및 조명 후의 인물 이미지를 포함한다. 라벨 이미지를 사용하여 훌련시켜 얻은 컨볼루션 뉴럴 네트워크는 임의의 인물 이미지에 대한 조명을 실현할 수 있다.
일 실시예에 있어서, 인물 이미지의 조명 타입에는 컨투어 조명, 스튜디오 조명, 무대 조명, 단색광, 2 색광 또는 다색광 등이 포함된다. 도 2는 본 출원의 실시예에 의해 제공된 이미지 조명 효과 모식도이다. 컨투어 조명 발광 효과 처리 후의 인물 이미지는 조명이 없는 인물 이미지에 비해, 얼굴 오관이 더욱 입체적이다. 스튜디오 조명 발광 효과 처리 후의 인물 이미지는 조명이 없는 인물 이미지에 비해, 얼굴 빛이 더 풍부하고 균일하다. 상이한 조명 타입에 대응하여, 상이한 라벨 이미지를 갖고, 상이한 라벨 이미지를 사용하여 컨볼루션 뉴럴 네트워크에 대해 훈련을 수행하여, 상이한 조명 타입에 대응하는 컨볼루션 뉴럴 네트워크를 얻는다. 초기 이미지에 대해 컨투어 조명 타입의 조명을 수행하고자 할 경우, 컨투어 조명 타입에 대응하는 컨볼루션 뉴럴 네트워크가 대응되게 사용된다. 초기 이미지에 대해 스튜디오 조명 타입의 조명을 수행하고자 할 경우, 스튜디오 조명 타입에 대응하는 컨볼루션 뉴럴 네트워크가 대응되게 사용된다. 실제 응용에 있어서, 인물 이미지에 대한 조명 타입에는 기타 타입도 포함될 수 있다.
일 실시예에 있어서, 초기 이미지 및 초기 이미지의 얼굴 마스크 맵을 동시에 컨볼루션 뉴럴 네트워크에 입력할 수 있다.
예시적으로, 얼굴 마스크 맵은 얼굴 인식 알고리즘을 사용하여 초기 이미지에 대해 얼굴 인식을 수행하여 얻거나, 휴대폰과 같은 단말 장치에 자체 구비된 얼굴 프레임 맵일 수 있다. 도 3은 본 출원의 실시예에 의해 제공된 얼굴 마스크 맵 모식도이다. 도 3의 왼쪽 부분에 도시된 바와 같이, 얼굴 마스크 맵에는 일반적으로 얼굴의 눈썹, 눈, 코, 입 및 얼굴 윤곽 등의 정보가 포함된다. 얼굴 마스크 맵 및 초기 이미지를 컨볼루션 뉴럴 네트워크에 동시에 입력하여, 얼굴에 대한 조명 효과를 향상시킬 수 있다.
일 실시예에 있어서, 본 출원의 각 실시예에서의 얼굴 마스크 맵은 또한 얼굴의 코 섀도우 정보, 코 윙 정보, 코 팁 정보, 뺨 정보, 템플 정보, 피부색 타입 정보 중 적어도 하나를 포함한다. 도 3의 오른쪽에 도시된 바와 같이, 상기 정보를 포함하는 얼굴 마스크 맵을 얼굴 상세 마스크 맵이라 한다. 정보가 보다 상세한 얼굴 마스크 맵을 획득함으로써, 상이한 피부색 사용자에 대한 얼굴 조명 효과가 더 우수할 수 있다.
가능한 실시예에 있어서, 단계 S102에서의 초기 이미지를 컨볼루션 뉴럴 네트워크의 특징 추출 계층에 입력하는 것을 실행하기 전에, 초기 이미지의 얼굴 상세 마스크 맵에 따라 초기 이미지의 휘도 컴포넌트 맵에 대해 얼굴 보정을 수행하여, 보정 후의 이미지를 얻을 수 있다. 다음 보정 후의 이미지를 컨볼루션 뉴럴 네트워크에 입력하거나, 또는 보정 후의 이미지 및 얼굴 마스크 맵을 컨볼루션 뉴럴 네트워크에 동시에 입력한다.
예시적으로, 임의의 조명 타입의 컨볼루션 뉴럴 네트워크에 대해, 본 실시예의 컨볼루션 뉴럴 네트워크는 특징 추출 계층, 융합 계층 및 풀링 계층을 포함한다.
실제 응용에 있어서, 특징 추출 계층은 컨볼루션 뉴럴 네트워크에 입력된 이미지에 대해 컨볼루션(Convolution)을 수행하여, 이미지의 하위 계층급 특징 및 고위 계층급 특징을 추출하기 위한 것이다. 하위 계층급 특징은 일반적으로 이미지의 가장 자리, 곡선 등과 같은 특징이며, 고위 계층급 특징에 대응되는 것은 일반적으로 이미지의 그래픽, 텍스트 등과 같은 특징이다.
본 실시예에 기반하여, 컨볼루션 뉴럴 네트워크의 특징 추출 계층을 상세하게 설명한다. 예시적으로, 특징 추출 계층은 하위 계층급 특징 추출 계층 및 고위 계층급 특징 추출 계층을 포함한다. 고위 계층급 특징 추출 계층은 국소 특징 추출 계층 및 전역 특징 추출 계층을 포함한다. 이에 대응하여, 상기 단계 S102에서의 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
초기 이미지를 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 초기 이미지의 하위 계층급 특징 정보를 획득하는 단계를 포함한다.
예시적으로, 우선, 초기 이미지를 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 이미지의 하위 계층급 특징 정보를 획득한다. 예시적으로, 하위 계층급 특징 추출 계층은 8 개의 컨볼루션 계층을 포함하며, 하위 계층급 특징 추출 계층을 통과한 후 얻은 하위 계층급 특징 정보는 특징 매트릭스이고, 특징 매트릭스의 크기가 64 Х 64이며, 채널 번호가 coeff*gd*(2n_conv)이다. 여기서, coeff는 기설정 파라미터이며, 예시적으로 1일 수 있고, gd는 양방향 그리드 깊이이며, 예시적으로 8일 수 있고, n_conv은 컨볼루션 계층 수이며, 예시적으로 8일 수 있다. 이에 대응하여, 채널 번호는 예시적으로 1*8*28=512일 수 있다.
일 실시예에 있어서, 본 출원의 각 실시예에서 컨볼루션 뉴럴 네트워크의 입력 크기, 컨볼루션 계층 수, 양방향 그리드 크기 및 깊이는 모두 컨볼루션 뉴럴 네트워크의 성능 및 효과 요구에 따라 자유롭게 조정될 수 있다.
예시적으로, 컨볼루션 뉴럴 네트워크의 입력, 즉, 초기 이미지의 크기는 64 Х 64 내지 512 Х 512 사이일 수 있으며, 하위 계층 특징 추출 컨볼루션 계층 수는 log2（in_hw/g_hw） 이상이다. 여기서, in_hw는 512와 같은 컨볼루션 뉴럴 네트워크의 입력 이미지의 변의 길이이며, g_hw는 32와 같은 초기 이미지의 컨볼루션 뉴럴 네트워크에 의해 획득된 양방향 그리드의 변의 길이이다. 컨볼루션 뉴럴 네트워크 입력 이미지의 사이즈를 제어하여 양방향 그리드 크기를 조정할 수 있다. 실제 응용에 있어서, 양방향 그리드 깊이는 일반적으로 1 - 128 사이이다.
초기 이미지의 하위 계층급 특징 정보를 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층에 입력하여, 초기 이미지의 국소 특징 정보를 획득한다.
초기 이미지의 하위 계층급 특징 정보를 컨볼루션 뉴럴 네트워크의 전역 특징 추출 계층에 입력하여, 초기 이미지의 전역 특징 정보를 획득한다.
예시적으로, 초기 이미지의 하위 계층급 특징 정보를 추출한 후, 초기 이미지의 하위 계층급 특징 정보를 컨볼루션 뉴럴 네트워크의 고위 계층급 특징 추출 계층에 입력한다. 실제 응용에 있어서, 초기 이미지의 하위 계층급 특징 정보를 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층 및 전역 특징 추출 계층에 동시에 입력하여, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득한다. 예시적으로, 초기 이미지의 전역 특징을 추출하여 초기 이미지의 전반적인 조명 효과가 개선되도록 도우며, 추출된 국소 특징은 초기 이미지의 얼굴 국소 세부 사항을 개선하도록 도움이 된다.
예시적으로, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 추출한 후, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 컨볼루션 뉴럴 네트워크의 융합 계층에 입력하여, 초기 이미지의 양방향 그리드 매트릭스를 획득한다. 실제 응용에 있어서, 양방향 그리드 매트릭스는 공간 도메인（space） 및 값 도메인（range）인 두가지 차원에서의 이미지에 대한 샘플링이다. 양방향 그리드 매트릭스에 있어서, 각각의 그리드에서 하나의 이미지 변환 연산자를 제공하며, 이의 원리는 공간 도메인과 값 도메인이 근접된 영역 내에서, 유사한 입력 이미지의 휘도는 연산자를 통해 변환된 후에도 유사해야 하므로, 각각의 그리드에서의 조작 연산자는 입력/출력의 대략적 곡선, 즉, 하나의 아핀 모델로 볼 수 있다. 그리드는 이미지의 색상을 변환시키기 위한 것이며, 각각의 그리드는, 예를 들어, 이미지의 파란색을 더 파랗게 하여, 하늘 효과를 더 좋게 하며; 잔디의 색상을 더 푸르게 하는 등 상이한 기능을 가진다. 예시적으로, 양방향 그리드는 16 Х 16 개의 그리드를 포함할 수 있으며, 각각의 그리드에는 8 개의 채널이 포함될 수 있고, 이미지의 그레이 스케일 값은 0-255일 수 있으며, 각각의 채널은 예시적으로 32 개의 색상 레벨을 포함할 수 있고, 예를 들어, 하나의 채널에는 그리드의 그레이 스케일 값 범위가 0-31이고, 다른 하나의 채널에는 그리드의 그레이 스케일 값 범위가 32-63이다. 이미지의 색상 값의 범위가 집중될 수 있다는 것을 고려하여, 예를 들어, 얼굴의 색도 범위가 0-255 사이에 균일하게 분포되지 않기 때문에, 본 실시예에서 각각의 채널의 색상 레벨 범위에 대해 다시 한정하게 된다.
예시적으로, 초기 이미지의 양방향 그리드 매트릭스를 획득하는 경우, 초기 이미지의 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 참조한다. 여기서, 최대 풀링 결과 맵은 각 샘플링 영역 내의 최대 값을 지시하기 위한 것이며, 최소 풀링 결과 맵은 각 샘플링 영역 내의 최소 값을 지시하기 위한 것이다. 초기 이미지의 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라 획득된 양방향 그리드 매트릭스에서의 각각의 그리드의 8 개의 채널의 색상 레벨 범위는 자아 적응적으로 초기 이미지 중의 값 도메인 범위를 반영할 수 있어, 이미지 조명 효과를 개선한다.
예시적으로, 초기 이미지의 휘도 컴포넌트 맵을 컨볼루션 뉴럴 네트워크의 풀링 계층에 입력하여, 휘도 컴포넌트 맵에 대해 최대 풀링 및 최소 풀링을 동시에 수행함으로써, 초기 이미지의 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득한다.
일 실시예에 있어서, 컨볼루션 뉴럴 네트워크의 계산 데이터의 양을 줄이기 위해, 초기 이미지를 컨볼루션 뉴럴 네트워크에 입력하기 전에, 우선 라플라시안 피라미드 알고리즘을 사용하여 초기 이미지에 대해 축소 처리를 수행할 수 있다. 축소 후의 이미지는 더 적은 양의 데이터 가지며, 이미지 조명의 처리 속도를 향상시킨다.
단계 S106에 있어서, 양방향 그리드 매트릭스에 따라 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득한다.
여기서, 목표 이미지는 초기 이미지에 대해 조명 동작 타입에 따라 조명한 후의 이미지이다.
가능한 구현 방법에 있어서, 양방향 그리드 매트릭스에 따라 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계는,
양방향 그리드 매트릭스, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 아핀 변환 매트릭스를 획득하는 단계를 포함한다.
예시적으로, 초기 이미지의 양방향 그리드 매트릭스를 획득한 후, 초기 이미지의 휘도 컴포넌트 맵을 참조 맵（guide）으로 하여, 휘도 컴포넌트 맵의 픽셀에 대해 공간 도메인 및 값 도메인의 샘플링을 수행한 다음, 이의 그리드에서의 위치를 찾아, 양방향 그리드의 차이 값을 생성하여, 아핀 변환 매트릭스를 얻으며, 반사 변화 매트릭스는 8 개의 채널을 포함한다.
일 실시예에 있어서, 초기 이미지에 대해 비선형 아핀 변환, 및 컨볼루션을 수행하여 얻은 단일 채널 맵을 얻어 참조 맵(guide)으로 할 수 있다.
아핀 변환 매트릭스에 따라, 초기 이미지에 대해 아핀 변환을 수행하여, 목표 이미지를 획득한다.
예시적으로, 아핀 변환 매트릭스를 획득한 후, 아핀 변환 매트릭스에 따라, 초기 이미지에 대해 아핀 변환을 수행하면, 목표 이미지를 획득할 수 있다.
다른 가능한 구현 방식에 있어서, 컨볼루션 뉴럴 네트워크의 깊이, 너비 및 컨볼루션 계층 수는 모두 상기 실시예에서의 컨볼루션 뉴럴 네트워크의 깊이, 너비 및 컨볼루션 계층 수보다 작다. 초기 이미지의 양방향 그리드 매트릭스의 크기는 예시적으로 16 Х 16일 수 있으며, 깊이는 4이다.
이 경우, 초기 이미지를 컨볼루션 뉴럴 네트워크에 입력하는 단계는,
초기 이미지의 휘도 컴포넌트 맵을 컨볼루션 뉴럴 네트워크에 입력하는 것일 수 있다.
초기 이미지의 휘도 컴포넌트 맵만을 컨볼루션 뉴럴 네트워크에 입력함으로써, 컨볼루션 뉴럴 네트워크의 특징 추출 속도를 개선한다.
이에 대응하여, 양방향 그리드 매트릭스에 따라 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계는,
양방향 그리드 매트릭스, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 잔차 매트릭스를 얻는 단계를 포함한다.
초기 이미지의 잔차 매트릭스는 단일 채널이다.
잔차 매트릭스 및 초기 이미지에 따라, 목표 이미지를 얻는다.
일 실시예에 있어서, 잔차 매트릭스 및 초기 이미지에 따라, 목표 이미지를 획득하는 단계는,
잔차 매트릭스 및 초기 이미지의 휘도 컴포넌트 맵의 동일한 위치에서의 픽셀 포인트의 값을 가산하여, 목표 이미지를 획득하는 단계를 포함한다.
이러한 구현 방식에 있어서, 이미지 조명 알고리즘은 간단하고, 계산량이 적으며, 이미지에 대해 촬영하는 동시에, 이미지의 실시간 조명을 실현할 수 있어, 사용자가 디스플레이 스크린을 통해 이미지 조명 효과를 실시간으로 간편하게 볼 수 있다.
일 실시예에 있어서, 초기 이미지를 컨볼루션 뉴럴 네트워크에 입력하기 전에, 우선, 라플라시안 피라미드 알고리즘을 사용하여 초기 이미지에 대해 축소 처리를 수행한다. 이에 대응하여, 획득된 목표 이미지는 축소 후의 조명 후의 이미지이며, 본 출원의 실시예에 의해 제공된 이미지 조명 방법은 또한,
라플라시안 피라미드 알고리즘을 사용하여 목표 이미지에 대해 확대 처리를 수행하여, 초기 이미지와 사이즈가 동일한 조명 후의 이미지를 획득하는 단계를 포함해야 한다.
본 출원의 실시예는, 초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정하는 단계; 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계; 컨볼루션 뉴럴 네트워크에 의해, 국소 특징 정보 및 전역 특징 정보에 기반하여, 초기 이미지의 융합 특징 정보를 획득하는 단계; 컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득하는 단계; 융합 특징 정보, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 기반하여, 초기 이미지의 양방향 그리드 매트릭스를 획득하는 단계; 양방향 그리드 매트릭스에 따라 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계 - 목표 이미지는 초기 이미지에 대해 조명 동작 타입에 따라 조명한 후의 이미지임 - 를 포함하는 이미지 조명 방법을 제공한다. 본 실시예에 의해 제공된 이미지 조명 방법은, 딥 러닝 컨볼루션 뉴럴 네트워크기술을 사용하고, 컨볼루션 뉴럴 네트워크를 사용하여 초기 이미지에 대해 특징 추출을 수행하며, 초기 이미지의 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 자아 적응형 양방향 그리드 매트릭스를 획득하고, 양방향 그리드 매트릭스에 따라, 초기 이미지의 목표 이미지를 획득하여, 이미지 조명 효과를 더욱 자연스럽게 한다.
상기 실시예에 기반하여, 본 출원의 실시예는 또한 이미지 조명 방법을 제공한다. 도 4는 본 출원의 실시예에 의해 제공된 이미지 조명 방법의 흐름 모식도이다. 본 실시예에서는 초기 이미지에 대해 스포트 라이트 발광 효과를 증가한 이미지 조명 방법（즉, 도 2에 도시된 발광 효과 맵 중의 무대 조명）을 제공한다. 도 4에 도시된 바와 같이, 본 실시예에 의해 제공된 이미지 조명 방법은, 초기 이미지에 대해 도 1에 도시된 바와 같은 실시예의 단계 S101 내지 단계 S106을 실행한 후 획득된 목표 이미지에 대한 이미지 조명 방법은 또한,
목표 이미지의 인물 이미지 분할 맵을 획득하며, 목표 이미지에 따라, 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵을 획득하고; 초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵을 획득하는 단계 S401을 포함한다.
예시적으로, 조명 동작 타입에는 컨투어 조명, 스튜디오 조명, 단색광, 2 색광 또는 다색광을 포함한다.
본 출원의 실시예의 다른 일 측면에서는 또한 이미지 조명 방법을 제공하며, 임의의 인물 이미지 맵에 대해, 도 4에 도시된 이미지 조명 방법을 실행하며, 스포트 라이트 발광 효과가 증가된 조명 맵을 획득할 수 있다.
예시적으로, 초기 이미지의 목표 이미지를 획득한 후, 조명 후의 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 분할 맵을 획득한다. 예시적으로, 컨투어 조명 또는 스튜디오 조명을 구비한 조명 후의 이미지를 사용할 수 있다. 목표 이미지 중의 인물 이미지 세부 사항은 더 풍부하고, 특징은 더 선명하며, 원본 초기 이미지에 비해 인물 이미지 분할을 더 쉽게 진행한다.
일 실시예에 있어서, 목표 이미지의 인물 이미지 분할 맵을 획득하는 단계는,
목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하는 단계를 포함한다.
예시적으로, 도 5는 본 출원의 실시예에 의해 제공된 이미지 조명 방법 중의 이미지 처리의 흐름 모식도이며, 도 5에 도시된 바와 같이, 조명 후의 이미지 S에 대해, 인물 이미지 분할 기술을 사용하여, 조명 후의 이미지S의 인물 이미지 전경 맵
을 획득하고, 인물 이미지 전경 맵
중, 인체에 속하는 부분은 제1 값으로 값을 정하며, 인체에 속하지 않는 부분, 예를 들어, 배경의 부분은 제2 값으로 값을 정하고. 실제 응용에 있어서, 제1 값은 1이고, 제2 값은 0일 수 있다.
일 실시예에 있어서, 목표 이미지 또는 초기 이미지의 깊이 정보에 기반하여, 인물 이미지 전경 맵을 획득할 수도 있다. 실제 응용에 있어서, 목표 이미지 또는 초기 이미지의 깊이 정보에 기반하여, 인물 이미지 분할 알고리즘을 사용하여 인물 이미지 전경 맵을 획득할 수도 있다.
목표 이미지에 대해 키포인트 추출 기술을 사용하여 인물 이미지 얼굴 맵을 획득한다.
예시적으로, 종래 인물 이미지 분할 기술에 존재할 수 있는 얼굴 분할이 불정확한 문제점을 고려하여, 키포인트 추출 기술을 사용하여 목표 이미지S의 인물 이미지 얼굴 맵을 획득한다. 일 실시예에 있어서, 인물 이미지 얼굴 맵은 도 1에 도시된 실시예의 인물 이미지 얼굴 맵
일 수 있다. 인물 이미지 얼굴 맵
중, 얼굴에 속하는 부분의 값은 제3 값으로 값을 정하며, 얼굴에 속하지 않는 부분은 제4 값으로 값을 정하고. 실제 응용에 있어서, 제3 값은 1이며, 제4 값은 0일 수 있다.
일 실시예에 있어서, 목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하는 단계 및 목표 이미지에 대해 키포인트 추출 기술을 사용하여 인물 이미지 얼굴 맵을 획득하는 단계는 동시에 실행될 수 있고, 우선 순위로 실행될 수도 있으며, 엄격한 선후 시간 관계가 존재하지 않는다.
인물 이미지 전경 맵 및 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득한다.
예시적으로, 인물 이미지 전경 맵
및 인물 이미지 얼굴 맵
를 획득한 후, 인물 이미지 전경 맵
및 인물 이미지 얼굴 맵
에 따라, 인물 이미지 분할 맵을 획득한다.
예시적으로, 인물 이미지 전경 맵
에 얼굴 범위가 정확하지 않는 것 및 인물 이미지 얼굴 맵
에 인체의 기타 부분 정보가 부족한 것을 고려하여, 인물 이미지 전경 맵
를 인물 이미지 얼굴 맵
와 결합하여, 정확한 인물 이미지 분할 맵을 획득할 수 있다.
일 실시예에 있어서, 인물 이미지 분할 맵을 획득하는 단계는,
인물 이미지 전경 맵
중의 모든 픽셀 포인트를 순회하고, 인물 이미지 전경 맵
중의 어느 하나의 픽셀 포인트
에 대해, 인물 이미지 얼굴 맵
중의 동일한 위치에서의 픽셀 포인트
가 인물 이미지 부분에 속하면, 픽셀 포인트
및 픽셀 포인트
의 값이 모두 1인지 여부를 판단하며; 1이 아니면, 인물 이미지 전경 맵
중의 픽셀 포인트
의 값이 0으로 수정되는 단계;
인물 이미지 분할 맵을 얻는 단계; 를 포함하며,
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, N은 목표 이미지의 총 행 수이며, M은 목표 이미지의 총 열 수이다.
예시적으로, 인물 이미지 분할 맵에서, 값이 1인 픽셀 포인트는 인체에 속하고, 값이 0인 픽셀 포인트는 배경 영역에 속한다.
예시적으로, 초기 이미지에 대해 스포트 라이트 발광 효과를 추가할 경우, 인체 부분에 강한 조명이 필요하며, 배경 부분도 휘도를 낮추어야 한다. 동시에, 얼굴 부분에 대해서도 얼굴의 하이라이트 영역 및 그림자 영역에 따라 다른 강도의 발광 효과를 각각 추가한다.
실제 응용에 있어서, 초기 이미지의 얼굴 마스크 맵에 따라, 스포트 라이트 발광 효과 가중치 맵W1을 획득할 수 있다. 예시적으로, 스포트 라이트 발광 효과 가중치 맵W1 중의 각 픽셀 포인트의 값의 범위는 [0, 1]이며, 각 픽셀 포인트의 값은 초기 이미지의 동일한 위치에서의 픽셀 포인트의 조명 강도를 표시한다. 예시적으로, 스포트 라이트 발광 효과 가중치 맵W1은 일반적으로 한 쌍의 가우시안 퍼지 솔리드 타원이다.
일 실시예에 있어서, 목표 이미지의 인물 이미지 분할 맵을 획득한 후, 목표 이미지를 가이드 맵（guide）으로서 사용하여, 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵W2를 얻으며, 초기 가중치 맵W2의 가장 자리는 목표 이미지 중의 인물 이미지의 가장 자리와 더 잘 맞물린다.
단계 S402에 있어서, 초기 스포트 라이트 발광 효과 가중치 맵W1 및 초기 가중치 맵W2에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵W를 획득한다.
예시적으로, 초기 스포트 라이트 발광 효과 가중치 맵W1 및 초기 가중치 맵W2 중의 동일한 위치에서의 픽셀 포인트의 값을 곱하여, 인물 이미지 스포트 라이트 발광 효과 가중치 맵 중의 각 픽셀 포인트의 값을 얻을 수 있다.
단계 S403에 있어서, 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득한다.
예시적으로, 인물 이미지 스포트 라이트 발광 효과 가중치 맵에 따라 목표 이미지에 대해 조명을 수행하여, 목표 이미지에 스포트 라이트 발광 효과가 증가되어, 스포트 라이트 발광 효과가 증가된 이미지를 얻는다.
일 실시예에 있어서, 스포트 라이트 발광 효과가 증가되는 단계는,
인물 이미지 스포트 라이트 발광 효과 가중치 맵W 및 목표 이미지
에 따라, 다음 공식(1)을 이용하여 스포트 라이트 발광 효과가 증가된 이미지
를 획득하는 단계;
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 목표 이미지의 총 행 수이며, M은 목표 이미지의 총 열 수이다.
예시적으로, 목표 이미지
는, 일반적으로 각각 [:, :, 1], [:, :, 2], [:, :, 3]으로 표시될 수 있는3 개의 컴포넌트 이미지를 포함하며, 예를 들어, 이미지 포맷이 RGB 포맷일 경우, 이미지
의 컴포넌트 이미지 [:, :, 1], [:, :, 2], [:, :, 3]는 각각 이미지
의 적색 컴포넌트 맵, 녹색 컴포넌트 맵 및 청색 컴포넌트 맵을 표시할 수 있다. 일 실시예에 있어서, 이미지
의 포맷은 YcbCr 등일 수도 있다.
본 출원의 실시예에 의해 제공된 이미지 조명 방법은, 목표 이미지의 인물 이미지 분할 맵을 획득하여, 초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵을 획득하는 단계; 초기 스포트 라이트 발광 효과 가중치 맵 및 인물 이미지 분할 맵에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하는 단계; 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득하는 단계를 포함한다. 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하여, 인물 이미지 스포트 라이트 발광 효과 가중치 맵에 따라, 목표 이미지에 대해 조명을 수행하며, 스포트 라이트 발광 효과가 증가된 이미지를 획득함으로써, 스포트 라이트 발광 효과의 조명 효과를 향상시킬 수 있다.
본 출원의 실시예는 또한 동일한 또는 유사한 기술 특징과 기술 효과를 가진, 상기 도 1 내지 도 5의 실시예 중의 이미지 조명 방법을 실행하도록 구성된 이미지 조명 장치를 제공한다.
도 6은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다. 도 6에 도시된 바와 같이, 이미지 조명 장치는,
초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정하도록 구성된 컨볼루션 뉴럴 네트워크 획득 모듈(601);
컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 특징 정보 획득 모듈(602);
컨볼루션 뉴럴 네트워크에 의해, 국소 특징 정보 및 전역 특징 정보에 기반하여, 초기 이미지의 융합 특징 정보를 획득하도록 구성된 융합 특징 정보 획득 모듈(603);
컨볼루션 뉴럴 네트워크에 의해, 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득하도록 구성된 풀링 결과 맵 획득 모듈(604);
융합 특징 정보, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 기반하여, 초기 이미지의 양방향 그리드 매트릭스를 획득하도록 구성된 양방향 그리드 매트릭스 획득 모듈(605);
양방향 그리드 매트릭스에 따라 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하도록 구성된 - 목표 이미지는 초기 이미지에 대해 조명 동작 타입에 따라 조명한 후의 이미지임 - 목표 이미지 획득 모듈(606)을 포함한다.
일 실시예에 있어서, 목표 이미지 획득 모듈(606)은 또한,
양방향 그리드 매트릭스, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 아핀 변환 매트릭스를 획득하며;
아핀 변환 매트릭스에 따라, 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하도록 구성된다.
일 실시예에 있어서, 특징 정보 획득 모듈(602)은 또한,
초기 이미지 및 초기 이미지의 얼굴 마스크 맵을 컨볼루션 뉴럴 네트워크에 입력하여, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된다.
예시적으로, 도 6에 도시된 실시예에 기반하여, 본 출원의 실시예는 또한 이미지 조명 장치를 제공한다. 도 7은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다. 도 7에 도시된 바와 같이, 이미지 조명 장치 중의 특징 정보 획득 모듈(602)은,
초기 이미지를 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 초기 이미지의 하위 계층급 특징 정보를 획득하도록 구성된 하위 계층급 특징 정보 획득 유닛(6021);
초기 이미지의 하위 계층급 특징 정보를 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층에 입력하여, 초기 이미지의 국소 특징 정보를 획득하도록 구성된 국소 특징 정보 획득 유닛(6022);
초기 이미지의 하위 계층급 특징 정보를 컨볼루션 뉴럴 네트워크의 전역 특징 추출 계층에 입력하여, 초기 이미지의 전역 특징 정보를 획득하도록 구성된 전역 특징 정보 획득 유닛(6023)을 포함한다.
예시적으로, 도 6 또는 도 7에 도시된 실시예에 기반하여, 본 출원의 실시예는 또한 이미지 조명 장치를 제공한다. 도 8은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다. 도 8에 도시된 바와 같이, 이미지 조명 장치는 또한,
초기 이미지의 얼굴 마스크 맵에 따라, 초기 이미지의 휘도 컴포넌트 맵에 대해 얼굴 보정을 수행하여, 보정 후의 이미지를 얻도록 구성된 보정 모듈(600);
또한, 컨볼루션 뉴럴 네트워크에 의해, 보정 후의 이미지에 기반하여, 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 특징 정보 획득 모듈(602)을 포함한다.
일 실시예에 있어서, 도 8에 도시된 바와 같이, 이미지 조명 장치는 또한,
초기 이미지에 대해 축소 처리를 수행하도록 구성된 축소 모듈(607)을 포함한다.
일 실시예에 있어서, 도 8에 도시된 바와 같이, 이미지 조명 장치는 또한,
목표 이미지에 대해 확대 처리를 수행하여, 초기 이미지와 사이즈가 동일한 목표 이미지를 획득하도록 구성된 확대 모듈(608)을 포함한다.
예시적으로, 도 6 내지 도 8 중 어느 하나의 실시예에 기반하여, 본 출원의 실시예는 또한 이미지 조명 장치를 제공한다. 도 9는 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다. 도 9에 도시된 바와 같이, 이미지 조명 장치는 또한,
목표 이미지의 인물 이미지 분할 맵을 획득하도록 구성된 인물 이미지 분할 맵 획득 모듈(901);
목표 이미지에 따라, 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵을 획득하도록 구성된 초기 가중치 맵 획득 모듈(902);
초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵을 획득하도록 구성된 초기 스포트 라이트 발광 효과 가중치 맵 획득 모듈(903);
초기 스포트 라이트 발광 효과 가중치 맵 및 초기 가중치 맵에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하도록 구성된 인물 이미지 스포트 라이트 발광 효과 가중치 맵 획득 모듈(904);
인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득하도록 구성된 스포트 라이트 발광 효과 조명 모듈(905)을 포함한다.
일 실시예에 있어서, 스포트 라이트 발광 효과 조명 모듈(905)은 또한,
인물 이미지 스포트 라이트 발광 효과 가중치 맵W 및 목표 이미지
에 따라, 다음 공식을 이용하여 스포트 라이트 발광 효과가 증가된 이미지
를 획득하도록 구성되며;
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, N은 목표 이미지의 총 행 수이며, M은 목표 이미지의 총 열 수이다.
예시적으로, 도 9에 도시된 실시예에 기반하여, 본 출원의 실시예는 또한 이미지 조명 장치를 제공한다. 도 10은 본 출원의 실시예에 의해 제공된 이미지 조명 장치의 구조 모식도이다. 도 10에 도시된 바와 같이, 이미지 조명 장치 중의 인물 이미지 분할 맵 획득 모듈(901)은,
목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하도록 구성된 인물 이미지 전경 맵 획득 유닛(11);
목표 이미지에 대해 키포인트 추출을 수행하여, 인물 이미지 얼굴 맵을 획득하도록 구성된 인물 이미지 얼굴 맵 획득 유닛(12);
인물 이미지 전경 맵 및 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하도록 구성된 인물 이미지 분할 맵 획득 유닛(13).
일 실시예에 있어서, 인물 이미지 분할 맵 획득 유닛(13)은 또한,
인물 이미지 전경 맵
중의 모든 픽셀 포인트를 순회하고, 인물 이미지 전경 맵
중의 어느 하나의 픽셀 포인트
에 대해, 인물 이미지 얼굴 맵
중의 동일한 위치에서의 픽셀 포인트
가 인물 이미지 부분에 속하면, 픽셀 포인트
및 픽셀 포인트
의 값이 모두 1인지 여부를 판단하며; 1이 아니면, 인물 이미지 전경 맵
중의 픽셀 포인트
의 값이 0으로 수정되고;
인물 이미지 분할 맵을 얻도록 구성되며;
여기서, i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, N은 목표 이미지의 총 행 수이며, M은 목표 이미지의 총 열 수이다.
일 실시예에 있어서, 얼굴 마스크 맵은 또한, 얼굴의 코 섀도우 정보, 코 윙 정보, 코 팁 정보, 뺨 정보, 템플 정보, 피부색 타입 정보 중 적어도 하나를 포함한다.
일 실시예에 있어서, 조명 동작 타입은, 컨투어 조명, 스튜디오 조명, 무대 조명, 단색광, 2 색광 또는 다색광을 포함한다.
일 실시예에 있어서, 목표 이미지 획득 모듈(606)은 또한,
양방향 그리드 매트릭스, 최대 풀링 결과 맵 및 최소 풀링 결과 맵에 따라, 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 잔차 매트릭스를 얻으며;
잔차 매트릭스 및 초기 이미지에 따라, 목표 이미지를 얻도록 구성된다.
일 실시예에 있어서, 목표 이미지 획득 모듈(606)은 또한,
잔차 매트릭스 및 초기 이미지의 휘도 컴포넌트 맵의 동일한 위치에서의 픽셀 포인트의 값을 가산하여, 목표 이미지를 획득하도록 구성된다.
본 출원의 실시예의 다른 일 측면은 또한 전자 기기를 제공하며, 도 11은 본 출원의 실시예에 의해 제공된 전자 기기의 구조 모식도이고, 도 11에 도시된 바와 같이, 상기 전자 기기는,
프로그램 명령어를 저장하도록 구성된 메모리(1101);
메모리 중의 프로그램 명령어를 호출하고 실행하여, 상기 도 1 내지 도 5에 도시된 실시예 중의 방법 단계를 실행하도록 구성된 프로세서(1102)를 포함한다.
본 출원의 실시예의 다른 일 측면은 또한 상기 도 1 내지 도 5에 도시된 실시예 중의 방법 단계를 실행하기 위한 컴퓨터 프로그램이 저장된 판독 가능한 저장 매체를 제공한다.
본 실시예 중의 장치와 전술한 실시예 중의 방법은 동일한 발명 구상에 기반한 두 가지 측면이며, 상기에서 이미 방법의 구현 프로세스에 대해 상세하게 설명하였기 때문에, 당업자는 전술한 설명에 따라, 본 실시 중의 시스템의 구조 및 실시 프로세스를 명확하게 이해할 수 있으며, 설명의 간결성을 위해 여기서 중복하여 설명하지 않는다.
본 출원에서 제공한 몇몇 실시예에서, 이해해야 할 것은, 개시된 시스템, 장치 및 방법은, 다른 방식으로 구현될 수 있다. 예를 들어, 상술한 장치 실시예는 다만 예시적인 것이며, 예를 들어, 상기 유닛의 분획은, 다만 논리 기능 분획일 뿐이고, 실제 구현 시에는 다른 분획 방식이 존재할 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 결합되거나 다른 시스템에 통합되거나, 또는 일부 특징이 무시되거나, 또는 실행되지 않을 수 있다. 한편, 도시된, 또는 논의된 상호 간의 커플링 또는 직접적 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛의 간접적 커플링 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수 있다.
본 출원의 명세서와 청구 범위 및 상기 도면의 용어 "제1", "제2", "제3", "제4" 등은 유사한 목표를 구별하기 위해 사용된 것이며, 특정 순서 또는 우선 순위를 설명하기 위한 것이 아니다. 이해해야 할 것은, 이렇게 사용된 데이터는, 본 명세서에서 기술된 실시예가 여기서 도시되거나 기술된 내용 이외의 순서로 실시될 수 있도록 적절한 상황에서 서로 교환될 수 있다. 또한, 용어 "포함하다" 및 "구비하다" 및 이들의 임의의 변형은, 비 배타적인 포함을 포괄하도록 의도된 것이며, 예를 들어, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 장치는 반드시 명확하게 열거된 단계 또는 유닛에 한정되는 것은 아니지만, 명확하게 열거되지 않거나 또는 이러한 프로세스, 방법, 제품 또는 장치에 고유된 다른 단계 또는 유닛을 포함할 수 있다.
당업자는 상기 각 방법 실시예의 전부 또는 일부 단계들의 구현이 프로그램 명령어와 관련된 하드웨어를 통해 완성될 수 있음을 이해할 것이다. 전술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 상기 프로그램이 실행될 때, 상기 각 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로 설명해야 할 것은, 상기 각 실시예는 다만 본 출원의 기술적 방안을 설명하기 위한 것뿐이지, 한정하려고 한 것은 아니며; 본 출원은 전술한 각 실시예에 참조하여 상세하게 설명되었지만, 당업자가 이해해야 할 것은, 전술한 각 실시예에 설명된 기술적 방안에 대해 수정하거나, 기술적 특징의 일부 부분 또는 전부를 동등하게 교체할 수 있으며; 이러한 수정 또는 교체는 대응되는 기술적 방안의 본질이 본 출원의 각 실시예의 기술적 방안의 범위를 벗어나게 하지 않는다.
Claims (32)
- 이미지 조명 방법으로서,
초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정하는 단계;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 국소 특징 정보 및 상기 전역 특징 정보에 기반하여, 상기 초기 이미지의 융합 특징 정보를 획득하는 단계;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득하는 단계;
상기 융합 특징 정보, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 기반하여, 상기 초기 이미지의 양방향 그리드 매트릭스를 획득하는 단계; 및
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계 - 상기 목표 이미지는 상기 초기 이미지에 대해 상기 조명 동작 타입에 따라 조명한 후의 이미지임 - 을 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항에 있어서,
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계는,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 아핀 변환 매트릭스를 획득하는 단계; 및
상기 아핀 변환 매트릭스에 따라, 상기 초기 이미지에 대해 아핀 변환을 수행하여 상기 목표 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항에 있어서,
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하는 단계는,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 잔차 매트릭스를 얻는 단계; 및
상기 잔차 매트릭스 및 상기 초기 이미지에 따라 상기 목표 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제3항에 있어서,
상기 잔차 매트릭스 및 상기 초기 이미지에 따라 상기 목표 이미지를 얻는 단계는,
상기 잔차 매트릭스 및 상기 초기 이미지의 휘도 컴포넌트 맵의 동일한 위치에서의 픽셀 포인트의 값을 가산하여, 상기 목표 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
상기 초기 이미지 및 상기 초기 이미지의 얼굴 마스크 맵을 상기 컨볼루션 뉴럴 네트워크에 입력하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
상기 초기 이미지를 상기 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 상기 초기 이미지의 하위 계층급 특징 정보를 획득하는 단계;
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층에 입력하여, 상기 초기 이미지의 국소 특징 정보를 획득하는 단계; 및
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 전역 특징 추출 계층에 입력하여, 상기 초기 이미지의 전역 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하기 전에, 상기 이미지 조명 방법은,
상기 초기 이미지의 얼굴 마스크 맵에 따라 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 얼굴 보정을 수행하여, 보정 후의 이미지를 얻는 단계를 더 포함하며,
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계는,
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 보정 후의 이미지에 기반하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하기 전에, 상기 이미지 조명 방법은,
상기 초기 이미지에 대해 축소 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제8항에 있어서,
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득한 후, 상기 이미지 조명 방법은,
상기 목표 이미지에 대해 확대 처리를 수행하여, 상기 초기 이미지와 동일한 사이즈의 목표 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득한 후, 상기 이미지 조명 방법은,
상기 목표 이미지의 인물 이미지 분할 맵을 획득하며, 상기 목표 이미지에 따라 상기 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵을 획득하고; 상기 초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵을 획득하는 단계;
상기 초기 스포트 라이트 발광 효과 가중치 맵 및 상기 초기 가중치 맵에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하는 단계; 및
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 상기 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제10항에 있어서,
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 상기 목표 이미지에 따라 스포트 라이트 발광 효과가 증가된 이미지를 획득하는 단계는,
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵W 및 상기 목표 이미지에 따라, 다음 공식을 이용하여 스포트 라이트 발광 효과가 증가된 이미지
를 획득하는 단계; 를 포함하며,
i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수인 것임을 특징으로 하는 이미지 조명 방법. - 제10항에 있어서,
상기 목표 이미지의 인물 이미지 분할 맵을 획득하는 단계는,
상기 목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하는 단계;
상기 목표 이미지에 대해 키포인트 추출을 수행하여, 인물 이미지 얼굴 맵을 획득하는 단계; 및
상기 인물 이미지 전경 맵 및 상기 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제12항에 있어서,
상기 인물 이미지 전경 맵 및 상기 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하는 단계는,
상기 인물 이미지 전경 맵중의 모든 픽셀 포인트를 순회하고, 상기 인물 이미지 전경 맵
중의 어느 하나의 픽셀 포인트
에 대해, 상기 인물 이미지 얼굴 맵
중의 동일한 위치에서의 픽셀 포인트
가 인물 이미지 부분에 속하면, 상기 픽셀 포인트
및 상기 픽셀 포인트
의 값이 모두 1인지 여부를 판단하며; 1이 아니면, 상기 인물 이미지 전경 맵
중의 픽셀 포인트
의 값을 0으로 수정하는 단계; 및
상기 인물 이미지 분할 맵을 얻는 단계; 를 포함하며,
i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수인 것을 특징으로 하는 이미지 조명 방법. - 제5항, 제7항 또는 제10항 중 어느 한 항에 있어서,
상기 얼굴 마스크 맵은 또한, 얼굴의 코 섀도우 정보, 코 윙 정보, 코 팁 정보, 뺨 정보, 템플 정보, 피부색 타입 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 조명 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 조명 동작 타입은 컨투어 조명, 스튜디오 조명, 무대 조명, 단색광, 2 색광 또는 다색광을 포함하는 것을 특징으로 하는 이미지 조명 방법. - 이미지 조명 장치으로서,
초기 이미지의 조명 동작 타입에 대응하는 컨볼루션 뉴럴 네트워크를 결정하도록 구성된 컨볼루션 뉴럴 네트워크 획득 모듈;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 특징 정보 획득 모듈;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 국소 특징 정보 및 상기 전역 특징 정보에 기반하여, 상기 초기 이미지의 융합 특징 정보를 획득하도록 구성된 융합 특징 정보 획득 모듈;
상기 컨볼루션 뉴럴 네트워크에 의해, 상기 초기 이미지의 휘도 컴포넌트 맵에 기반하여, 최대 풀링 결과 맵 및 최소 풀링 결과 맵을 획득하도록 구성된 풀링 결과 맵 획득 모듈;
상기 융합 특징 정보, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 기반하여, 상기 초기 이미지의 양방향 그리드 매트릭스를 획득하도록 구성된 양방향 그리드 매트릭스 획득 모듈; 및
상기 양방향 그리드 매트릭스에 따라 상기 초기 이미지에 대해 아핀 변환을 수행하여 목표 이미지를 획득하도록 구성된 목표 이미지 획득 모듈 - 상기 목표 이미지는 상기 초기 이미지에 대해 상기 조명 동작 타입에 따라 조명한 후의 이미지임 - 을 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제16항에 있어서,
상기 목표 이미지 획득 모듈은 또한,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 아핀 변환 매트릭스를 획득하며;
상기 아핀 변환 매트릭스에 따라, 상기 초기 이미지에 대해 아핀 변환을 수행하여 상기 목표 이미지를 얻도록 구성된 것임을 특징으로 하는 이미지 조명 장치. - 제16항에 있어서,
상기 목표 이미지 획득 모듈은 또한,
상기 양방향 그리드 매트릭스, 상기 최대 풀링 결과 맵 및 상기 최소 풀링 결과 맵에 따라, 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 슬라이싱 처리를 수행하여, 잔차 매트릭스를 얻으며;
상기 잔차 매트릭스 및 상기 초기 이미지에 따라 상기 목표 이미지를 얻도록 구성된 것임을 특징으로 하는 이미지 조명 장치. - 제18항에 있어서,
상기 목표 이미지 획득 모듈은 또한,
상기 잔차 매트릭스 및 상기 초기 이미지의 휘도 컴포넌트 맵의 동일한 위치에서의 픽셀 포인트의 값을 가산하여, 상기 목표 이미지를 획득하도록 구성된 것임을 특징으로 하는 이미지 조명 장치. - 제16항 내지 제19항 중 어느 한 항에 있어서,
상기 특징 정보 획득 모듈은 또한,
상기 초기 이미지 및 상기 초기 이미지의 얼굴 마스크 맵을 상기 컨볼루션 뉴럴 네트워크에 입력하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 것임을 특징으로 하는 이미지 조명 장치. - 제16항 내지 제19항 중 어느 한 항에 있어서,
상기 특징 정보 획득 모듈은,
상기 초기 이미지를 상기 컨볼루션 뉴럴 네트워크의 하위 계층급 특징 추출 계층에 입력하여, 상기 초기 이미지의 하위 계층급 특징 정보를 획득하도록 구성된 하위 계층급 특징 정보 획득 유닛;
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 국소 특징 추출 계층에 입력하여, 상기 초기 이미지의 국소 특징 정보를 획득하도록 구성된 국소 특징 정보 획득 유닛; 및
상기 초기 이미지의 하위 계층급 특징 정보를 상기 컨볼루션 뉴럴 네트워크의 전역 특징 추출 계층에 입력하여, 상기 초기 이미지의 전역 특징 정보를 획득하도록 구성된 전역 특징 정보 획득 유닛을 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제16항 내지 제19항 중 어느 한 항에 있어서,
상기 이미지 조명 장치는,
상기 초기 이미지의 얼굴 마스크 맵에 따라 상기 초기 이미지의 휘도 컴포넌트 맵에 대해 얼굴 보정을 수행하여, 보정 후의 이미지를 얻도록 구성된 보정 모듈을 더포함하며,
상기 특징 정보 획득 모듈은 또한, 상기 컨볼루션 뉴럴 네트워크에 의해, 보정 후의 이미지에 기반하여, 상기 초기 이미지의 국소 특징 정보 및 전역 특징 정보를 획득하도록 구성된 것을 특징으로 하는 이미지 조명 장치. - 제16항 내지 제19항 중 어느 한 항에 있어서,
상기 이미지 조명 장치는,
상기 초기 이미지에 대해 축소 처리를 수행하도록 구성된 축소 모듈을 더 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제23항에 있어서,
상기 이미지 조명 장치는,
상기 목표 이미지에 대해 확대 처리를 수행하여, 상기 초기 이미지와 동일한 사이즈의 목표 이미지를 획득하도록 구성된 확대 모듈을 더 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제16항 내지 제19항 중 어느 한 항에 있어서,
상기 이미지 조명 장치는,
상기 목표 이미지의 인물 이미지 분할 맵을 획득하도록 구성된 인물 이미지 분할 맵 획득 모듈;
상기 목표 이미지에 따라 상기 인물 이미지 분할 맵에 대해 고속 가이드 필터링을 수행하여, 초기 가중치 맵을 획득하도록 구성된 초기 가중치 맵 획득 모듈;
상기 초기 이미지의 얼굴 마스크 맵에 따라, 초기 스포트 라이트 발광 효과 가중치 맵을 획득하도록 구성된 초기 스포트 라이트 발광 효과 가중치 맵 획득 모듈;
상기 초기 스포트 라이트 발광 효과 가중치 맵 및 상기 초기 가중치 맵에 따라, 인물 이미지 스포트 라이트 발광 효과 가중치 맵을 획득하도록 구성된 인물 이미지 스포트 라이트 발광 효과 가중치 맵 획득 모듈; 및
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵 및 상기 목표 이미지에 따라, 스포트 라이트 발광 효과가 증가된 이미지를 획득하도록 구성된 스포트 라이트 발광 효과 조명 모듈을 더 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제25항에 있어서,
상기 스포트 라이트 발광 효과 조명 모듈은 또한,
상기 인물 이미지 스포트 라이트 발광 효과 가중치 맵W 및 상기 목표 이미지에 따라, 다음 공식을 이용하여 스포트 라이트 발광 효과가 증가된 이미지
를 획득하도록 구성되며;
i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수인 것임을 특징으로 하는 이미지 조명 장치. - 제25항에 있어서,
상기 인물 이미지 분할 맵 획득 모듈은,
상기 목표 이미지에 대해 인물 이미지 분할을 수행하여, 인물 이미지 전경 맵을 획득하도록 구성된 인물 이미지 전경 맵 획득 유닛;
상기 목표 이미지에 대해 키포인트 추출을 수행하여, 인물 이미지 얼굴 맵을 획득하도록 구성된 인물 이미지 얼굴 맵 획득 유닛; 및
상기 인물 이미지 전경 맵 및 상기 인물 이미지 얼굴 맵에 따라, 인물 이미지 분할 맵을 획득하도록 구성된 인물 이미지 분할 맵 획득 유닛을 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제27항에 있어서,
상기 인물 이미지 분할 맵 획득 유닛은 또한,
상기 인물 이미지 전경 맵중의 모든 픽셀 포인트를 순회하고, 상기 인물 이미지 전경 맵
중의 어느 하나의 픽셀 포인트
에 대해, 상기 인물 이미지 얼굴 맵
중의 동일한 위치에서의 픽셀 포인트
가 인물 이미지 부분에 속하면, 상기 픽셀 포인트
및 상기 픽셀 포인트
의 값이 모두 1인지 여부를 판단하며; 1이 아니면, 상기 인물 이미지 전경 맵
중의 픽셀 포인트
의 값을 0으로 수정하고;
상기 인물 이미지 분할 맵을 얻도록 구성되며;
i의 값의 범위는 [0, N-1]이고, j의 값의 범위는 [0, M-1]이며, M 및 N의 값은 1보다 큰 정수이고, 상기 N은 상기 목표 이미지의 총 행 수이며, M은 상기 목표 이미지의 총 열 수인 것임을 특징으로 하는 이미지 조명 장치. - 제20항, 제22항 또는 제25항 중어느 한 항에 있어서,
상기 얼굴 마스크 맵은 또한, 얼굴의 코 섀도우 정보, 코 윙 정보, 코 팁 정보, 뺨 정보, 템플 정보, 피부색 타입 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 조명 장치. - 제16항 내지 제19항 중 어느 한 항에 있어서,
상기 조명 동작 타입은 컨투어 조명, 스튜디오 조명, 무대 조명, 단색광, 2 색광 또는 다색광을 포함하는 것을 특징으로 하는 이미지 조명 장치. - 전자 기기로서,
프로그램 명령어를 저장하도록 구성된 메모리; 및
상기 메모리 중의 프로그램 명령어를 호출하고 실행하여, 제1항 내지 제15항 중 어느 한 항에 따른 이미지 조명 방법을 실행하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 전자 기기. - 판독 가능한 저장 매체로서,
제1항 내지 제15항 중 어느 한 항에 따른 이미지 조명 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 판독 가능한 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810848283.3A CN109191558B (zh) | 2018-07-27 | 2018-07-27 | 图像打光方法和装置 |
| CN201810848283.3 | 2018-07-27 | ||
| PCT/CN2018/118531 WO2020019618A1 (zh) | 2018-07-27 | 2018-11-30 | 图像打光方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200014842A true KR20200014842A (ko) | 2020-02-11 |
| KR102290985B1 KR102290985B1 (ko) | 2021-08-19 |
Family
ID=64937770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197038766A KR102290985B1 (ko) | 2018-07-27 | 2018-11-30 | 이미지 조명 방법, 장치, 전자 기기 및 저장 매체 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11455516B2 (ko) |
| JP (1) | JP6905602B2 (ko) |
| KR (1) | KR102290985B1 (ko) |
| CN (1) | CN109191558B (ko) |
| SG (1) | SG11201913819SA (ko) |
| TW (1) | TWI704524B (ko) |
| WO (1) | WO2020019618A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230331A (zh) * | 2017-09-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法和装置、电子设备、计算机存储介质 |
| CN109862268B (zh) * | 2019-02-12 | 2021-06-15 | 陕西鼎浩文化传播有限公司 | 一种可感应自动调节亮度的图像处理用打光方法 |
| CN112183551A (zh) * | 2019-07-02 | 2021-01-05 | 佳能株式会社 | 光照颜色预测方法、图像处理方法、装置及存储介质 |
| CN111626968B (zh) * | 2020-04-29 | 2022-08-26 | 杭州火烧云科技有限公司 | 一种基于全局信息和局部信息的像素增强设计方法 |
| US11983846B2 (en) | 2020-05-13 | 2024-05-14 | Qualcomm Incorporated | Machine learning based image adjustment |
| CN111680667B (zh) * | 2020-07-13 | 2022-06-24 | 北京理工大学重庆创新中心 | 一种基于深度神经网络的遥感图像地物分类方法 |
| CN112016489B (zh) * | 2020-09-02 | 2022-10-04 | 重庆邮电大学 | 一种保留全局信息并增强局部特征的行人再识别方法 |
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| GB2605169B (en) * | 2021-03-24 | 2023-08-02 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| GB2605158B (en) | 2021-03-24 | 2023-05-17 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| CN113160358A (zh) * | 2021-05-21 | 2021-07-23 | 上海随幻智能科技有限公司 | 一种无绿幕抠图渲染方法 |
| KR20230086233A (ko) * | 2021-12-08 | 2023-06-15 | 순천대학교 산학협력단 | Cmp를 이용한 재구조화된 합성곱 신경망 시스템 및 그 동작 방법 |
| US20230289930A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Company, Ltd. | Systems and Methods for Lightweight Machine Learning for Image Illumination Control |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100698845B1 (ko) * | 2005-12-28 | 2007-03-22 | 삼성전자주식회사 | 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치 |
| JP2018005639A (ja) * | 2016-07-04 | 2018-01-11 | タカノ株式会社 | 画像分類装置、画像検査装置、及び、プログラム |
| JP2018506788A (ja) * | 2015-04-03 | 2018-03-08 | 三菱電機株式会社 | 物体の再同定の方法 |
| KR101863196B1 (ko) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
| CN108181952A (zh) * | 2017-12-11 | 2018-06-19 | 浙江工业大学 | 一种基于卷积神经网络的光照度测量及光照度智能控制方法 |
| CN108305236A (zh) * | 2018-01-16 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像增强处理方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004242099A (ja) * | 2003-02-06 | 2004-08-26 | Ntt Docomo Inc | 色歪み補正方法、色歪み補正装置、携帯端末、プログラム及び記憶媒体 |
| JP4626982B2 (ja) * | 2005-02-10 | 2011-02-09 | セントラル硝子株式会社 | ガラス板の端面の欠陥検出装置および検出方法 |
| JP5104282B2 (ja) * | 2007-12-18 | 2012-12-19 | 日本電気株式会社 | 画像補正方法および画像補正装置 |
| JP6273750B2 (ja) * | 2013-10-04 | 2018-02-07 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| CN103606134A (zh) * | 2013-11-26 | 2014-02-26 | 国网上海市电力公司 | 一种弱光照视频图像的增强方法 |
| WO2017079702A1 (en) * | 2015-11-05 | 2017-05-11 | Google Inc. | Edge-aware bilateral image processing |
| US10181185B2 (en) * | 2016-01-11 | 2019-01-15 | Kla-Tencor Corp. | Image based specimen process control |
| JP6700840B2 (ja) * | 2016-02-18 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法及びプログラム |
| TW201807619A (zh) * | 2016-08-26 | 2018-03-01 | 原相科技股份有限公司 | 基於深度學習架構的圖像辨識方法及系統 |
| CN106875344B (zh) * | 2016-12-21 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种视频图像的补光处理方法及装置 |
| TWM558943U (zh) * | 2017-11-22 | 2018-04-21 | Aiwin Technology Co Ltd | 運用深度學習技術之智慧影像資訊及大數據分析系統 |
| US10708525B2 (en) * | 2018-08-27 | 2020-07-07 | Qualcomm Incorporated | Systems and methods for processing low light images |
-
2018
- 2018-07-27 CN CN201810848283.3A patent/CN109191558B/zh active Active
- 2018-11-30 SG SG11201913819SA patent/SG11201913819SA/en unknown
- 2018-11-30 WO PCT/CN2018/118531 patent/WO2020019618A1/zh active Application Filing
- 2018-11-30 JP JP2019570129A patent/JP6905602B2/ja active Active
- 2018-11-30 KR KR1020197038766A patent/KR102290985B1/ko active IP Right Grant
-
2019
- 2019-07-24 TW TW108126231A patent/TWI704524B/zh active
- 2019-12-26 US US16/727,231 patent/US11455516B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100698845B1 (ko) * | 2005-12-28 | 2007-03-22 | 삼성전자주식회사 | 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치 |
| JP2018506788A (ja) * | 2015-04-03 | 2018-03-08 | 三菱電機株式会社 | 物体の再同定の方法 |
| JP2018005639A (ja) * | 2016-07-04 | 2018-01-11 | タカノ株式会社 | 画像分類装置、画像検査装置、及び、プログラム |
| KR101863196B1 (ko) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
| CN108181952A (zh) * | 2017-12-11 | 2018-06-19 | 浙江工业大学 | 一种基于卷积神经网络的光照度测量及光照度智能控制方法 |
| CN108305236A (zh) * | 2018-01-16 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像增强处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102290985B1 (ko) | 2021-08-19 |
| US11455516B2 (en) | 2022-09-27 |
| CN109191558A (zh) | 2019-01-11 |
| TWI704524B (zh) | 2020-09-11 |
| JP2020530920A (ja) | 2020-10-29 |
| US20200143230A1 (en) | 2020-05-07 |
| WO2020019618A1 (zh) | 2020-01-30 |
| CN109191558B (zh) | 2020-12-08 |
| TW202008313A (zh) | 2020-02-16 |
| SG11201913819SA (en) | 2020-02-27 |
| JP6905602B2 (ja) | 2021-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102290985B1 (ko) | 이미지 조명 방법, 장치, 전자 기기 및 저장 매체 | |
| Yang et al. | Image correction via deep reciprocating HDR transformation | |
| CN109919869B (zh) | 一种图像增强方法、装置及存储介质 | |
| CN107516319B (zh) | 一种高精度简易交互式抠图方法、存储设备及终端 | |
| CN106920221B (zh) | 兼顾亮度分布和细节呈现的曝光融合方法 | |
| CN109493350A (zh) | 人像分割方法及装置 | |
| CN111127591B (zh) | 图像染发处理方法、装置、终端和存储介质 | |
| KR100791372B1 (ko) | 인물 이미지 보정 장치 및 방법 | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| KR20200043432A (ko) | 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 | |
| CN106447604A (zh) | 一种变换视频中面部画面的方法和装置 | |
| CN113039576A (zh) | 图像增强***和方法 | |
| CN109919030A (zh) | 黑眼圈类型识别方法、装置、计算机设备和存储介质 | |
| US20230074060A1 (en) | Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
| WO2021128593A1 (zh) | 人脸图像处理的方法、装置及*** | |
| WO2016026072A1 (en) | Method, apparatus and computer program product for generation of extended dynamic range color images | |
| US20240127403A1 (en) | Multi-frame image fusion method and system, electronic device, and storage medium | |
| CN109064431A (zh) | 一种图片亮度调节方法、设备及其存储介质 | |
| CN109447931A (zh) | 图像处理方法及装置 | |
| CN110730303B (zh) | 图像染发处理方法、装置、终端和存储介质 | |
| KR101513931B1 (ko) | 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| WO2023273111A1 (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
| CN110084767A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN109360180A (zh) | 一种获取多帧宽动态图像的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |