KR20210070377A - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR20210070377A
KR20210070377A KR1020217015566A KR20217015566A KR20210070377A KR 20210070377 A KR20210070377 A KR 20210070377A KR 1020217015566 A KR1020217015566 A KR 1020217015566A KR 20217015566 A KR20217015566 A KR 20217015566A KR 20210070377 A KR20210070377 A KR 20210070377A
Authority
KR
South Korea
Prior art keywords
target
image
face
target object
shape
Prior art date
Application number
KR1020217015566A
Other languages
English (en)
Inventor
쉰창 왕
웨이차이 황
환 리
원지예 팡
원보 마
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010358288.5A external-priority patent/CN111563855B/zh
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20210070377A publication Critical patent/KR20210070377A/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원의 실시예는 이미지 처리 방법 및 장치를 제공하며, 이미지 처리의 인공 지능 분야에 관한 것으로서, 구체적으로 얼굴을 포함하는 이미지를 획득하고; 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 목표 대상은 얼굴 상의 기관이고; 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식하고; 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득하는 것을 포함한다. 본 출원의 실시예는 우선 형상을 조정한 후 분할하여 채우는 방안을 사용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.

Description

이미지 처리 방법 및 장치
본 출원은 이미지 처리 및 컴퓨터 기술분야에 관한 것으로서, 특히 인공지능 및 컴퓨터 비전 기술분야에 관한 것이며, 구체적으로는 이미지 처리 방법 및 장치에 관한 것이다.
본 출원은 2020년 04월 29일 중국전리국에 제출한, 출원번호 CN202010358288.5, 출원의 명칭이 "이미지 처리 방법 및 장치"인 중국 특허 출원의 우선권을 주장하며, 그 모든 내용은 인용을 통해 본 출원에 결합된다.
단말기의 발전에 따라, 보다 많은 단말기들에 촬영 장치가 포함되어 있으며, 적응되는 뷰티 애플리케이션도 큰 발전을 거두었다.
뷰티 애플리케이션은 일반적으로 일부 뷰티 소재를 제공한다. 사용자는 수요에 따라 뷰티 소재를 선택할 수 있고, 애플리케이션은 뷰티 소재를 사용자의 얼굴에 추가할 수 있다. 예를 들어, 눈썹 미화 처리 시, 사용자가 애플리케이션 소재에서 제공하는 눈썹 모양을 선택한 후, 애플리케이션은 애플리케이션 소재 중 눈썹 모양을 사용자 얼굴의 눈썹 부위에 덮어, 눈썹을 미화할 수 있다.
하지만 종래기술의 눈썹 미화는 일반적으로 자연스럽지 못하여, 보다 우수한 미화 효과를 얻을 수 없다.
본 출원의 실시예는 종래기술에 따른 뷰티 처리 시 미화 효과가 낮은 기술문제를 해결하기 위한 이미지 처리 방법 및 장치를 제공한다.
본 출원의 실시예의 제1 측면에 따르면 이미지 처리 방법을 제공하며,
얼굴을 포함하는 이미지를 획득하는 단계;
상기 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 상기 목표 대상은 얼굴 상의 기관인 단계;
미리 트레이닝된 목표 키포인트 모델을 이용하여 상기 얼굴에서의 상기 목표 대상의 키포인트 위치를 인식하는 단계;
상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하는 단계;
상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하는 단계;
상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득하는 단계를 포함한다.
본 출원의 실시예의 제2 측면에 따르면 이미지 처리 장치를 제공하며,
얼굴을 포함하는 이미지를 획득하는 처리모듈;
상기 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 상기 목표 대상은 얼굴 상의 기관인 수신모듈;을 포함하고,
상기 처리모듈은 또한 미리 트레이닝된 목표 키포인트 모델을 이용하여 상기 얼굴에서의 상기 목표 대상의 키포인트 위치를 인식하고;
상기 처리모듈은 또한 상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하고;
상기 처리모듈은 또한 상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고;
상기 처리모듈은 또한 상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득한다.
본 출원의 실시예의 제3 측면에 따르면 전자기기를 제공하며, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상술한 제1 측면 중 어느 하나에 따른 방법을 수행할 수 있도록 한다.
본 출원의 실시예의 제4 측면에 따르면 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터가 상술한 제1 측면 중 어느 하나에 따른 방법을 수행하도록 한다.
본 출원의 실시예의 제5 측면에 따르면, 프로그램 코드를 포함하는 컴퓨터 프로그램을 제공하며, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드가 상술한 어느 일 실시예에 따른 방법을 수행한다.
상술한 바와 같이, 본 출원의 실시예는 종래기술에 비해 아래와 같은 유리한 효과를 구비한다.
본 출원의 실시예는, 얼굴에서의 목표 대상의 키포인트 위치를 인식한 후, 우선 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하고, 이어서 조정된 후의 영역에 대해 분할 및 소재 채우기를 수행하는 이미지 처리 방법 및 장치를 제공하며, 직접 뷰티 소재를 목표 대상에 덮음에 의해 불완전하게 덮여지는 방안에 비해, 본 출원의 실시예의 우선 형상을 조정한 후 분할하여 채우는 방안은, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다. 구체적으로 구현 시, 얼굴을 포함하는 이미지를 획득하고; 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 목표 대상은 얼굴 상의 기관이고; 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식하고; 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득한다. 즉, 먼저 형상을 조정한 후 분할하여 채우는 방안을 적용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.
본 부분에 기재되는 내용은 본 개시의 실시예의 핵심 또는 중요 특징을 특정하려는 목적이 아니며, 본 개시의 범위를 한정하는 것도 아님을 이해하여야 한다. 본 개시의 기타 특징은 아래의 명세서로부터 쉽게 이해할 수 있다.
도 1은 본 출원의 실시예에 따른 이미지 처리 방법이 적용되는 시스템 아키텍쳐를 나타내는 도면이다.
도 2는 본 출원의 실시예에 따른 이미지 처리 방법을 나타내는 흐름도이다.
도 3은 본 출원의 실시예에 따른 눈썹을 처리하는 예시를 나타내는 도면이다.
도 4는 본 출원의 실시예에 따른 이미지 처리 장치의 구성도이다.
도 5는 본 출원의 실시예의 이미지 처리 방법을 구현하기 위한 전자기기의 블록도이다.
아래에서는 첨부 도면을 결합하여 본 출원의 예시적인 실시예에 대해 설명하며, 이해를 돕기 위하여 본 출원의 실시예의 다양한 세부 사항을 포함하며, 이들은 단지 예시적인 것으로만 간주하여야 한다. 따라서, 본 분야의 통상적인 지식을 가진자라면, 여기에 기재되는 실시예에 대해 다양한 변경과 수정을 가할 수 있으며, 이는 본 출원의 범위와 정신을 벗어나지 않음을 이해하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 기재에서 공지 기능과 구조에 대한 설명을 생략한다. 모순되지 않는 한, 후술하는 실시예 및 실시예에 따른 특징은 서로 결합될 수 있다.
일반적으로, 얼굴에 대해 뷰티 처리할 때, 사용자는 뷰티 소재를 선택할 수 있고, 뷰티 소재는 얼굴 각 기관의 소재일 수 있으며, 단말기는 뷰티 소재를 이미지 중 사용자 원래의 기관 상에 덮을 수 있다. 예를 들어, 눈썹 미화 시, 뷰티 소재는 다양한 유형의 눈썹 모양을 제공할 수 있고, 사용자는 그 중 하나의 눈썹 모양을 선택할 수 있고, 단말기는 사용자가 선택한 눈썹 모양을 사용하여 이미지 중 원래의 눈썹을 덮어, 눈썹을 미화할 수 있다.
하지만, 뷰티 소재로 실제 기관을 덮는 뷰티 방식은, 한편으로는 뷰티 소재와 이미지의 융합도가 낮아, 뷰티 처리 후 이미지가 자연스럽지 못하여, 뷰티 효과에 영향을 미친다. 다른 한편으로는, 원본 이미지 중 기관이 보다 크거나 불규칙적이어서, 뷰티 소재가에 의해 충분히 덮여지지 못하는 상황이 발생할 수 있다. 예를 들어, 일부 눈썹 소재는 굵은 눈썹, 형상이 지저분하고, 불규칙적인 것과 같은 눈썹 모양을 충분히 덮을 수 없거나, 일반 사람들의 눈썹 모양은 서로 다르므로, 눈썹 소재는 어느 정도 스트레칭 변형되므로, 뷰티 후의 이미지에도 어느 정도의 스트레칭 변형 효과가 존재하여, 뷰티 효과가 보다 낮다.
이 기초 상에서, 본 출원의 실시예는, 얼굴에서의 목표 대상의 키포인트 위치를 인식한 후, 먼저 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하고, 이어서 조정된 후의 영역에 대해 분할 및 소재 채우기를 수행한다. 직접 뷰티 소재를 목표 대상에 덮음에 의해 불완전하게 덮여지는 방안에 비해, 본 출원의 실시예의 우선 형상을 조정한 후 분할하여 채우는 방안은, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.
본 출원의 실시예에서 기재되는 뷰티 소재는 사전에 그린 것이거나 획득한 소재일 수 있으며, 예를 들어, 눈썹에 대해 뷰티하는 시나리오를 예로 들면, 뷰티 소재는 대옥 눈썹, 우옥 눈썹, 버들잎 눈썹 등의 눈썹 모양을 포함할 수 있다. 입술에 대해 뷰티하는 시나리오를 예로 들면, 입술 소재는 얇은 입술, 두꺼운 입술 등의 입술 모양을 포함할 수 있다. 본 출원의 실시예는 뷰티 소재에 대해 구체적으로 한정하지 않는다. 뷰티 소재는 네트워크 또는 서버에 저장될 수 있고, 단말기는 뷰티 시, 네트워크 또는 서버로부터 뷰티 소재를 획득할 수 있다. 뷰티 소재는 단말기 로컬에 저장될 수도 있으며, 본 출원의 실시예는 뷰티 소재의 획득에 대해 구체적으로 한정하지 않는다.
본 출원의 실시예에 기재된 목표 대상은, 눈썹, 코, 입 또는 눈과 같은 얼굴의 기관일 수 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다.
본 출원의 실시예에 기재된 목표 키포인트 모델은 딥러닝 트레이닝을 통해 획득한 뉴럴 네트워크 모델일 수 있으며, 예를 들어 인체 기관 키포인트 마킹을 포함한 샘플 이미지를 사용하여, 목표 키포인트 모델을 트레이닝함으로써, 해당 목표 키포인트 모델로 이미지를 입력한 후, 해당 목표 키포인트 모델이 목표 대상의 키포인트 위치를 출력할 수 있도록 할 수 있다.
본 출원의 실시예의 방법은 단말에 적용될 수 있으며, 단말은 핸드폰, 태블릿 컴퓨터, 노트북 컴퓨터, 또는 데스크탑 컴퓨터 등의 전자기기를 포함할 수 있다. 본 출원의 실시예는 적용되는 구체적인 기기에 대해 구체적으로 한정하지 않는다.
예시적으로, 단말은 그래픽 유저 인터페이스(graphical user interface, GUI)를 제공할 수 있으며, 그래픽 유저 인터페이스에는 사용자 조작을 수신하기 위한 컨트롤러, 스위치 등이 설치되어, 사용자가 그래픽 유저 인터페이스에서 본 출원의 실시예의 조작을 수행할 수 있도록 할 수 있다. 그래픽 유저 인터페이스의 구체적인 내용은 실제 응용 시나리오에 따라 결정할 수 있다는 것을 이해할 수 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.
도 1에 도시된 바와 같이, 도 1은 본 출원의 실시예에 따른 방법이 적용되는 응용 시나리오 아키텍쳐를 나타내는 도면이다.
일 가능한 응용 시나리오에서, 뷰티 소재와 목표 키포인트 인식 모델은 모두 단말기 로컬에 위치하며, 단말기(11)는 기타 기기와의 인터랙션이 불필요하다. 예시적으로, 사용자는 단말기(11)에서 얼굴을 포함하는 이미지를 획득하도록 트리거하고, 단말기(11)의 그래픽 유저 인터페이스에서 목표 대상의 뷰티 소재를 선택할 수 있으며, 단말기(11)는 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식하고; 및 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득할 수 있다. 즉, 단말기(11)는 우선 형상을 조정한 후 분할하여 채우는 방안을 사용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.
일 가능한 응용 시나리오에서, 뷰티 소재 또는 목표 키포인트 인식 모델은 한가지 또는 여러가지가 서버(12)에 설치될 수 있으며, 단말기(11)는 서버(12)와 인터랙션하여야 한다. 예시적으로, 사용자는 단말기(11)에서 얼굴을 포함하는 이미지를 획득하도록 트리거하고, 단말기(11)의 그래픽 유저 인터페이스에서 목표 대상의 뷰티 소재를 선택할 수 있고, 단말기(11)는 서버(12)로부터 뷰티 소재를 획득하거나, 이미지를 서버(12)로 발송하여, 서버(12)에서 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식할 수도 있으며, 단말기(11)는 추가적으로 서버(12)로부터 키포인트 위치를 획득하고, 및 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득할 수 있다. 즉, 먼저 형상을 조정한 후 분할하여 채우는 방안을 적용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다. 구체적으로 응용 시, 서버의 수량은 1 이상인 임의의 값일 수 있다는 것을 이해할 수 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다.
본 출원의 실시예는 기타 응용 시나리오에 적용될 수도 있으며, 상술한 시나리오의 예시는 본 출원의 실시예를 더 충분히 설명하기 위한 것으로서, 본 출원의 실시예를 한정하지 않는다는 것을 이해할 수 있다.
도 2에 도시된 바와 같이, 도 2는 본 출원의 실시예에 따른 이미지 처리 방법을 나타내는 흐름도이다. 해당 방법은 구체적으로 아래의 단계들을 포함할 수 있다.
S101 : 얼굴을 포함하는 이미지를 획득한다.
본 출원의 실시예에서, 이미지는 사용자가 단말기 로컬의 이미지 라이브러리로부터 선택하여 업로드한 것일 수 있다. 이미지는 사용자가 단말기의 카메라 등의 기기를 이용하여 촬영한 것일 수도 있다. 이미지는 사용자가 네트워크로부터 다운로드한 것일 수도 있다. 본 출원의 실시예는 이미지를 획득하는 구체적인 실시형태에 대해 한정하지 않는다.
일 가능한 실시형태에서, 사용자는 단말기의 뷰티 애플리케이션(application, APP)을 켜고, 해당 APP에서 실시간으로 이미지를 촬영하거나, APP에서 단말기 로컬의 이미지를 업로드하여, 얼굴을 포함하는 이미지를 획득할 수도 있다.
S102 : 상기 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 상기 목표 대상은 얼굴 상의 기관이다.
본 출원의 실시예에서, 사용자는 뷰티가 필요한 이미지를 선택한 후, 구체적으로 뷰티할 목표 대상의 뷰티 소재를 더 선택할 수 있으며, 목표 대상은 예컨대 눈썹, 코, 입 또는 눈과 같은 얼굴 상의 기관일 수 있으며, 목표 대상의 뷰티 소재를 통해 목표 대상에 대한 뷰티를 구현한다.
일 가능한 실시형태에서, 단말기의 유저 인터페이스에 이미지 및 얼굴 기관에대응되는 뷰티 소재가 표시될 수 있으며, 사용자는 클릭, 드래그, 음성 제어 등의 선택 조작을 통해, 목표 대상의 뷰티 소재에 대한 선택을 구현할 수 있다.
실제 적용 시, 단말기의 유저 인터페이스의 구체적인 내용 및 사용자가 뷰티 소재를 선택하는데 필요한 수행 단계는 모두 실제 적용 시나리오에 따라 결정할 수 있다는 것을 이해할 수 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다.
S103 : 미리 트레이닝된 목표 키포인트 모델을 이용하여 상기 얼굴에서의 상기 목표 대상의 키포인트 위치를 인식한다.
본 출원의 실시예에서, 얼굴에서의 목표 대상의 키포인트 위치는 얼굴에서의 목표 대상의 영역을 나타낼 수 있고, 서로 다른 목표 대상은 키포인트의 수량과 위치가 모두 서로 다르며, 본 출원의 실시예는 얼굴에서의 목표 대상의 키포인트 위치에 대해 구체적으로 한정하지 않는다.
일 가능한 실시형태에서, 목표 키포인트 모델은 사전에 트레이닝하여 뷰티 APP에 설치될 수 있고, 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식할 수 있다.
S104 : 상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정한다.
본 출원의 실시예에서, 얼굴에서의 목표 대상의 키포인트 위치를 획득한 후, 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하여, 얼굴에서의 목표 대상의 형상이 뷰티 소재의 형상에 적응되도록 할 수 있으며, 이에 따라 이후에 조정된 후의 목표 대상의 영역을 기초로 적응적인 뷰티 처리를 수행할 수 있다.
예를 들어, 목표 대상이 눈썹인 예를 들면, 이미지 중 얼굴의 눈썹 모양은 굵고 평평한 눈썹일 수 있고, 사용자가 선택한 뷰티 소재는 대옥 눈썹이며, 이때 우선 얼굴 중 눈썹 형상을 뷰티 소재의 형상과 유사하거나 동일한 형상으로 조정할 수 있다.
본 출원의 실시예에서, 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하여, 얼굴에서의 목표 대상의 형상이 뷰티 소재의 형상에 적응되도록 하므로, 이 후에 뷰티 소재를 기반으로 뷰티할 때, 뷰티 소재가 목표 대상을 덮지 못하는 등의 상황이 발생하지 않는다.
S105 : 상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득한다.
본 출원의 실시예에서, 분할은 임의의 다각형 분할일 수 있고, 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 이후에 분할된 후의 영역을 기초로 채우기를 수행할 수 있도록 하며, 뷰티 소재가 이미지에서 목표 대상을 덮는 방식을 직접 사용하는 것에 비해, 이미지와의 보다 우수한 융합 효과를 얻을 수 있으며, 뷰티 효과가 더 자연스럽게 된다.
S106 : 상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득한다.
본 출원의 실시예에서, 뷰티 소재는 목표 대상의 칼라와 형상 등을 포함할 수 있으며, 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 원본 이미지와 우수하게 융합된 목표 이미지를 획득할 수 있다.
상술한 바와 같이, 본 출원의 실시예에서, 얼굴에서의 목표 대상의 키포인트 위치를 인식한 후, 먼저 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하고, 이어서 조정된 후의 영역에 대해 분할 및 소재 채우기를 수행한다. 직접 뷰티 소재를 목표 대상에 덮음에 의해 불완전하게 덮여지는 방안에 비해, 본 출원의 실시예의 우선 형상을 조정한 후 분할하여 채우는 방안은, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다. 구체적으로 구현 시 얼굴을 포함하는 이미지를 획득하고; 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 목표 대상은 얼굴 상의 기관이고; 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식하고; 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득한다. 즉, 먼저 형상을 조정한 후 분할하여 채우는 방안을 적용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.
도 2에 대응되는 실시예의 기초 상에서, 일 가능한 실시형태에 따르면, 해당 방법은, 상기 목표 이미지에 대한 공유 조작이 수신될 경우, 상기 공유 조작의 경로에 따라 상기 목표 이미지를 공유하는 단계를 더 포함한다.
본 출원의 실시예에서, 단말기의 유저 인터페이스에는 하나 또는 복수의 공유 버튼이 제공될 수 있고, 각 공유 버튼은 서로 다른 공유 경로에 대응될 수 있다. 예를 들어, 각각의 공유 버튼은 하나의 소셜 애플리케이션에 대응될 수 있으며, 해당 공유 버튼을 선택하면, 해당 공유 버튼을 기반으로 목표 대상을 대응되는 소셜 애플리케이션에 공유한다.
구체적으로 응용 시, 사용자는 공유 버튼을 트리거하여 선택함으로써, 공유 버튼에 대응되는 소셜 애플리케이션으로 점프하여, 간편하게 목표 이미지에 대한 공유를 구현할 수 있다.
도 2에 대응되는 실시예의 기초 상에서, 일 가능한 실시형태에서, 해당 방법은, 상기 목표 이미지에 대한 저장 조작이 수신될 경우, 상기 목표 이미지를 저장하는 단계를 더 포함한다.
본 출원의 실시예에서, 단말기의 유저 인터페이스에는 하나 또는 복수의 저장 버튼이 제공될 수 있고, 각 저장 버튼은 서로 다른 저장 경로에 대응될 수 있다. 예를 들어, 저장 버튼은 로컬에 저장되는 버튼일 수 있고, 저장 버튼은 클라우드에 저장되는 버튼일 수도 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다.
구체적으로 응용 시, 사용자는 저장 버튼을 트리거하여 선택하고, 나아가 간편하게 목표 이미지를 저장할 수 있다.
도 2에 대응되는 실시예의 기초 상에서, 일 가능한 실시형태에서, 상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하는 상기 단계는, 상기 키포인트 위치를 이용하여 상기 얼굴에서의 상기 목표 대상의 소스 영역을 획득하는 단계; 상기 소스 영역의 형상을 상기 뷰티 소재의 형상과 유사한 형상으로 조정하는 단계;를 포함한다.
본 출원의 실시예에서, 키포인트 위치를 기초로 얼굴에서의 목표 대상의 소스 영역을 그릴 수 있다. 예를 들어 모든 키포인트 위치를 연결하여, 얼굴에서의 목표 대상의 소스 영역을 획득할 수 있다. 얼굴에서의 목표 대상의 소스 영역은 해당 얼굴 상의 목표 대상의 원래의 영역이라고도 부를 수 있으며, 소스 영역의 형상과 크기는 구체적인 얼굴과 관련된다는 것을 이해할 수 있다.
소스 영역을 획득한 후, 소스 영역의 형상을 뷰티 소재의 형상과 유사한 형상으로 조정할 수 있으며, 예를 들어, 소스 영역에 대해 적응적인 스트레칭, 변형 등을 수행하여, 소스 영역의 형상이 뷰티 소재와 일치하며, 크기가 얼굴의 크기에 적응되도록 할 수 있다.
본 출원의 실시예에서, 얼굴에서의 목표 대상의 형상을 조정하는 구체적인 방식을 제공함으로써, 보다 간편하고 정확하게 얼굴에서의 목표 대상의 형상을 조정할 수 있다.
도 2에 대응되는 실시예의 기초 상에서, 일 가능한 실시형태에서, 상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하는 상기 단계는, 상기 이미지에서의 조정된 후의 목표 대상의 영역을 삼각 분할하는 단계를 포함한다.
본 출원의 실시예에서, 삼각 분할하는 방식을 사용하여, 보다 안정적인 분할을구현함으로써, 이후에 이미지 중 목표 대상에 대해 처리할 때, 보다 우수한 처리 효과를 얻을 수 있다. 삼각 분할은 보다 일반적인 분할 방식으로서, 본 출원의 실시예는 이에 대한 반복되는 설명을 생략한다.
도 2에 대응되는 실시예의 기초 상에서, 일 가능한 실시형태에서, 상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득하는 상기 단계는, 상기 뷰티 소재를 기반으로 상기 분할된 후의 영역에서 텍스처 매핑을 수행하여, 상기 목표 이미지를 획득한다.
본 출원의 실시예에서, 분할된 후의 영역을 채울 때, 뷰티 소재를 기반으로 분할된 후의 영역에서 텍스처 매핑을 수행하여, 보다 우수한 이미지 융합을 구현함으로써, 보다 우수한 융합 효과를 가지는 목표 이미지를 얻을 수 있다.
도 2에 대응되는 실시예의 기초 상에서, 일 가능한 실시형태에서, 상기 이미지를 획득하는 단계는, 촬영 조작을 수신하는 단계; 상기 촬영 조작에 응답하여 촬영함으로써 상기 이미지를 획득하는 단계를 포함한다.
본 출원의 실시예에서, 사용자는 뷰티 APP 상의 촬영 버튼을 트리거하여, 실시간으로 촬영함으로써 이미지를 획득하고, 이미지에 대한 실시간 처리를 구현할 수 있다.
예시적으로, 도 3은 본 출원의 실시예의 이미지 처리 방법의 눈썹을 처리하는 예시를 나타내는 도면이다.
뷰티 소재는 베이스 모델(예컨대 얼굴 모델)에서 그려 획득한 소재일 수 있다. 카메라를 통해 샘플링 전처리(카메라 촬영이라고도 함)하여 이미지를 획득한 후, 눈썹 키포인트 모델을 기반으로 이미지 중 눈썹의 키포인트 위치를 획득하고, 눈썹의 키포인트 위치와 뷰티 소재를 기반으로 이미지 중 눈썹의 형상에 대해 모양 조정을 수행하고, 분할 네트워크를 통해 조정된 후의 영역에 대해 분할하고, 뷰티 소재를 기반으로 분할 영역에 대한 텍스처 매핑을 구현하고 융합된 후의 이미지를 획득함으로써, 보다 우수한 이미지 융합을 구현할 수 있으며, 이에 따라 보다 우수한 융합 효과를 가진 목표 이미지를 획득할 수 있다.
도 4는 본 출원에 따른 이미지 처리 장치의 일 실시예의 구성도이다. 도 4에 도시된 바와 같이, 본 실시예에 따른 이미지 처리 장치는,
얼굴을 포함하는 이미지를 획득하는 처리모듈(41);
상기 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 상기 목표 대상은 얼굴 상의 기관인 수신모듈(42);을 포함하고,
상기 처리모듈(41)은 또한 미리 트레이닝된 목표 키포인트 모델을 이용하여 상기 얼굴에서의 상기 목표 대상의 키포인트 위치를 인식하고;
상기 처리모듈(41)은 또한 상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하고;
상기 처리모듈(41)은 또한 상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고;
상기 처리모듈(41)은 또한 상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득한다.
일 가능한 실시형태에서, 상기 처리모듈은 구체적으로,
상기 키포인트 위치를 이용하여 상기 얼굴에서의 상기 목표 대상의 소스 영역을 획득하고;
상기 소스 영역의 형상을 상기 뷰티 소재의 형상과 유사한 형상으로 조정한다.
일 가능한 실시형태에서, 상기 처리모듈은 구체적으로,
상기 이미지에서의 조정된 후의 목표 대상의 영역을 삼각 분할한다.
일 가능한 실시형태에서, 상기 처리모듈은 구체적으로,
상기 뷰티 소재를 기반으로 상기 분할된 후의 영역에서 텍스처 매핑을 수행하여, 상기 목표 이미지를 획득한다.
일 가능한 실시형태에서, 상기 처리모듈은 구체적으로,
촬영 조작을 수신하고;
상기 촬영 조작에 응답하여 촬영함으로써 상기 이미지를 획득한다.
일 가능한 실시형태에서, 상기 목표 대상은 눈썹이고, 상기 뷰티 소재는 눈썹 소재이다.
일 가능한 실시형태에서, 상기 처리모듈은 또한,
상기 목표 이미지에 대한 공유 조작이 수신될 경우, 상기 공유 조작의 경로에 따라 상기 목표 이미지를 공유한다.
일 가능한 실시형태에서, 상기 처리모듈은 또한,
상기 목표 이미지에 대한 저장 조작이 수신될 경우, 상기 목표 이미지를 저장한다.
상술한 바와 같이, 본 출원의 실시예에서, 얼굴에서의 목표 대상의 키포인트 위치를 인식한 후, 먼저 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하고, 이어서 조정된 후의 영역에 대해 분할 및 소재 채우기를 수행한다. 직접 뷰티 소재를 목표 대상에 덮음에 의해 불완전하게 덮여지는 방안에 비해, 본 출원의 실시예의 우선 형상을 조정한 후 분할하여 채우는 방안은, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다. 구체적으로 구현 시, 얼굴을 포함하는 이미지를 획득하고; 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 목표 대상은 얼굴 상의 기관이고; 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식하고; 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득한다. 즉, 먼저 형상을 조정한 후 분할하여 채우는 방안을 적용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.
본 출원의 각 실시예에 따른 이미지 처리 장치는 상술한 각 대응되는 실시예에 따른 방법을 수행할 수 있으며, 그 구현 방식과 원리가 동일하므로, 반복되는 설명을 생략한다.
본 출원의 실시예에 따르면, 본 출원은 전자기기 및 판독 가능 저장매체를 더 제공한다.
도 5에 도시된 바와 같이, 본 출원의 실시예에 따른 이미지 처리 방법에 따른 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 정보 단말, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자기기는 개인 디지털 처리, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 의미할 수도 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.
도 5에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(501), 메모리(502), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리와 복수의 메모리를 같이 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 5는 하나의 프로세서(501)를 예로 든다.
메모리(502)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에 따른 이미지 처리 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에 따른 이미지 처리 방법을 수행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 이미지 처리 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 4에 도시된 처리모듈(41), 수신모듈(42))을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 이미지 처리 방법을 구현한다.
메모리(502)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 이미지 처리 방법을 위한 전자기기의 사용에 따라 발생되는 데이터 등을 저장할 수 있다. 한편, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리를 포함할 수도 있으며, 예를 들어 적어도 하나의 자기 저장 장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장 장치가 있다. 일부 실시예에서, 메모리(502)는 선택적으로 프로세서(501)에 대해 원격으로 설치되는 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 이미지 처리를 위한 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
이미지 처리 방법의 전자기기는 입력장치(503)와 출력장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력장치(503) 및 출력장치(504)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 5에서는 버스를 통해 연결되는 것을 예시하고 있다.
입력장치(503)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 이미지 처리를 위한 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙 볼, 조종 레버 등의 입력장치가 있다. 출력장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 지칭)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 본 명세서에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향 장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시형태와 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
본 출원의 실시예의 기술방안은, 얼굴에서의 목표 대상의 키포인트 위치를 인식한 후, 우선 뷰티 소재의 형상을 기초로 얼굴에서의 목표 대상의 형상을 조정하고, 이어서 조정된 후의 영역에 대해 분할 및 소재 채우기를 수행한다. 직접 뷰티 소재를 목표 대상에 덮음에 의해 불완전하게 덮여지는 방안에 비해, 본 출원의 실시예의 우선 형상을 조정한 후 분할하여 채우는 방안은, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다. 구체적으로 구현 시, 얼굴을 포함하는 이미지를 획득하고; 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 목표 대상은 얼굴 상의 기관이고; 미리 트레이닝된 목표 키포인트 모델을 이용하여 얼굴에서의 목표 대상의 키포인트 위치를 인식하고; 키포인트 위치와 뷰티 소재의 형상을 이용하여 얼굴에서의 목표 대상의 형상을 조정하고; 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고; 뷰티 소재를 기반으로 분할된 후의 영역을 채워, 목표 이미지를 획득한다. 즉, 먼저 형상을 조정한 후 분할하여 채우는 방안을 적용함으로써, 덮여지지 못하는 상황이 발생하는 것을 방지하고, 보다 자연스러운 뷰티 효과를 얻을 수 있다.
본 출원의 실시예의 다른 일 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 더 제공하며, 프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드는 상술한 어느 일 실시예에 따른 방법을 수행한다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다는 것을 이해하여야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본 명세서에서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시형태는 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 요구와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 수행할 수 있다는 것 이해하여야 한다. 본 출원의 사상과 원칙 내에서 이루어진 모든 수정, 동등한 치환 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.

Claims (19)

  1. 이미지 처리 방법에 있어서,
    얼굴을 포함하는 이미지를 획득하는 단계;
    상기 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 상기 목표 대상은 얼굴 상의 기관인 단계;
    미리 트레이닝된 목표 키포인트 모델을 이용하여 상기 얼굴에서의 상기 목표 대상의 키포인트 위치를 인식하는 단계;
    상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하는 단계;
    상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하는 단계;
    상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하는 상기 단계는,
    상기 키포인트 위치를 이용하여 상기 얼굴에서의 상기 목표 대상의 소스 영역을 획득하는 단계;
    상기 소스 영역의 형상을 상기 뷰티 소재의 형상과 유사한 형상으로 조정하는 단계를 포함하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하는 상기 단계는,
    상기 이미지에서의 조정된 후의 목표 대상의 영역을 삼각 분할하는 단계를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득하는 상기 단계는,
    상기 뷰티 소재를 기반으로 상기 분할된 후의 영역에서 텍스처 매핑을 수행하여, 상기 목표 이미지를 획득하는 단계를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    이미지를 획득하는 상기 단계는,
    촬영 조작을 수신하는 단계;
    상기 촬영 조작에 응답하여 촬영함으로써 상기 이미지를 획득하는 단계를 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 목표 대상은 눈썹이고, 상기 뷰티 소재는 눈썹 소재인 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 목표 이미지에 대한 공유 조작이 수신될 경우, 상기 공유 조작의 경로에 따라 상기 목표 이미지를 공유하는 단계를 더 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 방법은,
    상기 목표 이미지에 대한 저장 조작이 수신될 경우, 상기 목표 이미지를 저장하는 단계를 더 포함하는 방법.
  9. 이미지 처리 장치에 있어서,
    얼굴을 포함하는 이미지를 획득하는 처리모듈;
    상기 얼굴 중 목표 대상의 뷰티 소재에 대한 선택 조작을 수신하되, 상기 목표 대상은 얼굴 상의 기관인 수신모듈;을 포함하고,
    상기 처리모듈은 또한 미리 트레이닝된 목표 키포인트 모델을 이용하여 상기 얼굴에서의 상기 목표 대상의 키포인트 위치를 인식하고;
    상기 처리모듈은 또한 상기 키포인트 위치와 상기 뷰티 소재의 형상을 이용하여 상기 얼굴에서의 상기 목표 대상의 형상을 조정하고;
    상기 처리모듈은 또한 상기 이미지에서의 조정된 후의 목표 대상의 영역을 분할하여, 분할된 후의 영역을 획득하고;
    상기 처리모듈은 또한 상기 뷰티 소재를 기반으로 상기 분할된 후의 영역을 채워, 목표 이미지를 획득하는 장치.
  10. 제9항에 있어서, 상기 처리모듈은 구체적으로,
    상기 키포인트 위치를 이용하여 상기 얼굴에서의 상기 목표 대상의 소스 영역을 획득하고;
    상기 소스 영역의 형상을 상기 뷰티 소재의 형상과 유사한 형상으로 조정하는 장치.
  11. 제9항 또는 제10항에 있어서, 상기 처리모듈은 구체적으로,
    상기 이미지에서의 조정된 후의 목표 대상의 영역을 삼각 분할하는 장치.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 처리모듈은 구체적으로,
    상기 뷰티 소재를 기반으로 상기 분할된 후의 영역에서 텍스처 매핑을 수행하여, 상기 목표 이미지를 획득하는 장치.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서, 상기 처리모듈은 구체적으로,
    촬영 조작을 수신하고;
    상기 촬영 조작에 응답하여 촬영함으로써 상기 이미지를 획득하는 장치.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 목표 대상은 눈썹이고, 상기 뷰티 소재는 눈썹 소재인 장치.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서, 상기 처리모듈은 또한,
    상기 목표 이미지에 대한 공유 조작이 수신될 경우, 상기 공유 조작의 경로에 따라 상기 목표 이미지를 공유하는 장치.
  16. 제9항 내지 제15항 중 어느 한 항에 있어서, 상기 처리모듈은 또한,
    상기 목표 이미지에 대한 저장 조작이 수신될 경우, 상기 목표 이미지를 저장하는 장치.
  17. 전자기기에 있어서,
    적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상술한 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 명령인 전자기기.
  18. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    컴퓨터 명령은 상기 컴퓨터가 상술한 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 하는 저장매체.
  19. 컴퓨터 프로그램에 있어서, 프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드는 상술한 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램.
KR1020217015566A 2020-04-29 2020-10-10 이미지 처리 방법 및 장치 KR20210070377A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010358288.5 2020-04-29
CN202010358288.5A CN111563855B (zh) 2020-04-29 2020-04-29 图像处理的方法及装置
PCT/CN2020/120102 WO2021218040A1 (zh) 2020-04-29 2020-10-10 图像处理的方法及装置

Publications (1)

Publication Number Publication Date
KR20210070377A true KR20210070377A (ko) 2021-06-14

Family

ID=76417841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217015566A KR20210070377A (ko) 2020-04-29 2020-10-10 이미지 처리 방법 및 장치

Country Status (3)

Country Link
US (1) US20210279928A1 (ko)
JP (1) JP7183414B2 (ko)
KR (1) KR20210070377A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071386B (zh) * 2023-01-09 2023-10-03 安徽爱朋科技有限公司 一种关节疾病的医学影像的动态分割方法
CN116580133B (zh) * 2023-07-14 2023-09-22 北京大学 图像合成方法、装置、电子设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773657B2 (ja) * 1998-06-18 2006-05-10 株式会社資生堂 眉変形システム
JP4793823B2 (ja) * 2006-04-26 2011-10-12 株式会社メガチップス メークアップアシスト装置および眉毛描画アシスト装置
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP5840528B2 (ja) * 2012-02-21 2016-01-06 花王株式会社 顔画像合成装置及び顔画像合成方法
JP6675384B2 (ja) * 2015-03-27 2020-04-01 株式会社メガチップス 化粧支援システム、計測装置、携帯端末装置およびプログラム
CN109310196B (zh) * 2016-07-14 2021-08-10 松下知识产权经营株式会社 化妆辅助装置以及化妆辅助方法
JPWO2018221092A1 (ja) * 2017-05-31 2020-04-02 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US10939742B2 (en) * 2017-07-13 2021-03-09 Shiseido Company, Limited Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and a method for recommending makeup

Also Published As

Publication number Publication date
US20210279928A1 (en) 2021-09-09
JP7183414B2 (ja) 2022-12-05
JP2022534458A (ja) 2022-08-01

Similar Documents

Publication Publication Date Title
US11587300B2 (en) Method and apparatus for generating three-dimensional virtual image, and storage medium
EP3933751A1 (en) Image processing method and apparatus
US11270488B2 (en) Expression animation data processing method, computer device, and storage medium
US12045925B2 (en) Computing images of head mounted display wearer
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
CN111652828B (zh) 人脸图像生成方法、装置、设备和介质
CN111598818B (zh) 人脸融合模型训练方法、装置及电子设备
CN109151540B (zh) 视频图像的交互处理方法及装置
CN110060348B (zh) 人脸图像整形方法及装置
CN110580733B (zh) 一种数据处理方法、装置和用于数据处理的装置
JP2021119535A (ja) 画像処理方法、装置、電子機器及び記憶媒体
CN111294665A (zh) 视频的生成方法、装置、电子设备及可读存储介质
KR20120005587A (ko) 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
KR20210070377A (ko) 이미지 처리 방법 및 장치
KR20220050106A (ko) 이미지 화질 향상 방법, 장치, 기기 및 매체
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
KR20220083830A (ko) 이미지 처리 방법 및 이미지 합성 방법, 이미지 처리 장치 및 이미지 합성 장치, 그리고 저장 매체
CN110580677A (zh) 一种数据处理方法、装置和用于数据处理的装置
WO2019098872A1 (ru) Способ отображения трехмерного лица объекта и устройство для него
CN111599002A (zh) 用于生成图像的方法和装置
EP3696715A1 (en) Pose recognition method and device
CN116843826A (zh) 柔性物体的三维建模方法、装置、电子设备和存储介质
WO2022042570A1 (zh) 图像处理方法及装置
CN111462007B (zh) 图像处理方法、装置、设备及计算机存储介质
CN113223128B (zh) 用于生成图像的方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application