KR102488563B1 - 차등적 뷰티효과 처리 장치 및 방법 - Google Patents

차등적 뷰티효과 처리 장치 및 방법 Download PDF

Info

Publication number
KR102488563B1
KR102488563B1 KR1020160096577A KR20160096577A KR102488563B1 KR 102488563 B1 KR102488563 B1 KR 102488563B1 KR 1020160096577 A KR1020160096577 A KR 1020160096577A KR 20160096577 A KR20160096577 A KR 20160096577A KR 102488563 B1 KR102488563 B1 KR 102488563B1
Authority
KR
South Korea
Prior art keywords
face
beauty
face image
image
main character
Prior art date
Application number
KR1020160096577A
Other languages
English (en)
Other versions
KR20180013208A (ko
Inventor
이우용
장동훈
성대현
안대훈
원종훈
이기혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160096577A priority Critical patent/KR102488563B1/ko
Priority to PCT/KR2017/007528 priority patent/WO2018021736A1/en
Priority to MYPI2019000109A priority patent/MY197899A/en
Priority to US15/658,058 priority patent/US10303933B2/en
Publication of KR20180013208A publication Critical patent/KR20180013208A/ko
Application granted granted Critical
Publication of KR102488563B1 publication Critical patent/KR102488563B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 다양한 실시예는 차등적 뷰티효과 처리 장치 및 방법에 대하여 개시한다. 본 발명의 일면에 따른 뷰티효과 처리 장치는, 각 영상 프레임 또는 상기 각 영상 프레임에서 추출된 얼굴 영상 중에서 뷰티효과를 적용하지 않을 제외대상을 선별하는 제외대상 검출기; 상기 제외대상을 제외한 각 얼굴 영상 중에서 가장 큰 강도의 상기 뷰티효과를 적용할 주인공을 선정하는 주인공 선정기; 및 상기 주인공과의 이격거리 또는 상기 주인공과 대비한 얼굴 크기에 대응하여 각 얼굴에 적용될 뷰티효과 강도에 대응하는 뷰티레벨을 결정하는 뷰티레벨 결정기를 포함하는 것을 특징으로 한다.

Description

차등적 뷰티효과 처리 장치 및 방법{Apparatus and Method for Processing Differential Beauty Effect}
본 발명의 다양한 실시예는 영상 처리 기술에 관한 것으로서, 더 구체적으로는 각 영상 프레임에 대해 뷰티효과를 차등 적용할 수 있는 차등적 뷰티효과 처리 장치 및 방법에 관한 것이다.
일반적으로, 디지털 영상 처리 장치의 이미지 센서인 CCD 또는 CMOS는 작고 희미한 반점이나 기미 등이 매우 강조하여 촬영하는 특징이 있다. 또한, 디지털 영상 처리 장치는 피사체의 피부의 작은 색상 차이도 강조하므로 사용자의 영상 출력에 대한 희망을 충족시키지 못한다.
이에, 디지털 영상 처리 장치는 얼굴의 거친 부분을 부드럽게 처리하는 뷰티처리 모드를 지원하고 있다. 그런데, 종래의 디지털 영상 처리 장치는 촬영영상 내 모든 얼굴을 일괄적으로 뷰티효과를 적용하였다.
본 발명의 다양한 실시예는 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 각 영상 프레임의 얼굴 크기 또는 상대 거리 기반으로 뷰티효과를 차등적으로 적용할 수 있는 뷰티효과 처리 장치 및 방법을 개시한다.
본 발명의 다양한 실시예는 영상 프레임을 분석하고 그 분석결과에 기반하여 뷰티효과를 적용하지 않을 대상 및 주인공을 선정하며, 선정된 주인공과의 상대적인 위치정보에 기반하여 주변인물에 차등적으로 영상처리를 적용할 수 있다.
본 발명의 일면에 따른 뷰티효과 처리 장치는, 각 영상 프레임 또는 상기 각 영상 프레임에서 추출된 얼굴 영상 중에서 뷰티효과를 적용하지 않을 제외대상을 선별하는 제외대상 검출기; 상기 제외대상을 제외한 각 얼굴 영상 중에서 가장 큰 강도의 상기 뷰티효과를 적용할 주인공을 선정하는 주인공 선정기; 및 상기 주인공과의 이격거리 또는 상기 주인공과 대비한 얼굴 크기에 대응하여 각 얼굴에 적용될 뷰티효과 강도에 대응하는 뷰티레벨을 결정하는 뷰티레벨 결정기를 포함하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 적어도 하나의 프로세서에 의한 뷰티효과 처리 방법은, 각 영상 프레임 또는 상기 각 영상 프레임에서 추출된 얼굴 영상 중에서 뷰티효과를 적용하지 않을 제외대상을 선별하는 단계; 상기 제외대상을 제외한 각 얼굴 영상 중에서 가장 큰 강도의 상기 뷰티효과를 적용할 주인공을 선정하는 단계; 및 상기 주인공과의 이격거리 또는 상기 주인공과 대비한 얼굴 크기에 대응하여 각 얼굴에 적용될 뷰티효과 강도에 대응하는 뷰티레벨을 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 뷰티효과의 적용 효율성을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 뷰티효과 처리 장치를 도시한 구성도이다.
도 2a는 본 발명의 실시예에 따른 주인공 선정기를 도시한 구성도이다.
도 2b는 본 발명의 일 실시예에 따른 뷰티레벨 결정기를 도시한 구성도이다.
도 3a은 본 발명의 다른 실시예에 따른 뷰티효과 처리 장치를 도시한 구성도이다.
도 3b는 본 발명의 다른 실시예에 따른 뷰티레벨을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 뷰티효과 처리 방법을 도시한 흐름도이다.
도 5는 본 발명의 실시예에 따른 주인공 선정 방법을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 뷰티레벨 결정 방법을 도시한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 뷰티효과 미적용 대상 선정 방법을 도시한 흐름도이다.
도 8는 다양한 실시예에 따른 네트워크 환경 내의 전자 장치를 도시한 도면이다.
도 9는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 10은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 뷰티효과 처리 장치를 도시한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 뷰티효과 처리 장치(10)는 제외대상 검출기(110), 전처리기(120), 입력기(130), 저장소(130), 주인공 선정기(150), 뷰티레벨 결정기(160) 및 뷰티효과 처리기(170)를 포함한다.
제외대상 검출기(110)는 각 영상 프레임으로부터 뷰티효과를 적용할 대상을 선별하고, 뷰티효과 적용 대상을 포함하는 영상 프레임을 전처리기(120)에 전달한다. 예를 들어, 제외대상 검출기(110)는 기설정된 뷰티효과 제외대상이 존재하지 않는 영상 프레임을 전처리기(120)에 전달할 수 있다. 각 영상 프레임은 촬영 영상(촬영된 정지영상) 또는 프리뷰(Preview) 영상 프레임일 수 있다.
예를 들어, 제외대상은 각 영상 프레임 내 움직임이 큰 대상, 흐림(Blur)이 있는 대상 및 얼굴이 카메라를 향하지 않은 대상 중 적어도 하나를 포함할 수 있다. 일 예로서, 제외대상 검출기(110)는 각 영상 프레임의 차로부터 각 대상의 움직임을 확인하고, 각 대상의 움직임이 촬영 시에 블러링으로 이어질 수 있는 임계움직임 이상으로 움직임이 큰 대상을 제외대상으로 선정할 수 있다. 타 예로서, 제외대상 검출기(110)는 직전 영상 프레임과 현재 프레임 간의 에지(Edge)의 명암(Contrast) 및 강도(Sharpness) 중 적어도 하나의 에지 변화를 확인할 수 있다. 제외대상 검출기(110)는 에지 변화가 기설정된 임계변화 이상인 대상을 흐림이 있는 대상으로 선정할 수 있다.
또 다른 예로서, 제외대상 검출기(110)는 각 얼굴 영상이 카메라를 바라보고 있지 않으면, 제외대상으로 선정할 수 있다. 제외대상 검출기(110)는 각 얼굴 영상에 두 눈이 모두 검출되지 않으면, 카메라를 바라보고 있지 않는 것으로 확인할 수 있다. 제외대상 검출기(110)는 뷰 파인더 내 얼굴의 너비와 높이가 특정 임계값 미만이면, 제외대상으로 선정할 수 있다. 또 다른 예로서, 제외대상 검출기(110)는 사용자가 영상 프레임의 특정 영역 내의 사람에 뷰티 효과를 적용하도록 설정하였다면, 그 영역 밖에 있는 사람들을 제외대상으로 선정할 수 있다.
전처리기(120)는 눈, 코 및 입 중 적어도 하나를 포함하는 얼굴 특징을 이용하여 선별된 영상 프레임에 포함된 모든 얼굴을 추출하고, 추출된 각 얼굴을 포함하는 적어도 하나의 얼굴 영상을 생성한다. 일 예로서, 전처리기(120)는 선별된 영상 프레임에 포함된 모든 얼굴을 기설정된 형상(예: 사각형)으로 오리기하여 적어도 하나의 얼굴 영상을 생성할 수 있다. 타 예로서, 전처리기(120)는 선별된 영상 프레임 내 모든 얼굴 영역을 포함하도록 영상 프레임의 일부를 자름에 따라 모든 얼굴을 포함하는 얼굴 영상을 생성할 수도 있다. 이하에서는 전자와 같이 각 얼굴 영상이 하나의 얼굴을 포함하는 경우를 예로 들어 설명한다.
본 발명의 일 실시예에 따르면, 전처리기(120)는 영상 프레임에서 얼굴을 검출할 수 없을 경우에는 주인공 선정기(150)에 전달하지 않을 수 있다. 주인공 선정기(150)는 얼굴 영상을 전달받지 않을 경우에는 대기 모드로 구동하고, 얼굴 영상을 전달받은 경우에만 구동 모드로 구동하여 전원을 절감할 수 있다.
본 발명의 일 실시예에 따르면, 전처리기(120)는 각기 생성된 얼굴 영상 중에서 기설정된 임계크기 미만인 얼굴을 포함하는 얼굴 영상을 제외대상으로 결정하여 주인공 선정기(150)에 전달하지 않을 수 있다. 예를 들어, 임계크기는 뷰티효과를 적용하더라도 그 효과가 사용자에 의해 거의 식별되지 않을 정도의 크기로 결정될 수 있다. 임계크기는 각 영상 프레임 내 포함된 얼굴의 크기를 변화시키며 뷰티효과를 적용한 시험결과를 이용하여 경험적으로 설정될 수 있다.
전처리기(120)는 일 영상 프레임으로부터 추출된 얼굴 영상의 총 수가 기설정된 임계개수를 초과하면, 일 영상 프레임을 제외대상으로 결정할 수 있다. 본 발명의 실시예에 따르면, 뷰티효과 처리기(170)(예: 뷰티효과 처리 엔진)가 그 성능제약으로 인해 한 번에 처리할 수 있는 얼굴 개수는 한정적일 수 있다. 본 발명의 실시예는 뷰티효과 처리기(170)에 의해 한 번에 처리되는 최대 얼굴 개수를 제한함에 따라 뷰티효과 적용의 효율을 높일 수 있다. 예를 들어, 임계개수는 뷰티효과 처리기(170)에 의해 처리 가능한 최대 얼굴 개수일 수도 있다. 다른 예로서, 임계개수는 뷰티효과를 적용하더라도 사용자에 의해 효과가 거의 식별되지 않을 얼굴개수로서, 실험적으로 결정될 수 있다. 예를 들어, 뷰티효과 처리기(170)는 다수의 얼굴이 화면상에 있을 시 뷰티엔진의 성능에 따라 뷰티효과의 강도를 달리 설정할 수 있다. 뷰티효과 처리기(170)는 다수의 얼굴에 대해 전체적으로 약하게 뷰티효과를 설정할 수 있으며, 전체적으로 뷰티효과를 적용하지 않을 수도 있다.
입력기(130)는 각 영상 프레임에 대한 뷰티효과의 적용 여부, 얼굴 중에서 뷰티효과를 적용할 얼굴의 선택 및 향후 뷰티효과를 적용할 얼굴의 등록 중 적어도 하나에 대한 입력 인터페이스를 제공한다. 예를 들어, 사용자는 프리뷰 화면 또는 촬영된 영상에 대해 뷰티효과를 적용하기 위해 입력기(130)를 통해서 프리뷰 화면 또는 촬영 영상에 대한 뷰티효과 적용 기능을 선택할 수 있다.
주인공 선정기(150)는 입력기(130)를 통해 실시간 선택된 얼굴, 기등록된 얼굴, 각 얼굴 영상의 크기와 카메라와의 거리 중 적어도 하나를 이용하여 검출된 얼굴 중에서 주인공을 선정한다. 주인공은 가장 큰 뷰티효과를 적용할 대상일 수 있다.
일 예로서, 주인공 선정기(150)는 얼굴 영상 중에 기등록된 얼굴이 존재할 경우에는 존재하는 기등록된 얼굴 중에서 카메라와의 거리가 가장 가깝거나, 얼굴 크기가 가장 큰 얼굴 영상을 주인공으로 선택될 수 있다. 타 예로서, 주인공 선정기(150)는 기등록된 얼굴 영상이 존재하지 않은 경우에는 카메라와의 거리가 가장 가깝거나, 얼굴 크기가 가장 큰 얼굴 영상을 주인공으로 선택할 수 있다. 다른 예로서, 주인공 선정기(150)는 얼굴 영상 중에서 어느 하나의 얼굴 영상에 대한 사용자의 선택이 확인된 경우에는 선택된 얼굴을 주인공으로 선정할 수 있다. 예를 들어, 사용자는 프리뷰 영상 또는 촬영 영상에서 특정 얼굴을 선택함에 따라 주인공을 선정할 수 있다.
본 발명의 일 실시예에 따르면, 주인공 선정기(150)는 얼굴 영상에 대응하는 깊이 정보가 존재하는 경우에는 각 얼굴 영상에 대응하는 깊이 정보를 기반으로 주인공을 선정할 수 있다. 각 얼굴 영상에 대응하는 깊이 정보가 존재하지 않을 경우에는 주인공 선정기(150)는 얼굴 크기를 기반으로 주인공을 선정할 수 있다.
예를 들어, 영상 프레임이 적외선 카메라와 전/후면 카메라를 동시에 사용하여 촬영되거나 듀얼 카메라로 촬영된 경우, 얼굴 영상에 대응하는 깊이 정보가 존재할 수 있다. 또는, 얼굴 영상에 대응하는 깊이 정보는 영상 프레임의 촬영과 동시에 깊이 2PD 센서에 의해 측정되어 각 영상 프레임과 연관된 것일 수 있다.
뷰티레벨 결정기(160)는 주인공을 가장 큰 뷰티레벨을 할당하고, 그외 얼굴의 크기 또는 주인공과의 상대거리를 기반으로 각 얼굴에 적용할 뷰티레벨을 결정한다. 예를 들어, 뷰티레벨 결정기(160)는 각 얼굴 영상의 구도가 수평선 구도이면, 각 얼굴 영상의 깊이 정보 또는 크기를 기반으로 주인공과의 상대거리에 기반하여 뷰티레벨을 결정할 수 있다. 예를 들어, 뷰티레벨 결정기(160)는 각 얼굴 영상의 구도가 수평선 구도가 아니면, 각 얼굴 영상의 영상 프레임 상의 (x, y) 좌표에 따른 주인공과의 상대거리에 기반하여 뷰티레벨을 결정할 수 있다. 수평선 구도는 영상 프레임 상에 얼굴 영상이 거의 유사한 거리에 위치하는 구도일 수 있다.
뷰티효과 처리기(170)는 각 얼굴에 대해 얼굴별 뷰티레벨에 대응하는 뷰티효과를 적용한다. 예를 들어, 뷰티효과 처리기(170)는 각 얼굴 영역에 대한 화이트닝(Whitening), 스무딩(smoothing) 및 슬리밍(Sliming) 중 적어도 하나를 처리할 수 있다.
뷰티효과 처리기(170)는 각 얼굴 영역들에 대해서 서로 다른 강도로 화이트닝(Whitening), 스무딩(smoothing) 및 슬리밍(Sliming) 중 적어도 하나를 처리할 수 있다. 스무딩은 각 얼굴에서 세세한 부분들을 제거해 주어 영상을 부드럽고 화사하게 해주는 처리일 수 있다. 예를 들어, 스무딩은 픽셀들의 값을 평균화시키는 필터(예: 저대역 필터 또는 가우시안 블러 필터)를 사용하는 블러링(Blurring) 처리일 수 있다.
본 발명의 다른 실시예에 따르면, 전처리기(120), 주인공 선정기(150) 및 뷰티레벨 결정기(160) 중 적어도 하나 제외대상 검출기(110)를 대신하여 얼굴 영상 내 카메라를 향하지 않는 얼굴 영상 및 임계크기 미만의 얼굴 영상을 뷰티효과 적용 대상에서 제외시킬 수도 있다. 뷰티효과 처리 장치(10)는 뷰티효과 적용 대상에서 제외된 얼굴 영상이 존재하는 경우, 뷰티효과 비적용에 대해 사용자에게 안내할 수 있다.
본 발명의 다른 실시예에 따르면, 제외대상 검출기(110)는 전처리기(120)에 의해 검출된 얼굴 영상을 수신하여 뷰티효과를 적용하지 않을 제외대상을 더 선정할 수도 있다. 제외대상 검출기(110)는 주인공 선정기(150)에 의해 선정된 주인공 정보를 확인하고, 주인공을 기준으로 뷰티효과 제외대상을 선정할 수도 있습니다. 예를 들어, 제외대상 검출기(110)는 주인공과의 상대거리가 먼 얼굴(예: 의도치 않게 촬영된 얼굴 등)을 제외대상으로 선정할 수 있다.
본 발명의 실시예에 따르면, 촬영 영상 또는 프리뷰 영상의 각 영상 프레임에서 뷰티효과 적용의 효과가 큰 주인공을 선정하여 효율적으로 뷰티효과를 적용할 수 있다. 본 발명의 실시예는 블러링이 발생한 대상, 움직임이 큰 대상과 같이 뷰티효과를 적용하더라도 그 효과가 미미한 얼굴에 대한 불필요한 뷰티효과 처리 방지하여 불필요한 연산 발생을 방지할 수 있다.
이하, 도 2a를 참조하여 본 발명의 실시예에 따른 주인공 선정기에 대하여 설명한다. 도 2a는 본 발명의 실시예에 따른 주인공 선정기를 도시한 구성도이다.
도 2a에 도시된 바와 같이, 본 발명의 실시예에 따른 주인공 선정기(150)는 분류부(151), 크기 검출부(153) 및 주인공 결정부(155)를 포함한다.
분류부(151)는 각 얼굴 영상에서 기등록된 얼굴이 존재하는지를 확인한다. 예를 들어, 분류부(151)는 각 얼굴 영상에서 특징값을 추출하고, 각 얼굴 영상의 추출된 특징값과 저장소(130) 내 등록된 얼굴 특징값과 일치하면, 해당 얼굴이 기등록된 얼굴인 것으로 확인할 수 있다. 예를 들어, 분류부(151)는 기계학습 기반의 분류기일 수 있다.
크기 검출부(153)는 각 얼굴 영상에 대응하는 깊이 정보가 존재하지 않는 경우에는 각 얼굴 영상의 크기를 검출할 수 있다. 예를 들어, 얼굴크기 검출부(153)는 각 얼굴 영상의 중심을 기준으로 가로와 세로의 크기를 검출할 수 있다.
주인공 결정부(155)는 각 얼굴 영상의 깊이 정보 및 크기 정보 중 적어도 하나를 기반으로 얼굴 영상 내 가장 큰 뷰티효과를 적용할 주인공을 결정한다.
일 예로서, 주인공 결정부(155)는 등록된 얼굴이 존재할 경우에는 영상 프레임에서 추출된 등록된 얼굴 영상과 일치하는 얼굴 영상 중에서 카메라와의 거리가 가장 가깝거나, 얼굴 크기가 가장 큰 얼굴을 주인공으로 결정할 수 있다. 타 예로서, 주인공 결정부(155)는 등록된 얼굴이 존재하지 않은 경우에는 카메라와의 거리가 가장 가깝거나, 얼굴 크기가 가장 큰 얼굴 영상을 주인공으로 결정할 수 있다. 다른 예로서, 주인공 결정부(155)는 사용자에 의해 선택된 얼굴이 존재하는 경우에는 선택된 얼굴을 주인공으로 결정할 수 있다. 이 경우, 주인공 결정부(155), 분류부(151) 및 크기 검출부(153)는 주인공 선정을 위한 처리를 별도로 수행하지 않을 수도 있다. 예를 들어, 주인공 결정부(155)는 각 얼굴 영상에 대응하는 깊이(Depth) 정보를 이용하여 카메라와의 거리를 알 수 있다.
주인공 결정부(155)는 얼굴 영상 내 가장 큰 얼굴이 기설정된 임계크기 이하일 경우에는 선택 얼굴 및 등록 얼굴이더라도 주인공을 선정하지 않을 수 있다. 예를 들어, 임계크기는 각 영상 프레임의 전체 영역에서 얼굴 영상 내 가장 큰 얼굴이 차지하는 비율에 의해 실험에 의해 설정될 수 있다. 임계크기는 뷰티효과를 적용하더라도 사용자에 의해 그 효과가 거의 식별되지 않는 크기일 수 있다.
주인공 결정부(155)는 주인공 얼굴의 위치정보를 포함하는 주인공 정보를 출력할 수 있다. 주인공 결정부(155)는 각 얼굴 영상의 크기를 검출할 경우에는 주인공 및 다른 얼굴의 크기 정보를 더 출력할 수 있다.
본 발명의 일 실시예에 따르면, 뷰티효과 적용 장치(10)는 뷰티효과를 적용할 얼굴에 대한 등록 기능을 지원할 수 있다. 사용자는 프리뷰 화면 또는 촬영 영상의 어느 프레임에서 특정 영역을 드래그하여 등록할 얼굴을 선택할 수 있다. 전처리기(120)는 각 영상 프레임에서 사용자에 의해 선택된 얼굴을 포함하는 얼굴 영상을 추출한다. 분류부(151)는 선택된 얼굴 영역으로부터 각 얼굴 영상의 특징값을 추출하여 등록된 얼굴 정보로서 저장소(130)에 저장할 수 있다.
본 발명의 실시예에 따른 뷰티효과 처리 장치(10)는 우선순위 선정부(미도시)를 더 포함할 수 있다. 예를 들어, 우선순위 선정부(미도시)는 입력기(130)를 통해 선정된 등록된 얼굴의 우선순위를 확인하고, 각 얼굴 영상의 특징값과 우선순위를 연관시켜 저장소(130)에 저장시킬 수도 있다.
이하, 도 2b를 참조하여 본 발명의 실시예에 따른 뷰티레벨 결정기에 대하여 설명한다. 도 2b는 본 발명의 일 실시예에 따른 뷰티레벨 결정기를 도시한 구성도이다.
도 2b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뷰티레벨 결정기(160)는 구도 확인부(161), 거리 산출부(163), 크기 산출부(169), 임계치 결정부(165) 및 레벨 결정부(167)를 포함한다.
구도 확인부(161)는 검출된 모든 얼굴 영상의 좌표를 이용하여 각 얼굴 영상이 수평선 구도인지를 확인한다. 예를 들어, 구도 확인부(161)는 검출된 모든 얼굴 영상의 y좌표가 기설정된 임계범위 내에 있으면, 각 얼굴 영상이 수평선 구도인 것으로 확인할 수 있다. 구도 확인부(161)는 검출된 모든 얼굴 영상의 y좌표가 기설정된 임계범위 내에 있지 않으면, 각 얼굴 영상의 구도가 수평선 구도가 아닌 것으로 확인할 수 있다.
거리 산출부(163)는 각 얼굴 영상의 주인공과의 상대거리를 산출한다. 예를 들어, 거리 산출부(163)는 얼굴 영상에 대응하는 깊이 정보가 존재하는 경우에는 깊이 정보를 이용하여 주인공과의 거리를 산출할 수 있다. 다른 예로서, 거리 산출부(163)는 각 얼굴 영상의 구도가 수평선 구도가 아닐 경우에는 각 얼굴 영상의 (x, y) 좌표를 이용하여 각 얼굴 영상의 상대거리를 산출할 수 있다.
크기 산출부(169)는 각 얼굴 영상의 크기를 산출한다. 예를 들어, 크기 산출부(169)는 각 얼굴 영상의 좌표에 기준한 가로 세로 크기의 곱으로 각 얼굴의 크기를 산출할 수 있다. 예를 들어, 각 영상 프레임이 항상 깊이 정보를 포함하는 형태로 촬영되는 경우에 각 얼굴 영상의 크기는 별도로 산출되지 않아도 되므로, 크기 산출부(169)는 생략될 수 있다.
임계치 결정부(165)는 각 얼굴과 주인공의 상대거리(또는, 상대크기)의 최대치와 기설정된 단계의 개수를 이용하여 상대적인 레벨 임계치를 산출한다. 예를 들어, 임계치 결정부(165)는 각 얼굴과 주인공의 상대거리의 최대값을 기설정된 단계의 개수(예: 3)로 제산한 결과를 이용하여 뷰티레벨의 각 단계의 임계치를 결정할 수 있다. 만약, 레벨 결정부(167)가 절대 레벨 임계치(예: 고정상수)를 사용하는 경우에는 임계치 결정부(165)는 생략될 수 있다.
레벨 결정부(167)는 각 얼굴 영상의 상대거리와 각 레벨의 임계치를 비교하여 각 얼굴 영상의 뷰티효과 강도에 대응하는 뷰티레벨을 결정할 수 있다. 예를 들어, 레벨 결정부(167)는 상대거리가 제1 임계치 미만인 얼굴 영상에 대해서는 주인공과 동일 강도의 뷰티레벨 1로 결정하고 제1 임계치 이상 제2 임계치 미만일 경우에는 중간 강도의 뷰티레벨 2로 결정하고, 제2 임계치 이상일 경우에는 가장 낮은 강도의 뷰티레벨 3으로 결정할 수 있다. 다른 예로서, 뷰티레벨 결정부(167)는 각 얼굴 영상의 상대크기와 각 레벨 임계치를 비교하여 각 얼굴 영상의 뷰티레벨을 결정할 수 있다.
한편, 뷰티레벨 결정기(160)는 거리 산출부(163)에 의해 산출된 주인공과의 상대거리가 기설정된 최대거리를 초과할 경우에는 해당 얼굴 영상을 뷰티효과 적용 대상에서 제외시킬 수 있다.
이하, 도 3a 및 3b를 참조하여 본 발명의 다른 실시예에 따른 뷰티효과 처리 장치에 대하여 설명한다. 도 3a은 본 발명의 다른 실시예에 따른 뷰티효과 처리 장치를 도시한 구성도이고, 도 3b는 본 발명의 다른 실시예에 따른 뷰티레벨을 설명하기 위한 도면이다.
도 3a에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 뷰티효과 처리 장치(10')는 제외대상 검출기(110'), 전처리기(120'), 입력기(130'), 저장소(140'), 주인공 선정기(150'), 뷰티레벨 결정기(160') 및 뷰티효과 처리기(170') 이외에도 제스처 감지기(180) 및 심도 확인기(190)를 더 포함한다. 이하, 본 발명의 일 실시예와 구별되는 본 발명의 다른 실시예에 따른 뷰티효과 처리 장치(10')의 구성요소를 중심으로 설명한다.
제스처 감지기(180)는 프리뷰 영상 프레임을 분석하여 기등록된 제스처가 감지되는지를 확인한다. 예를 들어, 제스처는 특정 손동작(예: 브이 제스처)일 수 있고, 특정 표정(예: 윙크 등)일 수도 있다.
심도 확인기(190)는 깊이 정보, 거리 정보 및 초점 거리 중 적어도 하나를 이용하여 각 얼굴 영상의 심도를 확인할 수 있다. 일 예로서, 심도 확인기(190)는 깊이 정보에 기반하여 각 얼굴 영상의 심도를 확인할 수 있다. 타 예로서, 심도 확인기(190)는 거리 센서에 의해 검출된 촬영 대상과의 거리를 이용하여 각 얼굴 영상의 심도를 확인할 수 있다. 다른 예로서, 심도 확인기(190)는 카메라의 초점거리에 기반하여 얼굴 영상의 심도를 확인할 수도 있다. 자동 초점 조절 기능이 있는 카메라일 경우, 심도 확인기(190)는 카메라로부터 초점거리를 확인할 수 있다. 자동 초점 기능이 없는 카메라일 경우, 심도 확인기(190)는 각 얼굴 영상에 초점을 맞추는 처리를 수행하여 각 얼굴 영상의 심도를 확인할 수도 있다.
주인공 선정기(150')는 입력기(130'), 특정 제스처, 특정 제스처 및 특정 대상을 이용한 사용자의 실시간 선택, 등록 얼굴, 얼굴 크기와 거리 중 적어도 하나를 이용하여 검출된 얼굴 영상 중에서 주인공을 선정한다.
일 예로서, 주인공 선정기(150')는 카메라를 통해 촬영되는 대상자가 카메라를 향해 특정 제스처를 취함을 감지하면, 특정 제스처를 취하는 대상의 얼굴 영상을 주인공으로 선정될 수 있다. 타 예로서, 주인공 선정기(150')는 카메라에 기등록된 특정 대상(예: 손)을 감지하면, 특정 대상이 위치에 근접한 얼굴 영상을 주인공으로 선정할 수도 있다. 다른 예로서, 주인공 선정기(150')는 카메라의 심도에 가장 근접한 얼굴 영상을 주인공으로 선정할 수 있다. 또 다른 예로서, 주인공 선정기(150')는 심도가 높으면서 카메라와의 거리가 작은 얼굴 영상 또는 얼굴크기의 값이 큰 얼굴 영상을 주인공으로 선정할 수 있다.
뷰티레벨 결정기(160')는 주인공을 포함하는 얼굴 영상에 대해서 뷰티레벨을 결정한다. 예를 들어, 뷰티레벨 결정기(160')는 주인공에 가장 큰 강도의 뷰티레벨을 결정하고, 다른 얼굴 영상에 대해서는 주인공과의 상대거리 또는 상대크기를 기반으로 뷰티레벨을 결정할 수 있다.
뷰티레벨 결정기(160')는 각 얼굴 영상의 심도 또는 카메라 심도에의 근접도를 더 고려하여 뷰티레벨을 결정할 수 있다. 일 예로서, 뷰티레벨 결정기(160')는 각 얼굴 영상이 2차원 영상일 경우에는 주인공을 포함하는 얼굴 영상의 심도를 확인하고, 주인공과 동일 심도의 얼굴 영상을 주인공과 동일한 뷰티레벨로 결정할 수 있다. 타 예로서, 뷰티레벨 결정기(160')는 각 얼굴 영상의 카메라 심도에의 근접도 또는 이격도를 고려하여 뷰티레벨을 결정할 수 있다.
카메라는 촬영 대상이 그 특성에 따른 심도 내 있을 때 가장 선명하게 촬영하며, 촬영 대상이 카메라의 심도에서 벗어나면 흐리게 촬영하는 특징이 있다. 또한, 촬영 영상의 심도는 촬영 대상이 심도에서 벗어난 정도에 따라 이산적으로(discrete) 낮아지는 특징이 있다.
도 3b을 참조하여, 일 영상 프레임에 A, B, C, D, E 얼굴 영상이 포함되고, A와 B, C, D, E 얼굴 영상이 각기 다른 심도로 촬영되는 영역(총 3단계)에 위치하는 경우에 대하여 설명한다. ㉮는 카메라의 특성에 따른 심도 내 가장 큰 제1심도로 촬영되는 영역이고, ㉯, ㉰는 카메라 심도로부터 다소 이격되어 제2심도로 촬영되는 영역이, ㉱, ㉲는 카메라 심도로부터 더 이격되어 제3심도로 촬영되는 영역일 수 있다.
A와 B 얼굴 영상은 카메라의 심도 내 제1영역에 위치하므로 선명하게 촬영될 수 있다. 반면, C와 F 얼굴 영상은 카메라의 심도에서 다소 이격된 제2영역에 위치하므로 A와 B 얼굴 영상에 대비할 때 심도가 떨어질 수 있다. 얼굴 영상 D는 카메라의 심도에서 더 많이 이격 된 제3영역에 위치하므로, C 얼굴 영상보다 더 심도가 떨어질 것이다.
주인공 선정기(150')는 A와 B 중에서 가장 크기가 크거나, 카메라와 가장 거리가 가까운 얼굴 영상을 주인공으로 선정한다. 예를 들어, 주인공 선정기(150')는 A와 B의 거리가 거의 유사한 경우에는 A와 B중 크기가 큰 얼굴 영상을 주인공으로 선정할 수 있다.
뷰티레벨 결정기(160')는 A와 B 얼굴 영상의 뷰티레벨을 가장 강도가 높은 1레벨로 결정할 수 있다. 뷰티레벨 결정기(160')는 카메라와의 이격거리는 상호 다르지만, 동일한 심도로 촬영될 수 있는 영역에 있는 C와 F 얼굴 영상의 뷰티레벨을 중간 뷰티효과 강도의 2레벨로 결정할 수 있다. 뷰티레벨 결정기(160')는 가장 낮은 심도로 촬영되는 영역에 위치하는 D 얼굴 영상의 뷰티레벨을 가장 약한 뷰티효과 강도의 3레벨로 결정할 수 있다.
뷰티효과 처리기(170')는 A, B 얼굴 영상에 대해 1레벨의 뷰티효과를 적용하고, C, F 얼굴 영상에 대해 2레벨의 뷰티효과를 적용하고, D 얼굴 영상에 대해 3레벨의 뷰티효과를 적용할 수 있다.
이하, 도 4를 참조하여 본 발명의 실시예에 따른 뷰티효과 처리 방법에 대하여 설명한다. 도 4는 본 발명의 실시예에 따른 뷰티효과 처리 방법을 도시한 흐름도이다.
도 4를 참조하면, 동작 410에서, 뷰티효과 처리 장치(10)는 프리뷰 모드 또는 촬영 영상 뷰 모드에서 뷰티효과 기능이 선택되는지를 확인한다. 뷰티효과 처리 장치(10)는 프리뷰 중인 영상 프레임에 대해서 차등적 뷰티효과를 적용할 수 있다. 뷰티효과 처리 장치는 촬영된 영상에 대해 차등적 뷰티효과를 적용할 수도 있다.
동작 420에서, 뷰티효과 기능이 선택되면, 뷰티효과 처리 장치(10)는 영상 프레임에 대한 입력기(130), 특정 제스처 및 특정 대상을 이용한 사용자의 선택이 있는지를 확인한다. 일 예로서, 뷰티효과 처리 장치(10)를 조작하는 사용자는 입력기(130)를 통해 프리뷰 중인 화면을 선택하여 주인공을 선택할 수 있다. 타 예로서, 뷰티효과 처리 장치(10)는 카메라를 통해 촬영되는 대상자가 카메라를 향해 특정 제스처를 취함을 감지하면, 특정 제스처를 취하는 대상의 얼굴을 주인공으로 선정될 수 있다. 뷰티효과 처리 장치(10)는 제스처 감지수단을 더 포함할 수 있다. 다른 예로서, 뷰티효과 처리 장치(10)는 카메라에 촬영되는 대상자가 손 등으로 특정인을 선택함을 감지하면, 감지된 특정인의 얼굴을 주인공으로 선정할 수도 있다. 뷰티효과 처리 장치(10)는 얼굴뿐만 아니라, 사용자의 다른 바디(손바닥)나 물체 등을 등록하는 기능을 더 제공할 수 있다.
동작 430에서, 사용자의 선택이 있으면, 뷰티효과 처리 장치(10)는 선택된 얼굴 영상을 주인공으로 선정한다. 예를 들어, 뷰티효과 처리 장치(10)는 영상 촬영 시에도 선정된 주인공에 포커스를 맞추어 영상을 촬영할 수도 있다.
동작 440에서, 사용자의 선택이 없으면, 뷰티효과 처리 장치(10)는 얼굴 영상 중에서 기등록된 얼굴 영상이 존재하는지를 확인한다.
동작 450에서 기등록된 얼굴 영상이 존재하면, 뷰티효과 처리 장치(10)는 기등록된 얼굴 영상 중에서 카메라와 가장 거리가 가깝거나 가장 크기가 큰 얼굴 영상을 주인공으로 선정할 수 있다.
동작 460에서, 기등록된 얼굴 영상이 존재하지 않으면, 뷰티효과 처리 장치(10)는 검출 얼굴 영상 중에서 카메라와 가장 거리가 가깝거나 가장 크기가 큰 얼굴 영상을 주인공으로 선정할 수 있다.
동작 470에서, 뷰티효과 처리 장치(10)는 주인공에 대해 가장 큰 뷰티레벨을 결정하고 주인공과의 상대 거리 또는 상대 크기 기반으로 다른 얼굴 영상의 뷰티레벨을 결정할 수 있다.
이하, 도 5를 참조하여 본 발명의 실시예에 따른 주인공 선정 방법에 대하여 설명한다. 도 5는 본 발명의 실시예에 따른 주인공 선정 방법을 도시한 흐름도이다.
도 5를 참조하면, 동작 500에서, 주인공 선정기(150)는 사용자에 의해 특정 얼굴이 선택되었는지를 확인한다.
동작 510에서, 사용자에 의해 특정 얼굴이 선택되면, 주인공 선정기(150)는 선택된 얼굴을 주인공으로 선택한다.
동작 520에서, 사용자에 의해 특정 얼굴이 선택되지 않으면, 주인공 선정기(150)는 검출된 얼굴 중에서 카메라를 쳐다보는 얼굴을 검출한다.
동작 530에서, 주인공 선정기(150)는 검출된 얼굴 중에 등록된 얼굴이 존재하는지를 확인한다.
동작 540에서, 주인공 선정기(150)는 등록된 얼굴이 존재하면, 얼굴 영상에 깊이 정보가 존재하는지 여부를 확인한다.
동작 550에서, 주인공 선정기(150)는 등록된 얼굴에 대응하는 깊이 정보가 존재하면, 등록된 얼굴 중에서 거리가 가장 가까운 얼굴을 주인공으로 선정한다.
동작 560에, 주인공 선정기(150)는 등록된 얼굴에 대응하는 깊이 정보가 존재하지 않으면, 등록된 얼굴 중에서 가장 큰 얼굴을 주인공으로 선정한다.
동작 570에서, 주인공 선정기(150)는 등록된 얼굴이 존재하지 않으면, 검출된 얼굴에 대응하는 깊이 정보가 존재하는지 여부를 확인한다.
동작 580에서, 주인공 선정기(150)는 검출된 얼굴에 대응하는 깊이 정보가 존재하면, 검출된 얼굴 중에서 거리가 가장 가까운 얼굴을 주인공으로 선정한다.
동작 590에서, 주인공 선정기(150)는 검출된 얼굴에 대응하는 깊이 정보가 존재하지 않으면, 검출된 얼굴 중에서 얼굴 크기가 가장 가까운 얼굴을 주인공으로 선정한다.
이와 같이, 본 발명의 실시예에서는 각 영상 프레임에서 뷰티효과를 적용할 경우에 가장 효과적인 대상(주인공)을 선정하여 뷰티효과 처리에 따른 사용자 만족도를 높일 수 있다.
이하, 도 6을 참조하여 본 발명의 실시예에 따른 뷰티레벨 결정 방법에 대하여 설명한다. 도 6은 본 발명의 실시예에 따른 뷰티레벨 결정 방법을 도시한 흐름도이다.
도 6을 참조하면, 동작 610에서, 뷰티레벨 결정기(160)는 검출된 얼굴의 위치를 이용하여 검출된 얼굴의 구도를 확인한다. 예를 들어, 뷰티레벨 결정기(160)는 영상 프레임의 전체에 기준한 검출된 얼굴의 (x,y) 좌표를 이용하여 검출된 얼굴의 구도를 확인할 수 있다.
동작 620에서, 뷰티레벨 결정기(160)는 검출된 얼굴이 수평선 구도로 위치하는지를 확인한다. 일 예로서, 뷰티레벨 결정기(160)는 각 얼굴 영상의 (x,y) 좌표, 얼굴 크기 및 거리 정보 중 적어도 하나에 의해 검출된 얼굴이 수평선 구도인지를 확인할 수 있다. 타 예로서, 뷰티레벨 결정기(160)는 검출된 얼굴의 y값이 기설정된 임계거리 이내로 변화하는 경우에 검출된 얼굴이 수평선 구도로 위치하는 것으로 판단할 수 있다.
동작 630에서, 뷰티레벨 결정기(160)는 검출된 얼굴이 수평선 구도로 위치하면, 검출된 얼굴에 대응하는 깊이 정보가 존재하는지를 확인한다.
동작 640에서, 뷰티레벨 결정기(160)는 검출된 얼굴에 대응하는 깊이 정보가 존재하면, 깊이 정보를 대응하는 상대거리에 따라 뷰티레벨을 결정한다. 예를 들어, 뷰티레벨 결정기(160)는 주인공 얼굴과 다른 얼굴의 깊이값의 차를 기반으로 각 얼굴 영상의 상대거리를 산출할 수 있다. 뷰티레벨 결정기(160)는 산출된 각 얼굴 영상의 상대거리와 기설정된 각 뷰티레벨의 임계거리를 비교하여 각 얼굴 영상의 뷰티효과의 레벨을 결정할 수 있다.
동작 650에서, 뷰티레벨 결정기(160)는 검출된 얼굴에 대응하는 깊이 정보가 존재하지 않으면, 검출된 얼굴의 크기에 기반하여 뷰티효과의 레벨을 결정한다. 예를 들어, 뷰티레벨 결정기(160)는 검출된 얼굴과 주인공 얼굴과의 크기 차이를 기반으로 차등적으로 뷰티레벨을 결정할 수 있다. 예를 들어, 뷰티레벨 결정기(160)는 검출된 얼굴의 주인공과의 크기 차이를 확인하고, 주인공과 유사한 크기의 얼굴 - 기설정된 임계크기 내의 차이를 갖는 얼굴 - 을 주인공과 동일한 뷰티레벨로 결정할 수 있다.
동작 660에서, 검출된 얼굴이 수평선 구도로 위치하지 않으면, 뷰티레벨 결정기(160)는 영상 프레임 상의 주인공과의 상대거리에 따라 뷰티레벨을 차등적으로 결정할 수 있다.
이하, 도 7을 참조하여 본 발명의 다른 실시예에 따른 뷰티효과 미적용 대상 선정 방법에 대하여 설명한다. 도 7은 본 발명의 다른 실시예에 따른 뷰티효과 미적용 대상 선정 방법을 도시한 흐름도이다.
도 7을 참조하면, 동작 710에서, 뷰티효과 처리 장치(10)는 검출된 얼굴과 주인공과의 상대거리, 검출된 얼굴의 방향 및 움직임 여부를 판단한다. 일 예로서, 뷰티효과 처리 장치(10)는 검출된 얼굴과 주인공 얼굴의 좌표를 이용하여 각 얼굴과 주인공과의 상대거리를 산출할 수 있다. 타 예로서, 뷰티효과 처리 장치(10)는 검출된 얼굴에서 눈, 코, 입 중 적어도 하나의 위치를 기반으로 검출된 얼굴의 방향을 확인할 수 있다. 또 다른 예로서, 뷰티효과 처리 장치(10)는 직전 영상 프레임과 현재 영상 프레임에서 각기 검출된 얼굴의 (x, y) 좌표 변화를 이용하여 검출된 얼굴의 움직임 여부를 판단할 수 있다.
동작 720에서, 뷰티효과 처리 장치(10)는 검출된 얼굴의 크기가 주인공 얼굴에 대비하여 매우 작은 비율인지를 확인한다.
동작 730에서, 주인공 얼굴에 대비한 검출된 얼굴이 비율이 기설정된 최저비율은 아니면, 뷰티효과 처리 장치(10)는 검출된 얼굴이 카메라를 향하지 않은지를 확인한다
동작 740에서, 검출된 얼굴이 카메라를 향하지 않으면, 뷰티효과 처리 장치(10)는 검출된 얼굴이 움직임이 발생하는지를 확인한다.
동작 750에서, 뷰티효과 처리 장치(10)는 주인공 얼굴에 대비하여 기설정된 최저비율 미만의 크기이거나, 카메라를 향하지 않거나, 움직임이 발생한 검출된 얼굴을 뷰티효과 적용 대상에서 제외시킬 수 있다.
동작 760에서, 뷰티효과 처리 장치(10)는 주인공 얼굴에 대비하여 기설정된 최저비율 이상의 크기이고 카메라를 향하며 움직임이지 않는 검출된 얼굴을 뷰티효과 적용 대상으로 선정할 수 있다.
이와 같이, 본 발명의 실시예는 뷰티효과를 적용하더라도 그 효과가 미비한 대상에 대해서는 뷰티효과 적용 대상에서 제외시킴에 따라 불필요한 연산을 방지하고 뷰티효과에 대한 사용자 만족도를 높일 수 있다.
도 8을 참조하여, 다양한 실시예에서의, 네트워크 환경(800) 내의 전자 장치(801)가 기재된다. 전자 장치(801)는 버스(810), 프로세서(820), 메모리(830), 입출력 인터페이스(850), 디스플레이(860), 및 통신 인터페이스(870)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(801)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(810)는 구성요소들(810-870)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(820)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(820)는, 예를 들면, 전자 장치(801)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(830)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(830)는, 예를 들면, 전자 장치(801)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(830)는 소프트웨어 및/또는 프로그램(840)을 저장할 수 있다. 프로그램(840)은, 예를 들면, 커널(841), 미들웨어(843), 어플리케이션 프로그래밍 인터페이스(API)(845), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(847) 등을 포함할 수 있다. 커널(841), 미들웨어(843), 또는 API(845)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(841)은, 예를 들면, 다른 프로그램들(예: 미들웨어(843), API(845), 또는 어플리케이션 프로그램(847))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(810), 프로세서(820), 또는 메모리(830) 등)을 제어 또는 관리할 수 있다. 또한, 커널(841)은 미들웨어(843), API(845), 또는 어플리케이션 프로그램(847)에서 전자 장치(801)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(843)는, 예를 들면, API(845) 또는 어플리케이션 프로그램(847)이 커널(841)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(843)는 어플리케이션 프로그램(847)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(843)는 어플리케이션 프로그램(847) 중 적어도 하나에 전자 장치(801)의 시스템 리소스(예: 버스(810), 프로세서(820), 또는 메모리(830) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(845)는 어플리케이션(847)이 커널(841) 또는 미들웨어(843)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(850)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(801)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(801)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(860)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(860)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(860)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(870)는, 예를 들면, 전자 장치(801)와 외부 장치(예: 제 1 외부 전자 장치(802), 제 2 외부 전자 장치(804), 또는 서버(806)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(870)는 무선 통신 또는 유선 통신을 통해서 네트워크(862)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(804) 또는 서버(806))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(862)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(802, 804) 각각은 전자 장치(801)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(801)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(802,804), 또는 서버(806)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(801)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(801)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(802, 804), 또는 서버(806))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(802, 804), 또는 서버(806))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(801)로 전달할 수 있다. 전자 장치(801)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 9는 다양한 실시예에 따른 전자 장치(901)의 블록도이다. 전자 장치(901)는, 예를 들면, 도 8에 도시된 전자 장치(801)의 전체 또는 일부를 포함할 수 있다. 전자 장치(901)는 하나 이상의 프로세서(예: AP)(910), 통신 모듈(920), (가입자 식별 모듈(924), 메모리(930), 센서 모듈(940), 입력 장치(950), 디스플레이(960), 인터페이스(970), 오디오 모듈(980), 카메라 모듈(991), 전력 관리 모듈(995), 배터리(996), 인디케이터(997), 및 모터(998) 를 포함할 수 있다. 프로세서(910)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(910)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(910)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(910)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(910)는 도 9에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(921))를 포함할 수도 있다. 프로세서(910) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(920)(예: 통신 인터페이스(870))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(920)은, 예를 들면, 셀룰러 모듈(921), WiFi 모듈(923), 블루투스 모듈(925), GNSS 모듈(927), NFC 모듈(928) 및 RF 모듈(929)를 포함할 수 있다. 셀룰러 모듈(921)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(921)은 가입자 식별 모듈(예: SIM 카드)(924)을 이용하여 통신 네트워크 내에서 전자 장치(901)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(921)은 프로세서(910)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(921)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(921), WiFi 모듈(923), 블루투스 모듈(925), GNSS 모듈(927) 또는 NFC 모듈(928) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(929)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(929)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(921), WiFi 모듈(923), 블루투스 모듈(925), GNSS 모듈(927) 또는 NFC 모듈(928) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(924)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(930)(예: 메모리(830))는, 예를 들면, 내장 메모리(932) 또는 외장 메모리(934)를 포함할 수 있다. 내장 메모리(932)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(934)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(934)는 다양한 인터페이스를 통하여 전자 장치(901)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(940)은, 예를 들면, 물리량을 계측하거나 전자 장치(901)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(940)은, 예를 들면, 제스처 센서(940A), 자이로 센서(940B), 기압 센서(940C), 마그네틱 센서(940D), 가속도 센서(940E), 그립 센서(940F), 근접 센서(940G), 컬러(color) 센서(940H)(예: RGB(red, green, blue) 센서), 생체 센서(940I), 온/습도 센서(940J), 조도 센서(940K), 또는 UV(ultra violet) 센서(940M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(940)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(940)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(901)는 프로세서(910)의 일부로서 또는 별도로, 센서 모듈(940)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(910)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(940)을 제어할 수 있다.
입력 장치(950)는, 예를 들면, 터치 패널(952), (디지털) 펜 센서(954), 키(956), 또는 초음파 입력 장치(958)를 포함할 수 있다. 터치 패널(952)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(952)은 제어 회로를 더 포함할 수도 있다. 터치 패널(952)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(954)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(956)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(958)는 마이크(예: 마이크(988))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(960)(예: 디스플레이(860))는 패널(962), 홀로그램 장치(964), 프로젝터(966), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(962)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(962)은 터치 패널(952)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(962)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(952)과 일체형으로 구현되거나, 또는 터치 패널(952)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(964)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(966)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(901)의 내부 또는 외부에 위치할 수 있다. 인터페이스(970)는, 예를 들면, HDMI(972), USB(974), 광 인터페이스(optical interface)(976), 또는 D-sub(D-subminiature)(978)를 포함할 수 있다. 인터페이스(970)는, 예를 들면, 도 8에 도시된 통신 인터페이스(870)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(970)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(980)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(980)의 적어도 일부 구성요소는, 예를 들면, 도 8에 도시된 입출력 인터페이스(845)에 포함될 수 있다. 오디오 모듈(980)은, 예를 들면, 스피커(982), 리시버(984), 이어폰(986), 또는 마이크(988) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(991)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(995)은, 예를 들면, 전자 장치(901)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(995)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(996)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(996)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(997)는 전자 장치(901) 또는 그 일부(예: 프로세서(910))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(998)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(901)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(901))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 10은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(1010)(예: 프로그램(840))은 전자 장치(예: 전자 장치(801))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(847))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 10을 참조하면, 프로그램 모듈(1010)은 커널(1020)(예: 커널(841)), 미들웨어(1030)(예: 미들웨어(843)), (API(1060)(예: API(845)), 및/또는 어플리케이션(1070)(예: 어플리케이션 프로그램(847))을 포함할 수 있다. 프로그램 모듈(1010)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(802, 804), 서버(806) 등)로부터 다운로드 가능하다.
커널(1020)은, 예를 들면, 시스템 리소스 매니저(1021) 및/또는 디바이스 드라이버(1023)를 포함할 수 있다. 시스템 리소스 매니저(1021)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(1021)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(1023)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(1030)는, 예를 들면, 어플리케이션(1070)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(1070)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(1060)를 통해 다양한 기능들을 어플리케이션(1070)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(1030) 는 런타임 라이브러리(1035), 어플리케이션 매니저(1041), 윈도우 매니저(1042), 멀티미디어 매니저(1043), 리소스 매니저(1044), 파워 매니저(1045), 데이터베이스 매니저(1046), 패키지 매니저(1047), 커넥티비티 매니저(1048), 노티피케이션 매니저(1049), 로케이션 매니저(1050), 그래픽 매니저(1051), 시큐리티 매니저(1052), 또는 확장 스크린 매니저(1053) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(1035)는, 예를 들면, 어플리케이션(1070)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(1035)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(1041)는, 예를 들면, 어플리케이션(1070)의 생명 주기를 관리할 수 있다. 윈도우 매니저(1042)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1043)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(1044)는 어플리케이션(1070)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(1045)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(1045)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(1046)는, 예를 들면, 어플리케이션(1070)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(1047)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(1048)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(1049)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(1050)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(1051)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1052)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 확장 스크린 매니저(1053)는, 예를 들면, 그래픽이 표시될 디스플레이의 영역을 결정할 수 있다. 한 실시예에 따르면, 확장 스크린 매니저(1053)는 그래픽이 표시되도록 결정된 디스플레이의 영역을 통하여 제공될 정보, 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 한 실시예에 따르면, 미들웨어(1030)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(1030)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(1030)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(1060)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(1070)은, 예를 들면, 홈(1071), 다이얼러(1072), SMS/MMS(1073), IM(instant message)(1074), 브라우저(1075), 카메라(1076), 알람(1077), 컨택트(1078), 음성 다이얼(1079), 이메일(1080), 달력(1081), 미디어 플레이어(1082), 앨범(1083), 와치(1084), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(1070)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(1070)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(1070)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(1010)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(910)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (20)

  1. 각 영상 프레임에서 추출된 제1 복수의 얼굴 영상들 중에서 뷰티효과를 적용하지 않을 제외대상을 선별하는 제외대상 검출기;
    상기 제외대상을 제외한 나머지 제2 복수의 얼굴 영상들 중에서 가장 큰 강도의 상기 뷰티효과를 적용할 주인공 얼굴 영상을 선정하는 주인공 선정기; 및
    상기 주인공 얼굴 영상과의 이격거리에 대응하여 제3 복수의 얼굴 영상들에 적용될 뷰티효과 강도에 대응하는 뷰티레벨을 다르게 결정하는 뷰티레벨 결정기를 포함하는 뷰티효과 처리 장치.
  2. 제1항에서, 상기 제외대상 검출기는,
    상기 추출된 제1 복수의 얼굴 영상들 중에서 임계움직임 이상의 움직임이 있는 얼굴 영상, 카메라를 바라보지 않는 얼굴 영상, 에지변화가 임계변화 이상인 얼굴 영상 및 기설정된 임계크기 미만인 얼굴 영상 중 적어도 하나에 해당하는 얼굴 영상을 상기 제외대상으로 선별하는 것인 뷰티효과 처리 장치.
  3. 제1항에서, 상기 주인공 선정기는,
    상기 제2 복수의 얼굴 영상들 중에서 카메라와 가장 가까운 얼굴 영상 또는 가장 크기가 큰 얼굴 영상을 상기 주인공 얼굴 영상으로 선정하는 것인 뷰티효과 처리 장치.
  4. 제3항에서, 상기 주인공 선정기는,
    기계학습에 기반하여 상기 제2 복수의 얼굴 영상들 중에서 기등록된 얼굴 영상이 존재하는지를 확인하고, 상기 기등록된 얼굴 영상이 존재하면, 상기 기등록된 얼굴 영상 중에서 카메라와 가장 근접한 얼굴 영상 또는 가장 얼굴 크기가 큰 얼굴 영상을 상기 주인공 얼굴 영상으로 선정하는 것인 뷰티효과 처리 장치.
  5. 제1항에서, 상기 주인공 선정기는,
    상기 제2 복수의 얼굴 영상들에 대응하는 깊이 정보가 존재하면, 상기 깊이 정보를 기반으로 상기 제2 복수의 얼굴 영상들 중에서 카메라와 가장 근접한 얼굴을 선별하여 상기 주인공 얼굴 영상을 선정하는 것인 뷰티효과 처리 장치.
  6. 제1항에서, 상기 주인공 선정기는,
    상기 제2 복수의 얼굴 영상들에 대응하는 깊이 정보가 존재하지 않으면, 상기 제2 복수의 얼굴 영상들 중에서 가장 크기가 큰 얼굴을 상기 주인공 얼굴 영상으로 선정하는 것인 뷰티효과 처리 장치.
  7. 제1항에서, 상기 주인공 선정기는,
    상기 제2 복수의 얼굴 영상들 중에서 상기 각 영상 프레임에서 선택된 얼굴 영상이 존재하면, 상기 선택된 얼굴 영상을 상기 주인공 얼굴 영상으로 선정하는 것인 뷰티효과 처리 장치.
  8. 제1항에서, 카메라에 의해 사용자의 제스처를 감지하는 제스처 감지부를 더 포함하면,
    상기 주인공 선정기는, 상기 제스처 감지부에 의해 기설정된 제스처를 감지하면, 감지된 상기 제스처를 취한 대상의 얼굴 영상을 상기 주인공 얼굴 영상으로 설정하는 것인 뷰티효과 처리 장치.
  9. 제1항에서, 상기 뷰티레벨 결정기는,
    상기 제3 복수의 얼굴 영상들의 y좌표가 모두 기설정된 임계범위 내에 존재하면, 상기 주인공 얼굴 영상과의 이격거리에 대응하여 상기 뷰티레벨 강도가 감소되도록 상기 뷰티레벨을 결정하는 것인 뷰티효과 처리 장치.
  10. 제1항에서, 상기 뷰티레벨 결정기는,
    상기 제3 복수의 얼굴 영상들의 y좌표가 모두 기설정된 임계범위 내에 존재하지 않으면, 상기 제3 복수의 얼굴 영상들의 좌표에 기반하여 상기 주인공 얼굴 영상과의 이격거리가 멀어질수록 상기 뷰티레벨 강도가 감소되도록 상기 뷰티레벨을 결정하는 것인 뷰티효과 처리 장치.
  11. 제1항에서, 상기 뷰티레벨 결정기는,
    상기 제3 복수의 얼굴 영상들 중에서 상기 주인공 얼굴 영상에 대비한 크기비가 기설정된 임계비율 미만인 얼굴 영상을 상기 제외대상으로 선정하는 것인 뷰티효과 처리 장치.
  12. 제1항에서, 상기 뷰티레벨 결정기는,
    상기 제3 복수의 얼굴 영상들의 심도 또는 심도에의 근접도를 확인하고, 상기 제3 복수의 얼굴 영상들의 심도 또는 상기 제3 복수의 얼굴 영상들의 심도에의 근접도가 클수록 상기 뷰티효과 강도가 높은 상기 뷰티 레벨을 결정하는 것인 뷰티효과 처리 장치.
  13. 제1항에서,
    상기 뷰티레벨에 대응하는 뷰티효과 강도로 상기 각 얼굴 영상에 뷰티효과를 적용하는 뷰티효과 처리기
    를 더 포함하는 뷰티효과 처리 장치.
  14. 제1항에서,
    촬영 영상 또는 프리뷰 영상에서 상기 각 영상 프레임에 포함된 모든 얼굴 영상을 추출하는 전처리기
    를 더 포함하는 뷰티효과 처리 장치.
  15. 적어도 하나의 프로세서에 의한 뷰티효과 처리 방법으로서,
    각 영상 프레임에서 추출된 제1 복수의 얼굴 영상들 중에서 뷰티효과를 적용하지 않을 제외대상을 선별하는 단계;
    상기 제외대상을 제외한 제2 복수의 얼굴 영상들 중에서 가장 큰 강도의 상기 뷰티효과를 적용할 주인공 얼굴 영상을 선정하는 단계; 및
    상기 주인공 얼굴 영상과의 이격거리에 대응하여 제3 복수의 얼굴 영상들에 적용될 뷰티효과 강도에 대응하는 뷰티레벨을 다르게 결정하는 단계를 포함하는 뷰티효과 처리 방법.
  16. 제15항에서, 상기 제외대상을 선별하는 단계는,
    상기 추출된 제1 복수의 얼굴 영상들 중에서 임계움직임 이상의 움직임이 있는 경우, 카메라를 바라보지 않는 얼굴 영상, 에지변화가 임계변화 이상인 얼굴 영상 및 기설정된 임계크기 미만의 얼굴 영상 중 적어도 하나에 해당하는 얼굴 영상을 상기 제외대상으로 선별하는 단계를 포함하는 것인 뷰티효과 처리 방법.
  17. 제15항에서, 상기 주인공을 선정하는 단계는,
    기계학습에 기반하여 상기 제2 복수의 얼굴 영상들 중에서 기등록된 얼굴 영상이 존재하는지를 확인하는 단계; 및
    상기 기등록된 얼굴 영상이 존재하면, 상기 기등록된 얼굴 영상 중에서 카메라와 가장 근접한 얼굴 영상 또는 가장 얼굴 크기가 큰 얼굴 영상을 상기 주인공 얼굴 영상으로 선정하는 단계
    를 포함하는 것인 뷰티효과 처리 방법.
  18. 제15항에서, 상기 주인공을 선정하는 단계는,
    상기 제2 복수의 얼굴 영상들에 대응하는 깊이 정보가 존재하는지를 확인하는 단계;
    상기 깊이 정보가 존재하면, 상기 깊이 정보를 기반으로 상기 제2 복수의 얼굴들 영상 중에서 카메라와 가장 근접한 얼굴을 상기 주인공 얼굴 영상으로 선정하는 단계; 및
    상기 깊이 정보가 존재하지 않으면, 상기 제2 복수의 얼굴 영상들 중에서 가장 크기가 큰 얼굴을 상기 주인공 얼굴 영상으로 선정하는 단계
    를 포함하는 것인 뷰티효과 처리 방법.
  19. 제15항에서, 상기 뷰티레벨을 결정하는 단계는,
    상기 제3 복수의 얼굴 영상들의 y좌표가 모두 기설정된 임계범위 내에 존재하는지를 확인하는 단계;
    확인결과 상기 임계범위 내에 존재하면, 상기 주인공 얼굴 영상과의 이격거리에 대응하여 상기 뷰티레벨 강도가 감소되도록 상기 뷰티레벨을 결정하는 단계; 및
    확인결과 상기 임계범위 내에 존재하지 않으면, 상기 제3 복수의 얼굴 영상들의 좌표에 기반하여 상기 주인공 얼굴 영상과의 이격거리가 멀어질수록 상기 뷰티레벨 강도가 감소되도록 상기 뷰티레벨을 결정하는 단계를 포함하는 것인 뷰티효과 처리 방법.
  20. 제15항에서, 상기 뷰티레벨을 결정하는 단계는,
    상기 제3 복수의 얼굴 영상들의 심도 또는 심도에의 근접도를 확인하는 단계; 및
    상기 제3 복수의 얼굴 영상들의 심도 또는 상기 제3 복수의 얼굴 영상들의 심도에의 근접도가 클수록 상기 뷰티효과 강도가 높은 상기 뷰티 레벨을 결정하는 단계를 포함하는 것인 뷰티효과 처리 방법.
KR1020160096577A 2016-07-29 2016-07-29 차등적 뷰티효과 처리 장치 및 방법 KR102488563B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160096577A KR102488563B1 (ko) 2016-07-29 2016-07-29 차등적 뷰티효과 처리 장치 및 방법
PCT/KR2017/007528 WO2018021736A1 (en) 2016-07-29 2017-07-13 Apparatus and method for processing a beauty effect
MYPI2019000109A MY197899A (en) 2016-07-29 2017-07-13 Apparatus and method for processing a beauty effect
US15/658,058 US10303933B2 (en) 2016-07-29 2017-07-24 Apparatus and method for processing a beauty effect

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160096577A KR102488563B1 (ko) 2016-07-29 2016-07-29 차등적 뷰티효과 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180013208A KR20180013208A (ko) 2018-02-07
KR102488563B1 true KR102488563B1 (ko) 2023-01-17

Family

ID=61010402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160096577A KR102488563B1 (ko) 2016-07-29 2016-07-29 차등적 뷰티효과 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US10303933B2 (ko)
KR (1) KR102488563B1 (ko)
MY (1) MY197899A (ko)
WO (1) WO2018021736A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623989B1 (ko) * 2016-08-01 2024-01-11 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
US11087513B1 (en) * 2018-02-27 2021-08-10 Snap Inc. Real-time bokeh effect
CN108491780B (zh) * 2018-03-16 2021-05-04 Oppo广东移动通信有限公司 图像美化处理方法、装置、存储介质及终端设备
CN109087238B (zh) * 2018-07-04 2021-04-23 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
KR102105029B1 (ko) * 2018-11-15 2020-04-27 주식회사 아이에스피디 피사체 자동 선택 장치 및 방법
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
US11323627B2 (en) 2019-09-12 2022-05-03 Samsung Electronics Co., Ltd. Method and electronic device for applying beauty effect setting
CN110798614A (zh) * 2019-10-14 2020-02-14 珠海格力电器股份有限公司 一种照片拍摄方法、装置、设备及存储介质
CN111161131A (zh) * 2019-12-16 2020-05-15 上海传英信息技术有限公司 一种图像处理方法、终端及计算机存储介质
WO2022001630A1 (en) * 2020-06-29 2022-01-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for capturing at least one smart media
CN111866592B (zh) * 2020-07-31 2022-09-20 掌阅科技股份有限公司 视频直播方法、计算设备及计算机存储介质
CN112565601B (zh) * 2020-11-30 2022-11-04 Oppo（重庆）智能科技有限公司 图像处理方法、装置、移动终端及存储介质
WO2022187997A1 (zh) * 2021-03-08 2022-09-15 深圳市大疆创新科技有限公司 一种视频处理的方法、电子设备以及存储介质
CN113766123B (zh) * 2021-08-26 2022-10-04 深圳市有方科技股份有限公司 一种拍照美化方法及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US20100054533A1 (en) * 2003-06-26 2010-03-04 Fotonation Vision Limited Digital Image Processing Using Face Detection Information

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065524A1 (en) * 2001-10-01 2003-04-03 Daniela Giacchetti Virtual beauty consultant
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
JP4756876B2 (ja) * 2004-06-09 2011-08-24 キヤノン株式会社 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
JP2008022240A (ja) * 2006-07-12 2008-01-31 Fujifilm Corp 撮影装置，画像処理装置、及び画像ファイル生成方法，画像処理方法、並びに画像処理プログラム
US8077931B1 (en) * 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US20080187184A1 (en) * 2007-02-01 2008-08-07 Kabushiki Kaisha Toshiba System and method for facial image enhancement
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP4315215B2 (ja) * 2007-05-18 2009-08-19 カシオ計算機株式会社 撮像装置、及び顔検出方法、顔検出制御プログラム
US8031961B2 (en) * 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
JP2010147808A (ja) * 2008-12-18 2010-07-01 Olympus Imaging Corp 撮像装置および撮像装置における画像処理方法
JP4528857B2 (ja) * 2008-12-24 2010-08-25 株式会社東芝 画像処理装置及び画像処理方法
JP4983962B2 (ja) * 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8649612B1 (en) 2010-01-06 2014-02-11 Apple Inc. Parallelizing cascaded face detection
KR20120071192A (ko) * 2010-12-22 2012-07-02 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20130027569A1 (en) * 2011-07-29 2013-01-31 Kenneth Alan Parulski Camera having processing customized for recognized persons
US8989455B2 (en) * 2012-02-05 2015-03-24 Apple Inc. Enhanced face detection using depth information
CN103839250B (zh) * 2012-11-23 2017-03-01 诺基亚技术有限公司 用于面部图像处理的方法和设备
US10339685B2 (en) * 2014-02-23 2019-07-02 Northeastern University System for beauty, cosmetic, and fashion analysis
KR102326275B1 (ko) * 2014-02-25 2021-11-16 삼성전자주식회사 이미지 표시 방법 및 장치
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
JP6417851B2 (ja) * 2014-10-28 2018-11-07 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
EP3017755A1 (en) * 2014-11-04 2016-05-11 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
WO2017041295A1 (en) * 2015-09-11 2017-03-16 Intel Corporation Real-time face beautification features for video images
US10453270B2 (en) * 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
CN107123081A (zh) * 2017-04-01 2017-09-01 北京小米移动软件有限公司 图像处理方法、装置及终端
JP6677221B2 (ja) * 2017-06-06 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054533A1 (en) * 2003-06-26 2010-03-04 Fotonation Vision Limited Digital Image Processing Using Face Detection Information
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법

Also Published As

Publication number Publication date
WO2018021736A1 (en) 2018-02-01
US10303933B2 (en) 2019-05-28
US20180032797A1 (en) 2018-02-01
KR20180013208A (ko) 2018-02-07
MY197899A (en) 2023-07-24

Similar Documents

Publication Publication Date Title
KR102488563B1 (ko) 차등적 뷰티효과 처리 장치 및 방법
US10871798B2 (en) Electronic device and image capture method thereof
KR102627244B1 (ko) 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
KR102593824B1 (ko) 카메라를 제어하기 위한 방법 및 그 전자 장치
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
EP3457268B1 (en) Screen output method and electronic device supporting same
EP3367664B1 (en) Photographing method using external electronic device and electronic device supporting the same
US20180032815A1 (en) Electronic device and method for iris authentication thereof
EP3035243A1 (en) Method of updating biometric feature pattern and electronic device for same
CN110088764B (zh) 用于虹膜识别功能的操作方法及支持该方法的电子设备
EP3276451A1 (en) Electronic device for displaying graphic object and computer-readable recording medium
KR102636243B1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
US10504560B2 (en) Electronic device and operation method thereof
EP3480790B1 (en) Method and apparatus for continuously displaying images on basis of similarity of images
KR20180014627A (ko) 홍채 센서의 동작을 제어하는 방법 및 이를 위한 전자 장치
KR102437698B1 (ko) 전자 장치 및 전자 장치의 이미지 인코딩 방법
KR102579895B1 (ko) 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법
KR102547054B1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
KR102379898B1 (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
KR102434754B1 (ko) 전자 장치 및 전자 장치의 컨텐츠 표시 방법
US10091436B2 (en) Electronic device for processing image and method for controlling the same
KR102391490B1 (ko) 이미지 내의 오브젝트를 트래킹하기 위한 방법 및 그 전자 장치
KR102317624B1 (ko) 전자 장치 및 그의 이미지 처리 방법
KR20170046005A (ko) 얼굴 검출 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant